LLaMA-Factory LLaMA-Factory 是一个低代码的大规模语言模型（Large Language Model，LLM）训练与微调平台。它支持多种模型种类，如LLaMA、LLaVA、Mistral等，以及多种训练算法，例如预训练、指令监督微调等。它还支持多种运算精度和优化算法，如16比特全参数微调、冻结微调、LoRA微调等。此外，LLaMA-Factory还集成了多种加速算子...

概念 聊天模型：通过聊天 API 公开的 LLM，它们将消息序列作为输入并输出一条消息。 消息：聊天模型中的通信单元，用于表示模型输入和输出。 聊天记录：一个对话，表示为消息序列，在用户消息和模型响应之间交替。 工具：一个具有关联架构的函数，定义了函数的名称、描述及其接受的参数。 工具调用：一种聊天模型 API，它接受工具架构以及消息作为输入，并将这些工具的调用作为输出...

工具 概述 LangChain 中的 tool 抽象将 Python 函数 与定义函数 名称、描述 和 预期参数 的 模式 相关联。 工具 可以传递给支持 工具调用 的 聊天模型，允许模型请求使用特定输入执行特定函数。 关键概念 工具是一种封装函数及其模式的方式，该模式可以传递给聊天模型。 使用 @tool 装饰器创建工具，这简化了工具创建过程，并支持以下功能： ...

聊天模型 概述 大型语言模型 (LLM) 是先进的机器学习模型，擅长各种语言相关任务，例如文本生成、翻译、摘要、问题解答等，无需为每种场景进行特定任务的微调。 现代 LLM 通常通过聊天模型接口访问，该接口接收消息列表作为输入，并返回一个消息作为输出。 最新一代的聊天模型提供了额外的功能 工具调用：许多流行的聊天模型提供原生的工具调用 API。此 API 允许开发人员构建丰富的应...

封装、继承、多态

ElasticSearch ES概述 ES是一个开源的高扩展的分布式全文检索引擎，它可以近乎实时的存储、检索数据；本身扩展性很好，可以扩展到上百台服务器，处理PB级别（大数据时代）的数据。ES也使用Java开发并使用Lucene作为其核心来实现所有索引和搜索的功能，但是它的目的是通过简单的RestFul API来隐藏Lucene的复杂性，从而让全文检索变得简单。现今，ES已经是全世界排名第一...

大语言模型（LLM）技术框架详解 大语言模型（LLM）在预训练、微调和应用等方面的技术框架是一个复杂而深入的话题。以下是详细介绍： 预训练阶段 预训练是LLM技术框架的基石。在这一阶段，模型通过学习大量文本数据来掌握语言的通用表示。 具体实现方法： 数据准备：收集和清洗大规模文本数据集，如维基百科、新闻文章、书籍等。 模型架构：构建基于Transformer的模型架构，如...

Transformer系列-基础架构 Transformer架构： Transformer是一种用于自然语言处理（NLP）和其他序列到序列（sequence-to-sequence）任务的深度学习模型架构，它在2017年由Vaswani等人首次提出。Transformer架构引入了自注意力机制（self-attention mechanism），这是一个关键的创新，使其在处理序列数据时表现出...

为了改进该函数的性能并解决大数据量的问题，以下是几个潜在的优化方向： 1. 延迟加载（Lazy Loading） 延迟加载意味着仅在需要时才加载知识库的特定部分。这可以避免一次性加载整个知识库导致的内存问题。 def load_knowledge_base( self, knowledge_base_path, image_dict=None, scores_path=N...

Gradio是什么 Gradio 是一个开源库，旨在让创建机器学习模型的应用界面变得简单快捷。它允许用户通过简单的Python界面快速构建可分享的Web应用程序，以演示其模型。Gradio特别适合希望快速展示其研究成果的机器学习研究人员和开发者。 import gradio as gr def classify_image(img): # 这里是图像分类的逻辑 pass...