class FAISS(VectorStore): def __init__( self, embedding_function: Union[ Callable[[str], List[float]], Embeddings, ], index: Any, ...

InformationRetrievalEvaluator类解析与总结 简介 InformationRetrievalEvaluator类是UKPLab/sentence-transformers库中的一部分，用于在信息检索（IR）设置中评估模型的性能。该类通过给定的一组查询，从大型语料库中检索每个查询最相似的前k个文档，并测量多种IR指标如平均互惠排名（MRR）、召回率@k和归一化折扣...

SentenceTransformerTrainingArguments 是用于配置 Sentence Transformers 模型训练的参数类，继承自 TrainingArguments 并添加了一些特定于 Sentence Transformers 的参数。以下是其主要参数的解析： 训练和评估相关参数 参数 作用 ...

MultipleNegativesRankingLoss（多负样本排序损失）总结 1. 定义 MultipleNegativesRankingLoss（多负样本排序损失）是一种用于训练嵌入模型的损失函数，特别适用于只有正样本对（如相似文本对、查询与相关文档对）的场景。它通过将一个批次中的所有非正样本作为负样本，来增强模型对正负样本的区分能力。 2. 工作原理 输入为正样本对 (a_...

SentenceTransformers 1. 简介 SentenceTransformers 是一个基于 Python 的自然语言处理库，专注于将句子、段落和图像转换为高质量的嵌入向量。它基于 Hugging Face 的 Transformers 库，利用预训练的 Transformer 模型（如 BERT、RoBERTa、XLM-R 等）生成语义嵌入。 2. 核心功能 生成句...

Transformer模型自2017年提出以来，已经成为自然语言处理（NLP）领域的主流模型。与传统的循环神经网络（RNN）不同，Transformer模型完全基于自注意力机制，因此在处理长距离依赖关系方面有显著优势。然而，由于Transformer模型缺乏内置的序列顺序信息，必须通过位置编码（Positional Encoding）显式引入位置信息，以便模型能够区分序列中的不同位置。 位置...

LLM 从训练到部署 大型语言模型（LLM）从训练到部署涉及多个阶段，每个阶段都有对应的库或框架支持。以下是关键流程及常用工具： 1. 数据预处理 文本处理与清洗： Hugging Face Datasets：加载和管理大规模文本数据集。 NLTK/spaCy：分词、词性标注、句法分析等基础NLP处理。 Apache Beam/Spa...

DeepSeek-R1-Zero、DeepSeek-R1 和 DeepSeek-V3-Base 之间的关系如下： DeepSeek-V3-Base 基础模型：DeepSeek-V3-Base 是 DeepSeek 系列模型的基础版本，具有 6710 亿参数，每次推理激活 370 亿参数。它在 14.8 万亿 tokens 上进行了预训练，采用混合专家（MoE）架构。 作用：作为 DeepS...

LLaMA-Factory LLaMA-Factory 是一个低代码的大规模语言模型（Large Language Model，LLM）训练与微调平台。它支持多种模型种类，如LLaMA、LLaVA、Mistral等，以及多种训练算法，例如预训练、指令监督微调等。它还支持多种运算精度和优化算法，如16比特全参数微调、冻结微调、LoRA微调等。此外，LLaMA-Factory还集成了多种加速算子...

概念 聊天模型：通过聊天 API 公开的 LLM，它们将消息序列作为输入并输出一条消息。 消息：聊天模型中的通信单元，用于表示模型输入和输出。 聊天记录：一个对话，表示为消息序列，在用户消息和模型响应之间交替。 工具：一个具有关联架构的函数，定义了函数的名称、描述及其接受的参数。 工具调用：一种聊天模型 API，它接受工具架构以及消息作为输入，并将这些工具的调用作为输出...