Dense Retrieval

原理：通过深度学习模型将文本映射为向量，基于向量相似度检索。

代表模型：

• DPR（Dense Passage Retrieval）：双塔模型，分别编码查询与文档。

• Sentence-BERT：预训练模型生成句向量。

• ColBERT：交互式模型，保留token级交互信息。

优点：捕捉语义相似性，解决词汇不匹配问题。

缺点：依赖训练数据与算力，索引构建成本较高。

以下是DPR（Dense Passage Retrieval）、Sentence-BERT和ColBERT三种模型的区别：

模型架构

• DPR：采用双塔模型架构，即两个独立的编码器，分别用于编码查询和文档。查询编码器和文档编码器可以是相同的或者不同的模型架构。
• Sentence-BERT：通常基于预训练的BERT模型，通过在BERT的基础上添加池化层等结构，将整个句子或文本段落编码为一个固定长度的向量表示。
• ColBERT：属于交互式模型，采用延迟交互架构。查询和文档被分别编码成多个向量（每个词或词片段一个向量），然后在编码之后进行交互计算。

编码方式

• DPR：将查询和文档分别编码成单个的向量表示，通过两个独立的编码器来实现。
• Sentence-BERT：将整个句子或文本段落编码成一个向量，该向量能够较好地捕捉句子的语义信息。
• ColBERT：将查询和文档中的每个词或词片段分别编码成向量，而不是将整个文本编码成一个向量。

相似度计算

• DPR：通过计算查询向量和文档向量之间的点积相似度来衡量它们的匹配程度。
• Sentence-BERT：通常使用余弦相似度等方法来计算两个句子向量之间的相似度。
• ColBERT：计算查询向量和文档向量之间的最大相似度（max-similarity），即对查询中的每个词向量与文档中的所有词向量计算相似度，并取最大值，然后将这些最大值相加作为最终的相似度得分。

训练目标

• DPR：训练的目标是使得相关的查询和文档对之间的向量点积得分高，而不相关的对之间的得分低。
• Sentence-BERT：训练目标是生成能够较好地表示句子语义的向量，使得在语义上相似的句子具有相似的向量表示。
• ColBERT：通过最大化相似度来优化，使得查询中的每个词向量能够与文档中相关的词向量具有较高的相似度。

检索效率

• DPR：由于使用单个向量表示查询和文档，可以通过向量索引来加速检索，检索效率较高。
• Sentence-BERT：同样适用于向量索引，检索效率较好，但其主要关注的是生成语义丰富的句子向量。
• ColBERT：虽然在精度上有优势，但在检索效率上可能会略逊一筹，因为它需要计算更多的向量之间的相似度。

应用场景

• DPR：主要应用于开放领域问答任务中的信息检索，能够高效地从大量文档中检索出与查询相关的段落。
• Sentence-BERT：适用于多种自然语言处理任务，如文本相似性计算、聚类、信息检索等。
• ColBERT：在需要更精细匹配的场景中表现出色，例如在需要考虑词级别相关性的检索任务中。