RAG-检索优化
混合检索混合检索(Hybrid Search)是一种结合了 稀疏向量(Sparse Vectors) 和 密集向量(Dense Vectors) 优势的先进搜索技术。旨在同时利用稀疏向量的关键词精确匹配能力和密集向量的语义理解能力,以克服单一向量检索的局限性,从而在各种搜索场景下提供更准确、更鲁棒的检索结果。 稀疏向量…
混合检索混合检索(Hybrid Search)是一种结合了 稀疏向量(Sparse Vectors) 和 密集向量(Dense Vectors) 优势的先进搜索技术。旨在同时利用稀疏向量的关键词精确匹配能力和密集向量的语义理解能力,以克服单一向量检索的局限性,从而在各种搜索场景下提供更准确、更鲁棒的检索结果。 稀疏向量…
RAG评估构建好一个RAG系统后,应该如何评判这个系统的好坏?如何快速定位问题根源? 典型失败模式 检索器问题:检索结果与需求不相关(检索了完全不相关的文档或数据)、遗漏关键信息(Top-K没有包揽核心论点)、刻舟求剑(返回了历史过期版本的信息) 生成器问题:忽略正确的检索上下文信息、脱离上下文,产生知识幻觉、答非所问…
向量嵌入基础概念什么是 Embedding向量嵌入(Embedding)是一种将真实世界中复杂、高维的数据对象(如文本、图像、音频、视频等)转换为数学上易于处理的、低维、稠密的连续数值向量的技术。 想象一下,我们将每一个词、每一段话、每一张图片都放在一个巨大的多维空间里,并给它一个独一无二的坐标。这个坐标就是一个向量,…
技术原理主要分为检索、生成两个阶段 (1)检索阶段:寻找“非参数化知识” 知识向量化:嵌入模型(Embedding Model) 充当了“连接器”的角色。它将外部知识库编码为向量索引(Index),存入向量数据库。 语义召回:当用户发起查询时,检索模块利用同样的嵌入模型将问题向量化,并通过相似度搜索(Similari…