检索与代码智能

原始RAG研究把参数化生成模型与非参数化文档记忆结合，利用检索证据辅助知识密集任务。今天工程中的RAG用法更广，不能把所有“搜索后回答”都当成原论文的完整实现。

检索负责提供候选证据，生成负责利用证据形成输出；两者都可能出错。文档过期、片段缺条件或模型误读都会导致错误答案。

原创练习：用一份带版本的配置说明回答问题，分别提供完整条件、截断条件和错误版本，观察应该如何改变结论。

完成标准是能定位失败发生在来源、检索、拼装还是生成，而不是把所有问题归为“RAG不够好”。

Contextual Retrieval给待索引片段补充来自原文的简短上下文，再结合词项、向量和重排。它帮助孤立片段保留指代与背景，不是允许模型为文档编造情境。

例如“该字段默认关闭”需要知道字段、版本和文档位置。补充这些信息有助于召回，也可能因摘要错误污染索引，所以必须保留原始内容与出处。

原创练习：为一个缺少主语的片段写两种补充，逐项检查是否都能从原文推出；无法推出的内容删除或标为未知。

论文或工程文章报告的收益只适用于其测试条件。代码精确符号检索本来很强时，额外上下文不一定值得。

RRF按不同检索结果中的名次融合，常见形式为对各列表累加1/(k+rank)。它避免直接相加不同量纲的原始分数，但不能恢复所有检索器都遗漏的文档。

平滑常数影响名次差异的权重；重复结果需要按真实文档身份合并，而不是只比较标题。融合之前还应完成权限过滤。

原创练习：对两份包含相同与不同文档的排名手算RRF，观察一个在两边中等靠前的结果如何与单边第一竞争。

完成标准是理解融合依据与局限。RRF排名不是文档事实正确率，也不是最终回答的置信度。

DPR使用稠密表示进行段落检索，查询与文档可以分别编码。预先计算文档向量有利于检索效率，但质量依赖训练数据、编码器与任务分布。

语义相近可以匹配不同表述，也可能混淆否定、版本或同名实体。精确词项与元数据过滤仍有价值。

原创练习：比较“启用缓存”和“禁用缓存”两个片段，说明为何整体语义相近却不能互换。再设计版本字段以避免旧说明被优先返回。

不要把向量相似度解释成答案正确概率。检索结果必须经过上下文与来源核查。

ColBERT采用细粒度Token表示与后期交互，在查询与文档的多个局部匹配之间形成评分。它不同于把整篇文档压成一个单向量后只做一次相似度比较。

多向量可以保留更多匹配细节，也带来存储、索引和计算权衡。并非所有规模与延迟要求都适合相同设计。

原创练习：对同时包含“路径”“排除”“嵌套”三个条件的查询，比较单个整体向量与多个局部匹配可能遗漏什么。

完成标准是解释精细匹配带来的信息收益与工程成本，不把某个基准优势推广到所有代码库。

HyDE先生成一个假设性答案文档，再用其表示引导稠密检索。假设文本用于构造查询方向，不是已经确认的事实，更不能直接当引用来源。

它可能帮助短查询表达隐含需求，也可能把错误假设带入检索。真正结论仍需来自实际检索证据。

原创练习：对“为什么构建漏掉文件”生成两个不同假设，再检查真实文档分别支持哪些。不得把先生成的假设当成根因。

完成标准是能够在取得证据后推翻假设，而不是让检索只寻找支持模型最初猜测的材料。

RAPTOR通过递归摘要组织层级结构，帮助检索跨片段和较全局的信息。叶节点与高层摘要承担不同粒度的证据作用。

层级摘要可能降低长文档导航成本，也可能逐层丢失条件或传播错误。需要能够回到原始片段，而不是只保存摘要树。

原创练习：将三个模块说明合成一个系统摘要，标出哪些细节被丢弃，再设计需要回读叶节点的问题。

简单精确查找未必需要这种结构。是否采用应取决于全局问题比例、更新成本和实际任务收益。

GitHub代码搜索支持按路径、语言、符号和正则等约束查询。它适合减少候选范围，但搜索语法与普通自然语言搜索不同，使用时需要正确组合条件。

同名符号可能出现在测试、示例、旧目录或不同模块中。命中并不证明它位于实际执行路径，仍要读取调用关系与配置。

原创练习：为exclude设计从宽到窄的查询：先定位字段，再限制构建目录与语言，最后查调用者。记录每次缩小范围的依据。

不要把首次命中当唯一实现，也不要因为结果太多就无条件读取全部文件。

ripgrep提供高效的文本和正则搜索，文件过滤与范围控制对代码调查尤其重要。精确搜索通常成本低，适合已知错误码、字段或函数名。

搜索默认忽略规则、隐藏文件和大小写等行为会影响结果。找不到时应检查搜索范围与配置，而非立刻断言代码不存在。

原创练习：在小目录中放入普通文件、忽略文件和同名测试，分别搜索并解释结果差异。只使用无害的本地教学数据。

完成标准是能明确“在哪里搜了什么”，并把搜索结果作为候选证据，而不是把工具速度当作语义理解能力。

Tree-sitter提供增量解析与语法树能力，使工具可以按代码结构而非纯文本处理内容。AST描述语法，不自动包含全部类型、依赖与运行时行为。

结构化切分可以按函数或类保留边界，减少随意截断；但仍可能需要文件级导入、注释或调用上下文。

原创练习：把一个含嵌套函数和同名变量的示例分别按固定字符数与语法节点切分，比较每段是否能独立理解。

不要把成功解析等同于代码正确。语义检查、编译与测试仍有独立作用。

LSP定义编辑器与语言服务之间的交互，包括定义、引用、符号和诊断等能力。结果取决于具体语言服务器、项目配置与索引状态。

它可以帮助Agent找到真实符号关系，但动态语言、生成代码或不完整项目可能限制分析。没有返回引用不必然等于不存在调用。

原创练习：对一个跨文件函数追踪定义和调用，再比较文本同名搜索。说明哪些候选是同名但不同绑定。

完成标准是把语言服务作为结构证据与文本、运行结果结合，而不是把协议名称当成全语言完美理解保证。

RepoCoder研究仓库级代码补全中的迭代检索与生成。生成的中间结果可以帮助下一轮检索，但也可能引入错误方向，需要真实上下文修正。

仓库级补全与完整Issue修复不同。前者的评价不能直接说明Agent能处理部署、测试环境或长期状态。

原创练习：先用函数注释检索相关API，再用候选实现中的符号缩小搜索，检查每轮是否获得新的必要证据。

若第二轮只是重复返回同样片段，增加循环未必有价值。迭代应有信息增益与停止条件。

RepoBench关注仓库级代码补全与上下文使用的评价，帮助区分检索能力和生成能力。数据设置、可见文件与任务定义会影响结果解释。

一个系统可能检索正确但补全错误，也可能通过局部模式猜对而没有利用仓库证据。仅看最终分数难以解释机制。

原创练习：固定生成器，改变检索上下文；再固定上下文，比较生成方式。记录哪一环造成差异。

不要把补全基准表现直接等同于代码审查、跨模块修改或用户需求理解能力。

CodeSearchNet为代码语义搜索提供数据与评价场景，重点是自然语言查询与代码之间的匹配。代码的命名、注释和语言分布会影响任务难度。

实际仓库可能缺少良好注释，也可能包含重复模板、生成文件和私有术语。公开数据集表现不自动迁移到这些条件。

原创练习：给同一函数分别提供清楚注释、模糊注释和无注释，比较查询应该依赖哪些信息。

完成标准是理解数据分布与任务边界，而不是把语义搜索当成取代所有符号工具的唯一入口。

BEIR通过异构检索任务评价泛化，提醒系统在某一数据集上的优势不一定在另一个领域成立。任务、文档长度、查询风格和相关性定义都会改变结果。

代码检索、问答段落检索与全局文档总结的需求不同。评价应包含自己的真实任务，而不只选择最有利的公开榜单。

原创练习：设计精确错误码、自然语言意图和跨文档问题三类查询，分别比较词项与向量方法。

完成标准是能说明方法在哪类任务有效、在哪类失效，并把成本与更新难度一起纳入选型。

Precision关注返回结果中有多少相关，Recall关注必要证据找到多少；MRR、MAP和nDCG进一步考虑排序与相关程度。它们衡量不同目标，不能互相替代。

相关性标签本身可能不完整，尤其是代码任务需要多份证据共同支持结论时。一个相关片段不足以完成全部推理。

原创练习：设需要A、B两个文件，结果只返回A和两个噪声文件，计算Precision与Recall，再解释任务为什么仍可能失败。

指标应延伸到上下文拼装与最终任务结果。候选里有证据但被截断，不能算Agent真正获得了它。