26｜高级研究分支：架构、搜索、RAG与记忆方法的选择逻辑
目标：把拓展阅读目录中的进阶论文放进同一个机制坐标系，读懂它们解决的瓶颈，而不是记住更多名称。这里是主题级深化，不宣称逐篇复制全部实验与附录。
本章目录
沿着对象与状态理解本章
不同研究方法可能优化不同基准；先还原假设，再决定是否匹配任务。
下方图解的固定输入在“输入与适用条件”中声明。它用于解释本章机制，不与本章其他独立例子的数值暗中接续。
先找错误发生在哪层，再谈换模型
什么时候该改Prompt、检索、记忆或模型？
一个错误答案可以来自不同原因。模型根本没拿到新版本时，增加推理时间不能补出缺失事实；检索已经拿到新版本却被旧记忆覆盖时，需要修上下文与记忆使用规则。选择修复层应跟随证据，而不是看到失败就再加一个Agent。
输入与适用条件：构造“旧配置被当成当前配置”的诊断案例；不以单次观察就宣称确定因果。
1 / 6 · 现象
窄屏可左右滑动图形，或点击“放大图形”。文字解释紧随图后。
先写清楚哪句话错、正确证据是什么，避免只说“感觉变差”。
本步状态由图形与说明共同给出。默认静止。用“下一步”看完解释再继续；播放到最后一步自动停止。键盘聚焦播放器后，可用左右键逐步查看、空格播放/暂停。图中颜色辅助区分，含义同时用文字注明。
为什么需要
避免无目的地叠Prompt、规则、模型和审查环节。
怎样实现
按原文→索引→检索→上下文→推理→行动→核验逐段定位。
可能的代价与误解
同时改变多个因素后只看总成功率，无法解释哪项改动起作用。
如何判断是否做对
同任务、同版本、同预算对照，保留失败样本与可复查轨迹。
1. MoE：条件计算不等于所有参数都参与每个Token
稠密前馈层对每个Token执行同样的参数计算；MoE通过路由器选择部分专家，可写成y=Σe∈TopK gate_e(x) Expert_e(x)。总参数量与每Token激活参数量因此不同。更大的总容量不意味着同等倍数的每Token计算，但专家权重存储、跨设备通信与负载平衡仍有成本。[N40]
路由塌缩会让少数专家过载；容量限制可能影响Token分配；专家并行需要把激活送到相应设备。模型报告中的吞吐收益依赖网络和kernel，不能只用激活参数量推断服务速度。Switch类研究与后续MoE报告的具体平衡策略不同，应按论文版本阅读，避免拼成一套从未存在的架构。
本书不提供大型MoE训练复现；第03章解释分布式约束，第06章解释计算/带宽，第31章进一步讨论梯度与门控边界。
2. MLA与GQA解决缓存问题的不同方向
GQA通过共享KV头减少缓存；MLA类结构通过低秩潜在表示压缩注意力相关状态，并结合特定位置处理设计。DeepSeek-V3报告包含MLA与MoE等具体方案，不能把它简单描述为“GQA头再少一点”。[N40]
若把K与V写成潜在向量的投影，某些矩阵可在推理时重新组合，减少需要长期存储的状态；但位置编码与投影的交互会限制直接合并。理解时应画出训练计算图与推理缓存图，比较哪些张量存储、哪些实时恢复。
不同架构的KV内存公式可能不同，所以第02章的GQA公式不能直接套到MLA。评估模型报告时，先确认表示与缓存内容，再算内存，而不是只抄上下文长度和参数总数。
3. GPT、Llama、Qwen与DeepSeek报告怎样比较
比较应分开架构、数据、训练预算、后训练、推理模式、工具接口与评测条件。一个模型公开了权重，不等于所有训练数据和生产服务细节都公开；技术报告也是有边界的证据。
少样本学习说明模型可利用上下文示例适应任务，不等于每次推理都更新参数。多语言能力受词表、数据与训练目标共同影响。报告里某一代码集的提高不证明在你的语言、框架和仓库上同样有效。
GPT-3、Llama 3、Qwen3与DeepSeek-V3的相关主题见拓展阅读。专题第01—06章解释共通机制；不同技术报告的架构选择应分别理解，不能仅凭型号或排行榜推断机制。
4. CoT、自洽、ToT与ReAct不在同一层
CoT类方法改变生成中间推理的形式；自洽通过多次采样聚合答案；ToT把候选中间状态组织为搜索树，进行生成、评价与选择；ReAct在推理与环境动作之间循环。前两者主要影响推理路径，后两者涉及更显式的搜索或外部反馈。[N59][N67]
搜索成本随分支数、深度和评估开销增长。假设每层保留b个候选、扩展d层，朴素全树规模可能快速膨胀；剪枝需要可靠评价器，错误剪枝会提前丢掉正确路径。对可验证谜题有用的方法，不一定适合依赖不可逆外部动作的业务流程。
Toolformer探索模型学习何时使用工具；运行时的Function Calling协议则处理调用如何编码与执行。训练研究与接口工程不能混为一谈。第04章讲学习目标，第07—08章讲协议与执行。
5. RAG扩展各自补哪种缺口
经典RAG把检索文档与生成结合；DPR研究稠密段落检索；ColBERT用多Token延迟交互；HyDE借助假设文档改写查询。这些首先作用于召回或匹配，并不能自动解决来源权限与更新。[N69][N70][N71][N72]
RAPTOR通过聚类与递归摘要构建层级表示，适合需要跨片段理解的任务；GraphRAG围绕实体/关系与社区摘要支持某些全局问题。它们增加了摘要与图抽取的成本，也需要处理抽取错误、来源追溯和更新失效。[N73][N46]
Self-RAG把检索与反思相关行为纳入学习/生成机制；不能仅在普通模型前加一句“自己反思”就称复现该方法。纠错RAG类方法尝试评估证据质量并决定补充检索，但评估器本身也会错。[N56]
选择时先分类问题：精确事实、自然语言定位、跨文档组合、全局主题概括、证据不足。不同问题需要的检索结构不同；对单个函数定位，引入全库图摘要可能比精确检索更慢且更不可靠。
6. 记忆方法的评价坐标
Generative Agents、MemGPT、A-MEM、Mem0分别体现事件流/反思、分层存储、动态关联与工程化提取等思路；它们不共享一个完全相同的任务目标。长期会话记忆成绩不等于代码经验复用成绩。
评价要分写入准确性、更新、时间推理、冲突、忘记与取回；再看是否改善最终任务。LoCoMo与LongMemEval提供不同长期交互测试视角，本书第15章的双时间与冲突模型是原创工程示例，不自称实现这些系统。[N35][N76][N77][N78]
7. 基准应该按能力边界阅读
SWE-bench关注真实Issue修复；AgentBench、τ-bench、GAIA覆盖不同环境中的Agent能力；LiveCodeBench关注代码评测与时间变化；OSWorld关注计算机环境。分数不能直接横向比较，因为任务、工具、预算和验收不同。[N48][N44][N80]
长上下文的Lost in the Middle、LongBench、RULER帮助区分标称容量与实际任务能力。单一“针在草堆”检索成功不等于多证据组合、冲突处理与长任务恢复都可靠。第12章因此使用约束与继续执行测试，而不只问一个藏在中间的数字。
8. 如何阅读一篇新论文而不被结论牵着走
先写出它要修复的失败，再标明方法改变了哪一层；检查基线是否公平、是否增加额外计算、数据是否泄漏、评价是否覆盖真实目标。然后设计最小迁移实验，不默认把整套架构搬进项目。
如果方法在你的场景没有明确收益，保留知识但不必保留代码。资深能力不表现为使用最多技术，而表现为能解释为何采用或拒绝某项技术，以及哪些新证据会改变决定。
深研究用树搜索前，先看候选能不能判好坏
输入与条件。计划生成3条修复路线A/B/C，继续探索每条2个变体，共最多6个候选；却没有能区分正确性的测试。
| 步骤与对象 | 内部动作 | 中间结果 / 新状态 |
|---|---|---|
| 1扩展 | 候选数量增加 | 成本与上下文协调增加。 |
| 2评价缺口 | 只用同一模型自评“看起来合理” | 可能放大同一偏见。 |
| 3先建判据 | 加入能击中bug的反例和回归测试 | 候选搜索才有可靠反馈。 |
| 4剪枝 | 失败的候选不继续无界展开 | 保留证据支持的方向。 |
| 5选择 | 若直接小修已通过验证 | 不必为使用树搜索而生成更多分支。 |
把过程连起来。搜索能力与评价能力互相制约；没有可靠反馈的复杂搜索未必比简单执行更好。
边界与反例。不是Tree of Thoughts等论文的完整复现，展示的是工程适用条件。
依据与适用范围：[DERIVE]。示例输入和场景由本书明确设定。