推理与服务

生成策略决定怎样从模型分布选择Token。贪心、采样与束搜索各有目标，序列概率高不保证开放回答更自然或事实更正确。

长度、停止与重复控制也会改变结果，不同模型支持不同。代码被截断时应识别未完成，不能把最后返回的文本都当合法程序。

原创练习：固定Logits，比较不同温度、Top-k和Top-p的候选概率，再多次采样观察分布。不要用一次随机结果判断策略优劣。

完成标准是区分分布控制与事实验证。温度低可以减少某些随机变化，但不会补上未读源码，也不能解决工具失败和环境不稳定。

文本退化研究讨论高概率搜索在开放生成中可能产生重复或不自然结果，核采样按累计概率形成动态候选集合。Top-p不是保留p比例的词表。

分布尖锐时候选少，平缓时候选多，截断后需要归一化。尾部过滤控制采样，不验证候选事实。

原创练习：概率0.70、0.15、0.10、0.05，计算p=0.8与0.95的集合，再说明边界累计为何重要。实验只演示数学，不预设代码生成的最佳参数。

完成标准是知道研究条件与实际任务不同。开放文本中的优势不能直接变成所有编码Agent都必须使用某个固定p值。

KV缓存复用过去位置的Key、Value，减少解码重复计算。动态、静态、量化和外置缓存在空间、速度、精度与传输之间取舍。

估算需包括层数、序列、批大小、KV头和精度，不能把查询头数直接代入所有模型。特殊架构也可能改变表示方式。

原创练习：用本章公式比较一条与八条长序列，列出权重之外的缓存、临时张量和分配开销。解释为什么权重能加载不代表高并发也可行。

完成标准是把缓存看成计算状态而非记忆知识。删除缓存可能重新计算，但不等于删除模型参数中的能力；缓存命中也不等于永久记住用户。

推理模型接口可能提供推理努力或预算，并区分最终可见回答与额外计算。参数支持、状态形式和费用要按模型与接口核对。

受保护或不透明推理状态不能任意伪造或拼接。最终回答短也可能使用较多内部计算，工具调用之间还可能继续推理。

原创练习：比较确定公式、跨模块推理与未知私有文件三个问题。前两者可能受计算预算影响，第三个首先需要访问证据。再设计怎样记录实际消耗而非从答案长度猜测。

完成标准是按任务需要选择预算，不把更长思考当万能补救。模型不能通过纯推理直接读取未提供的工作目录。

推理模型使用建议强调清楚目标、约束和验证方式，而不是机械要求展示长推导。不同模型对示例和指令组织的反应可能不同。

复杂任务需要足够信息，简单任务可减少固定规划，工具可验证的结论应实际验证。最佳实践是起点，不代替自己的评测。

原创练习：比较清晰Prompt与叠加很多“深思熟虑”句子的版本，记录正确性、延迟和可核查性。若只增加措辞没有减少错误，就不应因显得严谨而保留。

完成标准是把预算与质量联系起来。失败来自证据缺失或权限时，调高推理努力可能只是增加费用而不改变可行性。

Prefill处理已知输入，Decode扩展新序列，二者的并行与访存特征不同。不能把所有耗时都归为一个笼统的模型速度。

长输入影响首Token，长输出增加串行生成，多轮工具还叠加网络和环境等待。不同瓶颈对应不同优化。

原创练习：画长输入短输出、短输入长输出、频繁工具调用三种时间线，标出应测指标。再解释缓存、压缩和工具并行分别可能改变哪段。

本条作为CS336推理主题的应用练习，完成标准是提出可测性能假设。不需要先搭生产推理服务，也不应从一个样例推断所有任务的加速比例。

Prompt Caching复用符合条件的相同前缀计算，不改变上下文内容本身。阈值、保留时间与计费是产品规则，不能无版本记成普遍常数。

稳定规则在稳定位置有利于复用，动态数据放后部可能更合适；但正确的指令与证据组织优先于缓存。无关长前缀即使命中也会占窗口。

原创练习：比较固定前缀与每轮最前插时间戳，标出共享范围。再计入压缩调用、后续重读与失败返工，判断整体成本。

完成标准是区分缓存、压缩和长期记忆。命中率提高不是充分成功指标，任务质量、总费用与总时长必须一起看。

PagedAttention按块管理KV缓存，减少连续预留空间浪费，并支持相应共享。它主要解决服务端内存和吞吐，不直接提高答案事实性。

分页需要映射与调度，收益依赖长度分布、并发和实现。低并发或工具等待占主导时，端到端收益可能有限。

原创练习：模拟三个不断增长的请求，比较最大长度预留与按需块分配。分叉序列共享前缀后，指出哪些块可共用、哪些必须分离。

完成标准是理解存储组织与模型能力分层。教材模拟不复现GPU性能，不能把空间比例当成真实吞吐倍数。

FlashAttention通过分块与数据搬运优化提高注意力的IO效率。原始工作关注精确注意力，不是简单删掉远距离关系来近似。

数学运算目标相同，内存读写方式也能改变实际时间。性能取决于硬件、序列和内核，不能只看理论运算量。

原创练习：比较完整保存T×T分数矩阵与分块累计结果的中间存储，解释为什么减少访问可能重要。再指出模型其他层和工具时间不受该优化直接影响。

完成标准是把算法复杂度、IO和端到端体验分开。采用FlashAttention也不意味着模型自动理解任意长输入。

推测解码用较便宜草稿提出候选，目标模型批量验证。在相应算法条件下，可以保持目标采样分布；它不是直接用小模型替换目标模型。

收益取决于候选接受率、草稿成本与验证效率。草稿偏离太大时，频繁拒绝会减少加速；短输出或其他瓶颈也可能影响价值。

原创练习：假设一次草稿提出四项，目标只接受前两项，描述继续过程。再比较高接受与低接受情景，不给未经测量的提速数字。

完成标准是理解“提出—验证”与简单投票不同。这里验证的是目标分布条件，不等于外部事实核查；目标模型仍可能生成错误答案。

vLLM文档提供推理服务的实际组织，包括缓存、批处理、调度与部署能力。支持项随版本变化，不能把某篇论文的全部实现等同于当前默认配置。

服务需要同时管理模型权重、KV、请求队列与资源限制。高吞吐可能增加个别请求等待，平均性能和尾延迟需分别观察。

原创练习：为短问答和长代码任务混合负载设计指标，考虑并发、最大长度、取消和超时。说明为何只测单请求Tokens/s不足以评价服务。

完成标准是从用户任务而非单内核速度理解部署。未实际运行硬件实验时，只陈述机制与假设，不把文档能力写成自己的测试成绩。

延迟优化要检查请求次数、生成长度、缓存、并行、工具和用户感知。减少无谓往返可能有效，但删除必要验证会损害任务成功。

首句更快与最终完成更快不同。并行只适合独立步骤，有依赖的修改与读取不能为了速度乱序。

原创练习：记录一次任务关键路径，分别估计减少一轮调用、减少日志和并行两个搜索的影响。只改变一个机制后重测，避免把多种变化混为原因。

完成标准是优化成功任务总耗时，而不是孤立Token指标。若模型主要等待测试环境，调采样或换缓存策略可能不是最有价值的改动。