10个离线机制实验
Python 3.10及以上,仅标准库;无需API、账号或网络。
全部实验使用人工数据或模拟环境,不访问真实用户资料。本包生成时已运行10个实验自检并全部通过。它们验证教材示例,不代表生产审计或任何产品基准成绩。
运行方式
先解压压缩包,在包含index.html的目录打开终端:
python3 reading-notes/experiments/run_all.py也可以单独运行任一脚本。每个本地实验页面提供解释、完整源码与配套运行记录。
01 · 教学 BPE:字符怎样合并成 Token
观察一组简单语料如何决定字符对合并。训练规则与应用规则分开,保留原文本可逆。例子刻意不实现真实模型的字节编码、特殊Token和预处理。
先运行默认样例,再改变语料或合并次数。相同文本可能得到不同教学Token数,说明计数依赖分词器。不要把结果用于商业模型计费。
02 · 手算注意力与因果掩码
计算稳定softmax、缩放点积注意力和Value加权。自检修改未来位置的Value,确认前面位置输出不受影响。
比较有无因果掩码,并改变分数差距。softmax([0,1,2])约为[0.0900,0.2447,0.6652];这不是事实置信度。
03 · KV缓存估算与前缀复用
使用注明条件的标准注意力估算式,比较8与32个KV头。另用离散列表演示共同前缀,不模拟厂商缓存服务器。
默认例子分别得到1与4 GiB。加入批大小后观察线性项;真实内存还含权重、分配器与其他状态,特殊架构可能不适用。
04 · RRF与检索指标
对合成排名融合,并计算Precision、Recall、单查询倒数排名和nDCG。相关性标签由教材人工给定。
需要A、B却只返回A、X、Y时,Precision@3为1/3,Recall@3为1/2。增加噪声或交换排序,观察不同指标反应。
05 · 压缩保真:状态与否定不能丢
把原始任务标成结构化命题,与故意错误的压缩状态比较,检查缺失、确定性、执行状态和版本差异。
错误样例会缺少public_api,并出现4处字段变化。它不是自然语言理解器;真实摘要需先可靠抽取命题,并继续执行任务验证。
06 · 记忆范围、版本、过期与冲突
在进程内保存带证据的记忆,按项目与版本查询,排除过期内容,遇到相反结论返回冲突而非擅自择一。
固定教学日期为2026-10-17。修改项目或版本观察隔离;新增冲突证据后应返回conflict。此脚本不访问真实用户记忆。
07 · 模型提议与程序执行分离
用确定性模拟模型依次提出读取、修改、测试。执行器检查工具和作用域,记录幂等操作,最终状态依赖验证。
完整任务只有一次模拟写入,重复同一操作ID不重复写。未授权publish被拒绝。没有调用真实LLM,也不读写真实工程文件。
08 · 成功率、配对比较与真实成本口径
计算pass@k、独立重复假设下的至少一次与全部成功概率,并对合成配对任务做Bootstrap示范。
p=0.8、k=3得到0.992与0.512。所有任务结果和费用是虚构的;区间不是对任何产品的统计结论。
09 · 从契约到补丁与反例测试
定义一个虚构的字面目录前缀匹配契约,展示仅比较顶层目录的基线缺陷,以及规范化后的修复。
明确区分src/generated与src/generated2,保持大小写敏感,拒绝父目录穿越和glob。它不代表任何真实构建系统的匹配语义。
10 · 并行Trace:墙钟与操作总量不同
在人工构造的叶子Span上计算墙钟时间、操作时长总和及峰值并发。相邻区间按左闭右开处理。
默认墙钟9、操作总量12、峰值并发2。不要同时把父Span与子Span重复加总,也不要把合成时间当成实际性能测量。