二途序

十月月报（进行中）：把 "可信" 装进 AI 文档的流水线

覆盖范围：截至 10.5 周（10-05 至 10-11）。10.12 周仍在进行中，月终会更新本报告。本月工作背景一句话：围绕 AI 产出文档建立 "人工审计" 工作流，并落地到项目重构。

本月方法地图

mindmap
  root((十月方法))
    质量闭环
      AI 产出只是草稿
      审计清单先行
      确认后才修改
    成本控制
      模型级联
      草稿给便宜模型
      正式产出给贵模型
    范围控制
      自用项目够用即可
      快速原型快速迭代
    上下文管理
      skill 按需加载

原理深读：AI 产出为什么不能直接信任

是什么：AI 生成的文档只是草稿。要让草稿变成可信文档，中间必须有一道人工审计关：AI 产出 → 人工审计 → 确认 → 修改 → 成熟文档。

为什么成立：LLM 生成文字是概率采样，模型本身不知道 "什么是真的"。它的错误模式不是胡言乱语，而是 似是而非 —— 句子通顺、语气自信、局部正确，恰好绕过人类的怀疑直觉。文档的价值等于可信度，而可信度 = 产出 × 验证。验证缺位时，乘积为零：写得越流畅，传播错误越快。

为什么用清单审计：人审 AI 文档的典型失败模式是 "顺着读"—— 被流畅文本带着走，只检查它写了什么，不检查它漏了什么。审计清单（需求合理性、竞品覆盖、创新点、是否满足要求、技术难度）把 "保持怀疑" 从一个开放式任务变成封闭式核对：人只需要对照有限维度。漏项风险从 "靠注意力" 转移到 "靠流程"。

为什么确认后才修改：这是反馈回路的设计。如果审计结论不用人确认就放行修改，AI 会把结论自己 "消化" 掉，人失去唯一的否决点。闭环的意义在于把责任钉在具体环节上。

边界在哪：

  • 清单只能覆盖清单内的维度。清单自身的盲区，审计发现不了 —— 所以清单本身要随项目演进修订。
  • 审计的是文档，不是运行结果。可运行的验证（测试、构建）是另一道独立的关，两者不可互替。

业界对照：Anthropic 的官方实践同样把 "验证" 当作 agent 工作流的核心 ——AI 说 "做完了" 不算完，要给它可运行的检查、由人做最终确认，最佳实践里甚至写成硬规则："If you can't verify it, don't ship it"（无法验证就不要发布）。其回溯分析显示：若对每次代码改动都做自动审查，本可拦下约三分之一的历史事故类 bug—— 这是 "本可拦下" 的回溯假设，不是实际拦截统计，但足以说明审查环节的价值。方向一致：AI 负责产出与初筛，人负责确认。

原理清单

  • 清单先行：开放式审查变封闭式核对。用于任何需要重复执行的验收场景 —— 第一次慢，之后每份都快。
  • 模型级联：把任务按 "草稿 / 正式" 分级，草稿下放给便宜模型，正式产出交给贵模型。斯坦福 FrugalGPT 论文的结论：在与 GPT-4 性能持平的前提下，级联最多可省约 98% 推理成本；同等成本下精度甚至可反超 GPT-4 约 4%。用于高频、低风险、可重来的任务。
  • 够用原则（MVP）：未经过使用验证的完美设计是负债。自用项目先跑通再打磨，砍掉过度设计。
  • 渐进披露：上下文是稀缺资源，只加载当前任务需要的技能 / 材料。skill 按需加载优于全量塞入。
  • 目标重校准：项目定位漂移（从 "运维数字员工" 转向 "知识库沉淀"）时，先砍范围、再谈优化。

参考资料