个人助手自进化中的检索与评测该如何落地

来自夹夹 QQ 群讨论,审核后公开 · 。查看原始讨论

full context 仍是上限,与其用有损压缩的 memory 框架,不如保留原文配合目录索引做 Agentic Search;自进化评测不能让 AI 凭空出题,而要靠真实 badcase 逐步累积。

要点

  1. memory 本质是有损压缩,保留原始记录或结构化文档并理清目录索引,让模型用 Agentic Search 按需翻阅保真度更高。
  2. AI 从零自造 benchmark 容易脱离真实需求,个人助手又缺乏代码的客观报错兜底,评测集应从真实出错的 badcase 连同上下文攒起。
  3. 个人助手做自进化时,检索负责精准捞回过去教训避免重犯,评测则应收集显式纠错与打断重写信号,结合可脚本验证的小任务局部迭代。

来源