工具延迟加载与tool search如何省上下文

上下文只放简短工具索引,调用时再取完整schema;tool search本质是用一个工具的schema换另一个,难点在召回而非加载。

要点

  1. 要解决的问题是工具一多schema就吃满上下文,模型还没干活预算已消耗一半,因此只放工具名加一句话说明的索引。
  2. tool_search是检索入口,模型先查“我要做XX”返回候选,再按需加载完整定义,等于一次元工具调用。
  3. 与托管服务型tool search不同,自建版是进程内普通工具,检索逻辑与加载策略可调可测,但要自己承担召回不准。
  4. schema写入上下文分三档:只在索引留一行调用时注入、精简签名常驻细节靠文档查、全量常驻但按用量淘汰。
  5. 绕开加载的思路是codemode:不注入工具定义,给模型接口说明让它写脚本组合,省的是token和每次对齐参数格式的注意力开销。
  6. 前提是工具描述要当检索文档写,带场景词与同义词,否则模型会瞎编工具名或干脆不用工具。

来源