Agent联网搜索与抓正文工具怎么选

主流做法是把搜索 API 与网页正文抓取拆成两个原子工具,模型先搜摘要定位链接,再只对关键链接抓全文,比大而全的黑盒工具更省 token。

要点

  1. 搜索与抓取按职责拆分:搜索工具只返回结果列表与摘要,抓取工具专门传入 URL 取正文,语料检索、GitHub 查询另设独立工具。
  2. Tavily、Exa 是面向 Agent 的搜索引擎,搜索时可直接返回清洗后的正文;Exa 在语义搜索、论文与技术资料、GitHub 检索上效果较好。
  3. Jina Reader 把任意 URL 拼在 r.jina.ai 后即可取干净正文,s.jina.ai 加搜索词可直接返回前几名正文,适合快速搭原型。
  4. 动态渲染重、反爬严或需要结构化提取的站点可用 Firecrawl 承担抓取层,它自带无头浏览器渲染、反爬绕过与正文清洗。
  5. 工程上给模型同时挂轻量 search 与按需 fetch,先看摘要再读关键全文,兼顾 token 成本与速度。

来源