自建类似SearXNG的搜索引擎API有何建议

来自夹夹 QQ 群讨论,审核后公开 · 。查看原始讨论

若只需聚合全网结果,直接在 SearXNG 外封装接口即可;若需可控搜索层,核心工作量在检索召回、正文抽取与重排去重,而非元搜索本身。

要点

  1. 直接用 SearXNG 做后端时,可通过 Docker 启动并开启 JSON 输出,外层封装限流、缓存与参数转换,但需自维护源列表、UA 与代理池防封。
  2. 自建搜索层需重点投入三件事:接商业 API 或可控源做召回、用 readability 类算法加无头浏览器做正文抽取、按 URL 规范化去重并重排。
  3. 接口设计应区分「原样返回」与「返回抽取文本」两个端点,Agent 场景主要依赖后者。
  4. 按归一化 query 做分类型 TTL 缓存可大幅降低成本与限流,中文技术类查询可重点考虑必应、搜狗及知乎、GitHub 等站内源。

来源