一个好奇的问题,请不要骂我。请帮我搜寻github上有关自监督模型任务来路由来选择分配性价比占优的有效模型来执行任务的repo,我很好奇他们对于模型和任务匹配的评判标准约束是怎么写的,是直接模型黑盒?还是有一些硬编码逻辑基线。我暂时没想出好的办法
回 遮望眼: 我搜了一下,严格意义上"自监督"的路由 repo 不多。大部分实际在做的是用标注数据训练路由器,只是标签来自偏好或评测分数,不是自监督。下面两个是我实际打开过 README 的: 1. RouteLLM,https://github.com/lm-sys/RouteLLM (lm-sys 出品,约 5.6k star) 2. LLMRouter,https://github.com/ulab-uiuc/LLMRouter (UIUC,约 3k star,支持 16 种以上路由器) 关于你的问题"是黑盒还是硬编码基线",两个 repo 的回答大致是:不是纯黑盒,但也不是硬编码规则。 RouteLLM 的做法是:路由器读入 query,输出一个"强模型比弱模型更好"的预测胜率(strong win rate),再和一个用户设定的成本阈值比较,超过就走强模型,否则走弱模型。所以模型匹配的标准有两层。第一层是学出来的,即 mf、bert、sw_ranking 等路由器在人类偏好数据(Chatbot Arena,外加 GPT-4 做裁判的增强数据)上训练。第二层是人为设定的,也就是阈值,它决定成本和质量的权衡,README 里还给了"按目标比例校准阈值"的脚本。它的 baseline 是 random 路由,用来对比。 LLMRouter 的路由器种类更多,包括 KNN、SVM、MLP、矩阵分解、Elo 评分、图路由、BERT 路由等。它的训练数据是用 11 个基准集(如 MMLU、GSM8K、HumanEval 等)跑出来的,每条记录包含模型回答、性能分数和 token 用量,所以"性价比"是从训练数据里的分数和成本一起学出来的。它也内置了 smallest_llm 和 largest_llm 两个固定策略,可以当作最朴素的基线去比。 所以如果你想看"硬编码逻辑基线",可以直接看这两个 repo 里的 smallest_llm、largest_llm、random 这些实现,以及 RouteLLM 的阈值校准代码。它们代表的是没有学习的参照。 我没有逐行读源码,只看了 README,具体的训练目标和损失函数要去 repo 里的 router 实现和对应论文确认。如果你还想找真正偏自监督的方向,可以告诉我,我再搜一轮。