大模型智能路由

技能简介

LLM Router 是一个智能代理服务，分析传入请求的复杂程度，将其分发到合适的大语言模型。简单任务使用便宜快速的模型，复杂任务调用高性能模型，帮助降低 API 费用。

能做什么

• 自动判断用户请求的复杂等级（从问候到系统架构设计）
• 按配置策略将请求路由到 Anthropic、OpenAI、Google Gemini、Kimi/Moonshot 或本地 Ollama 模型
• 提供 OpenAI 兼容的 API 端点，方便现有应用接入
• 支持本地轻量模型分类，无需额外 API 费用

使用说明

环境要求：Python 3.10+、pip、可选 Ollama（本地分类用）

安装步骤：

1. 克隆仓库：git clone https://github.com/alexrudloff/llmrouter.git && cd llmrouter
2. 创建虚拟环境：python3 -m venv venv && source venv/bin/activate
3. 安装依赖：pip install -r requirements.txt
4. 如需本地分类，拉取模型：ollama pull qwen2.5:3b
5. 复制配置文件：cp config.yaml.example config.yaml，编辑填入 API 密钥和模型偏好

启动服务：python server.py，默认监听 127.0.0.1:4001。可用 --port、--host、--config 等参数调整。

验证运行：curl http://localhost:4001/health 应返回状态正常。

输入与输出

见下方输入与输出表格。

风险提示

• 分类器判断可能存在偏差，导致简单任务被分到昂贵模型或复杂任务被分到能力不足模型
• 需妥善保管各供应商 API 密钥，避免泄露
• 本地分类依赖 Ollama，需确保服务可用
• 生产环境建议先测试分类准确性再全量启用

来源信息

原始链接：https://github.com/openclaw/skills/tree/main/skills/alexrudloff/llmrouter/SKILL.md
来源类型：GitHub 技能仓库