LLM故障切换代理

21分钟前更新 1 00
LLM故障切换代理LLM故障切换代理
LLM故障切换代理

技能简介

该技能为OpenClaw提供智能降级能力,当云端大模型(Anthropic/OpenAI)触发速率限制或过载错误时,自动将请求路由至本地Ollama实例运行。

业务背景

解决云端大模型服务不稳定导致的业务中断问题。当Anthropic或OpenAI触发限流时,系统自动无缝切换至本地Ollama实例,确保对话服务持续可用。特别适用于对稳定性要求高的开发场景,同时通过本地代码生成的人工确认机制,兼顾安全合规与业务连续性。

落地案例:某团队使用OpenClaw进行代码辅助开发,高峰期频繁遇到OpenAI 429限流错误。启用本技能后,系统在检测到限流时自动提示切换至本地qwen2.5:7b模型,开发人员输入确认指令即可继续获得代码建议。日常可通过/llm status查看当前运行模式,必要时手动强制指定云或本地模式,灵活应对不同任务需求。

能做什么

  • 实时监控云端API响应状态,识别429/503等限流错误码
  • 无感切换至本地qwen2.5:7b模型继续对话
  • 本地代码生成前强制人工确认,防止未授权执行
  • 支持手动干预:查看状态、强制指定云/本地模式

使用说明

  1. 确保本地已安装并运行Ollama,且拉取qwen2.5:7b模型
  2. 在OpenClaw中加载本技能,无需额外配置
  3. 触发限流后系统自动提示切换,代码生成需输入CONFIRM LOCAL CODE确认
  4. 手动命令:
    /llm status — 查看当前运行模式
    /llm switch cloud — 强制使用云端模型
    /llm switch local — 强制使用本地模型

输入与输出

见下方输入与输出表格。

项目内容
输入用户查询文本;Anthropic/OpenAI错误响应(自动检测);手动命令如/llm switch local;确认指令CONFIRM LOCAL CODE
输出云端或本地模型的自然语言回复;状态报告文本;切换成功/失败通知
适用人群OpenClaw重度用户、API配额受限者、需要离线可用的开发人员、注重数据不出域的金融从业者
不包含多模型智能调度算法;本地模型自动下载与更新;API用量统计面板;代码执行隔离环境

 

风险提示

  • 本地模型推理能力与云端存在差距,复杂任务可能输出质量下降
  • 代码生成确认机制不可绕过,频繁本地开发需适应额外步骤
  • Ollama未启动时切换会失败,需保持本地服务常驻
  • 敏感数据在本地处理虽避免上传,但需自行承担本地环境安全责任

来源信息

原始链接:https://github.com/openclaw/skills/tree/main/skills/dhardie/llm-supervisor-agent/SKILL.md
来源类型:GitHub仓库

数据统计

相关导航

暂无评论

none
暂无评论...