本地模型分流

技能简介

将适合本地处理的任务从付费大模型API分流至本地LM Studio实例，在质量可接受时减少token消耗与费用支出。

业务背景

企业在高频调用大模型API时面临持续的token成本压力。本方案将摘要提取、文本分类、初稿生成等中等复杂度任务分流至本地LM Studio实例，在保障输出质量可接受的前提下，显著降低付费API调用频次与费用支出，同时满足隐私敏感数据的本地化合规要求。

落地案例：某内容运营团队每日需批量处理500篇资讯摘要与标签分类。通过部署LM Studio本地服务器，团队将标准化摘要任务从云端GPT-4切换至本地7B参数模型，仅对复杂分析类请求保留付费API通道。配置预加载后响应延迟降至2秒内，月度API账单下降约60%，且用户敏感数据全程不出内网。

能做什么

• 摘要、提取、分类、改写等中等复杂度任务
• 初稿生成与头脑风暴场景
• 高频率重复性批量处理
• 隐私敏感数据的本地化处理

使用说明

安装准备

1. 安装LM Studio 0.4+版本并启动本地服务器（默认端口1234）
2. 下载所需模型到本地磁盘
3. 确保Node.js环境可用（curl亦可替代）

快速开始

# 列出可用模型
curl -s -H 'Authorization: Bearer lmstudio' http://127.0.0.1:1234/api/v1/models

# 单轮对话
node scripts/lmstudio-api.mjs <model> '<任务描述>' --temperature=0.5 --max-output-tokens=200

# 多轮状态保持
node scripts/lmstudio-api.mjs <model> '第二轮...' --previous-response-id=$ID

完整流程

1. 预检：确认服务可达（GET /api/v1/models返回200）
2. 选模：按任务需求筛选（视觉→capabilities.vision；嵌入→type=embedding）
3. 加载：可选显式加载或JIT首次调用自动加载
4. 调用：通过脚本或curl发送请求，解析response_id用于状态保持
5. 卸载：任务完成后可选释放内存（POST /api/v1/models/unload）

输入与输出

见下方输入与输出表格。

风险提示

• 本地模型质量因任务而异，关键决策建议人工复核
• 首次加载产生延迟，高频场景建议预加载常驻
• 多实例运行时instance_id格式为key:2等形式，勿与model key混淆
• 服务器未启动时所有调用失败，需前置健康检查

来源信息

原始链接：https://github.com/openclaw/skills/tree/main/skills/t-sinclair2500/lm-studio-subagents/SKILL.md
来源类型：开源社区技能