Doubleword批处理推理

技能简介

Doubleword批处理推理技能用于创建和管理大规模AI异步推理任务，通过批量提交JSONL格式请求文件，实现高吞吐、低成本的模型调用。

业务背景

当企业需要处理海量AI请求时，逐条调用API既慢又贵。批处理推理让您一次性打包提交数万个任务，系统自动排队执行，成本直降一半以上。特别适合夜间跑数据、生成报告、批量审核等非实时场景，用时间换成本，让AI算力支出更可控。

落地案例：某电商运营团队每月需为10万件商品生成营销文案。以往逐条调用GPT-4，耗时3天且费用高昂。改用批处理后，运营人员将商品信息整理为JSONL文件上传，选择24小时完成窗口，次日即可下载全部结果文件。整个流程无需人工盯盘，成本降低60%，团队得以专注于创意策略而非机械操作。

能做什么

• 批量提交多个独立AI请求，避免单条调用触发速率限制
• 以50%-83%的折扣成本完成24小时窗口内的推理任务
• 监控批量任务进度并获取完整结果文件
• 在批量模式下使用工具调用和JSON Schema结构化输出
• 处理最大200MB的JSONL请求文件，单请求支持262K总token

使用说明

前置准备

1. 访问 https://app.doubleword.ai/ 注册账号
2. 在控制台API Keys页面创建密钥
3. 充值账户积分以支付推理费用

安装与配置

本技能为API调用型服务，无需本地安装。需配置环境变量：

export DOUBLEWORD_API_KEY="your-api-key-here"

提交流程（五步）

1. 创建JSONL请求文件：每行一个完整JSON对象，包含custom_id、method、url、body字段，文件大小不超过200MB
2. 上传文件：通过API或控制台上传获取file_id
3. 创建批次：指定input_file_id、endpoint和completion_window（1h或24h）
4. 轮询状态：查询批次进度直至completed状态
5. 下载结果：从output_file_id获取结果文件

JSONL格式示例

{"custom_id":"req-1","method":"POST","url":"/v1/chat/completions","body":{"model":"anthropic/claude-3-5-sonnet","messages":[{"role":"user","content":"What is 2+2?"}]}}

输入与输出

见下方输入与输出表格。

风险提示

• 24小时SLA虽成本低，但不适合实时性要求高的业务场景
• JSONL文件中单行格式错误会导致整批解析失败
• custom_id重复会造成数据覆盖，需确保唯一性
• 大文件建议拆分为多批次，避免单点故障
• 余额不足时批次会被暂停，需提前预估token消耗

来源信息

原始链接：https://github.com/openclaw/skills/tree/main/skills/pjb157/doubleword/SKILL.md
来源类型：GitHub仓库