Doubleword批处理推理

5天前更新 2 00
Doubleword批处理推理Doubleword批处理推理
Doubleword批处理推理

技能简介

Doubleword批处理推理技能用于创建和管理大规模AI异步推理任务,通过批量提交JSONL格式请求文件,实现高吞吐、低成本的模型调用。支持OpenAI兼容接口,适用于工具调用和结构化输出场景。

能做什么

  • 批量提交多个独立AI请求,避免单条调用触发速率限制
  • 以50%-83%的折扣成本完成24小时窗口内的推理任务
  • 监控批量任务进度并获取完整结果文件
  • 在批量模式下使用工具调用和JSON Schema结构化输出
  • 处理最大200MB的JSONL请求文件,单请求支持262K总token

使用说明

前置准备

  1. 访问 https://app.doubleword.ai/ 注册账号
  2. 在控制台API Keys页面创建密钥
  3. 充值账户积分以支付推理费用

安装与配置

本技能为API调用型服务,无需本地安装。需配置环境变量:

export DOUBLEWORD_API_KEY="your-api-key-here"

提交流程(五步)

  1. 创建JSONL请求文件:每行一个完整JSON对象,包含custom_id、method、url、body字段,文件大小不超过200MB
  2. 上传文件:通过API或控制台上传获取file_id
  3. 创建批次:指定input_file_id、endpoint和completion_window(1h或24h)
  4. 轮询状态:查询批次进度直至completed状态
  5. 下载结果:从output_file_id获取结果文件

JSONL格式示例

{"custom_id":"req-1","method":"POST","url":"/v1/chat/completions","body":{"model":"anthropic/claude-3-5-sonnet","messages":[{"role":"user","content":"What is 2+2?"}]}}

输入与输出

见下方输入与输出表格。

项目内容
输入JSONL格式请求文件(最大200MB)、API密钥、模型名称、完成窗口参数
输出批次状态、输出文件ID、JSONL结果文件、错误日志
适用人群数据工程师、ML运维人员、需要批量推理的开发者团队
不包含实时流式输出、本地模型运行、单条请求自动重试机制

 

风险提示

  • 24小时SLA虽成本低,但不适合实时性要求高的业务场景
  • JSONL文件中单行格式错误会导致整批解析失败
  • custom_id重复会造成数据覆盖,需确保唯一性
  • 大文件建议拆分为多批次,避免单点故障
  • 余额不足时批次会被暂停,需提前预估token消耗

来源信息

原始链接:https://github.com/openclaw/skills/tree/main/skills/pjb157/doubleword/SKILL.md
来源类型:GitHub仓库

数据统计

相关导航

暂无评论

none
暂无评论...