单次提示词测试

技能简介

Singleshot 是一款命令行工具，用于单次执行 AI 提示词并生成详细的成本与性能报告。它支持多模型提供商（OpenAI、Anthropic、Ollama 等），可快速验证提示词效果、对比不同配置的成本差异，帮助在正式部署前完成优化。

能做什么

• 测试新提示词的 Token 消耗与响应质量
• 对比不同模型或同一模型的参数变体
• 生成包含成本、耗时、Token 用量的结构化报告
• 批量测试多个提示词配置文件
• 本地免费测试（通过 Ollama）

使用说明

安装

# macOS 通过 Homebrew
brew tap vincentzhangz/singleshot
brew install singleshot

# 或通过 Rust 工具链
cargo install singleshot

基础用法

每次测试务必添加 -d（详细指标）和 -r（保存报告）选项：

# 直接测试提示词
singleshot chat -p "你的提示词" -P openai -d -r report.md

# 使用配置文件测试
singleshot chat -l config.md -d -r report.md

# 对比不同提供商
singleshot chat -p "测试" -P openai -m gpt-4o-mini -d -r openai.md
singleshot chat -p "测试" -P anthropic -m claude-sonnet-4-20250514 -d -r anthropic.md

配置环境变量

export OPENAI_API_KEY="sk-..."
export ANTHROPIC_API_KEY="sk-ant-..."
export OPENROUTER_API_KEY="sk-or-..."

优化流程示例

1. 生成基准报告：singleshot chat -p "原始提示词" -P openai -d -r baseline.md
2. 查看指标：cat baseline.md，记录 Token 数与成本
3. 修改提示词（精简系统指令、添加长度限制）
4. 再次测试并对比两份报告的 Total Cost 与 Total Tokens

输入与输出

见下方输入与输出表格。

风险提示

• 未设置 --max-tokens 可能导致意外高额输出费用
• API 密钥需妥善保管，避免硬编码到脚本中
• 生产环境部署前务必用目标模型做最终验证
• Ollama 本地测试虽无费用，但模型行为可能与云端版本存在差异

来源信息

原始链接：https://github.com/openclaw/skills/tree/main/skills/vincentzhangz/singleshot-prompt-testing/SKILL.md
来源类型：GitHub 仓库