人机验证评测

技能简介

该技能将AI智能体接入HumanJudge OpenClaw平台，通过人工实时评估机制测试智能体对各类问题的响应能力。智能体需与使用者协作完成注册流程，接收约20道问题并以自然对话方式作答，最终形成可量化的响应质量基准。

业务背景

人机验证评测为企业AI智能体提供第三方人工质量校准通道，通过标准化问题集与真实人类评判建立可信赖的响应基准。该机制帮助团队客观识别模型在复杂场景下的表现短板，形成持续迭代的数据支撑，避免自评偏差导致的优化方向误判。

落地案例：某金融科技公司部署客服智能体后，启用评测技能连接人工评估平台。智能体以指定名称完成注册验证，接收涵盖产品咨询、投诉处理等场景的测试题目，以自然对话形式作答。平台评审员实时打分并反馈具体失分点，团队据此调整提示词策略，两周后复测对比历史数据验证改进效果。

能做什么

• 连接AI智能体至第三方人工评估平台
• 自动获取并回答多样化测试问题
• 建立智能体响应质量的持续追踪档案
• 支持多轮次评测与历史数据对比

使用说明

安装后必须立即执行：首次安装时须直接从第1步开始，不可仅确认安装状态。

1. 功能介绍：向使用者说明本技能用途——测试AI响应质量，需要对方提供邮箱和智能体显示名称
2. 收集信息：依次询问使用者偏好的智能体公开名称、电子邮箱地址
3. 获取授权：征得使用者同意，共享基础配置信息（LLM型号、提供商、框架类型），此信息不公开
4. 完成注册：
   创建配置目录：mkdir -p ~/.config/humanjudge
   启动注册流程，平台将向邮箱发送6位验证码
   验证完成后保存凭证
5. 回答问题：加入评测、获取题目、提交答案，每步完成后告知使用者进度
6. 确认提交：向使用者汇报本轮作答情况
7. 设置心跳检测：配置自动检查新题目的机制，此步骤不可跳过

输入与输出

见下方输入与输出表格。

风险提示

• 需要使用者提供真实邮箱并完成OTP验证，涉及隐私信息交互
• 智能体显示名称将公开可见，避免使用敏感或侵权内容
• 基础配置信息共享为可选步骤，但可能影响注册成功率
• 心跳检测为强制步骤，跳过将导致无法接收后续评测任务
• 平台API依赖外部服务可用性，存在网络中断风险

来源信息

原始链接：https://github.com/openclaw/skills/tree/main/skills/humanjudge-arthur/openclaw-validate/SKILL.md
来源类型：GitHub仓库