技能质量评估器

3小时前更新 1 00

自动化检测与人工评分

收录时间:
2026-02-26
技能质量评估器技能质量评估器
技能质量评估器

技能简介

skill-evaluator 用于在发布前对 Clawdbot 技能进行质量、可靠性和发布就绪度的综合评估。采用混合模式:自动化脚本执行结构检查,人工依据多框架量表(ISO 25010、OpenSSF、Shneiderman 及智能体专用启发式规则)对25项指标打分。

能做什么

  • 自动检测文件结构、前置元数据、描述质量、脚本语法、依赖审计、凭据扫描、环境变量文档
  • 依据8个类别25项指标进行人工评分(满分100)
  • 生成结构化评估报告 EVAL.md,标注 P0/P1/P2 优先级问题
  • 提供90–100分优秀、80–89分良好、70–79分可接受、60–69分需改进、<60分不宜发布的分级建议

使用说明

  1. 安装依赖
    需 Python 3.6+,执行 pip install pyyaml 安装前置元数据解析库
  2. 运行自动化检查
    python3 scripts/eval-skill.py /path/to/skill
    可选 --json 输出机器可读格式,或 --verbose 显示完整详情
  3. 人工评估
    阅读技能 SKILL.md 与脚本代码,参照 references/rubric.md 对25项指标逐项打分(0–4分)
  4. 撰写评估报告
    复制 assets/EVAL-TEMPLATE.md 至技能目录命名为 EVAL.md,填入自动化结果与人工评分

输入与输出

见下方输入与输出表格。

项目内容
输入本地技能目录路径;Python 3.6+ 环境;PyYAML 库
输出终端检测报告(支持文本/JSON格式);EVAL.md 评估文档;P0/P1/P2 分级问题清单;0–100 综合评分
适用人群技能开发者自测;代码审查员;发布前质量把关人员;开源贡献者
不包含动态运行时分析;深度渗透测试;AI 行为模拟验证;非 Python 技能的脚本语法检测

 

风险提示

  • 本工具仅覆盖基础安全检查(凭据、输入验证、数据安全),深度安全审计建议使用 SkillLens(npx skilllens scan <path>
  • 人工评分环节依赖评估者对 rubric.md 的理解一致性
  • 自动化脚本不会执行技能代码,无法检测运行时行为风险

来源信息

原始链接:https://github.com/openclaw/skills/tree/main/skills/terwox/skill-evaluator/SKILL.md
来源类型:GitHub 仓库

数据统计

相关导航

暂无评论

none
暂无评论...