NeMo Evaluator模型评测

技能简介

NeMo Evaluator SDK提供标准化的大模型评估基础设施，整合MMLU、HumanEval、GSM8K等主流评测体系。容器化设计确保结果可复现，灵活适配从单机开发到大规模HPC集群的多样化评测需求，加速模型迭代验证。

能做什么

• 整理模型调用与提示流程
• 沉淀可复用的智能体能力
• 输出可接入业务的执行方案

使用说明

• 明确模型目标与输入边界。
• 配置提示流程和调用参数。
• 检查输出质量并做人工复核。

pip install nemo-evaluator-launcher

docker login nvcr.io -u '$oauthtoken' -p $NGC_API_KEY

英文名

nemo-evaluator-sdk

输入与输出

见下方输入与输出表格。

风险提示

• 涉及外部平台接口、账号或权限时，先确认授权边界与数据访问范围。
• 自动生成或自动执行结果应保留人工复核，避免直接替代最终业务判断。
• 若处理内部资料、客户信息或经营数据，应先完成脱敏与权限控制。

来源信息

原始链接：https://github.com/Orchestra-Research/AI-Research-SKILLs
来源类型：GitHub 开源仓库