OpenAI - 版本更新日志（Changelog）

🔗 https://platform.openai.com/docs/changelog

✅ evals 模型测试：评估、迭代与优化

💡 总结：
高质量的 AI 应用离不开系统化的评估体系。
好的测试数据 + 多维度评估机制 + 持续迭代 = 可靠、可维护的 LLM 应用。

概述

在使用 AI 模型进行开发时，必须持续测试其输出，以确保准确性、安全性与实用性。
通过定期对模型输出进行评估（通常称为 evals），可以有效构建和维护高质量、可靠的 AI 应用程序。

1. 准备测试数据

数据来源

• 基于真实用户流量生成数据集（推荐）
• 使用 AI 自动生成测试数据集（适用于补充场景）

重要性

良好的测试数据是优化大语言模型（LLM）准确性的关键。
若测试数据无法代表实际请求类型，则无法可靠评估模型在新、未知输入上的表现。

示例测试数据表

✅ 提示：务必包含“期望答案”列，以便后续评分与对比。

2. 创建评估器（Evaluation Strategy）

创建测试数据集后，可定义评估运行的参数。
若已从生产流量中提取数据，可直接进入评估标准设定阶段。

评估方式

🔹 人工评测（Human Evaluation）

• 由人工对模型输出进行质量判断
• 适用于复杂语义、创意性任务或主观体验评估
• 可评分维度：相关性、流畅性、事实准确性、安全性等

🔹 自动评测（Automated Evaluation）

定义评测器，采用以下一种或多种方式：

• 预定义指标（如 BLEU、ROUGE）
• 规则系统（关键词匹配、正则表达式）
• 自动化脚本
• 使用另一个 AI 模型作为评估者（Model-as-Judge）

示例评估标准：

• 安全性：回复应避免包含冒犯性或有害内容。
• 角色忠实度：回复应严格遵守角色设定，体现其背景、行为模式和语言风格。
• 事实准确性：关键信息应与权威知识库一致。

⚠️ 注意：自动评估可能无法捕捉所有质量问题（如语义合理性、情感表达），建议结合人工评估使用。

典型实践示例：

使用旧规则系统产生的真实业务数据，与模型预测结果进行对比。
当发现输出不一致时，收集差异样本，通过人工评测判断合理性，
并据此持续优化模型，直到异常样本数量降至可人工处理的水平。

🔹 基线评测（Baseline Evaluation）

将新模型与一个已知性能的参考模型（基线模型）进行对比，评估其是否达到或超越基线表现。

基线可选类型：

• 之前的模型版本
• 行业标准模型（如 GPT-3.5）
• 简单规则系统或启发式方法
• 人类表现水平（黄金标准）

比较维度：

3. 运行评估，生成评估报告

• 执行评估流程，对每条测试输入的模型输出进行评分
• 汇总结果，生成结构化报告，包括：
  • 总体得分
  • 各维度表现（安全性、准确性、一致性等）
  • 典型错误案例分析
  • 与基线模型的对比图表

📌 建议格式：JSON + 可视化仪表板（如 Grafana、Power BI）

4. 迭代和改进

• 记录并分析评估结果
• 通过以下方式持续优化：
  • 调整提示词（Prompt Engineering）
  • 优化训练数据
  • 更换模型架构或参数
  • 引入反馈闭环机制

✅ 最终目标：建立“测试 → 评估 → 迭代 → 部署”的闭环流程，
确保模型在真实场景中持续提供高质量、可信赖的输出。