生成质量与基础基准:词重合、答题和功能正确性
手算BLEU与ROUGE的局限,理解MMLU和HumanEval测什么,以及为何排行榜不能替代业务验收。
参考答案说“定制订单不能退款”,候选答案只删掉“不能”。几乎所有词都相同,事实却相反。生成评测首先要区分表面相似、事实正确、任务完成与表达质量;把它们混成一个词重合分数,会奖励关键否定丢失的答案。
从最小的词重合开始
BLEU使用修正的n-gram精确率,并以长度惩罚降低过短输出的优势。修正计数将候选中某个n-gram的计数截到参考中的最大计数,防止反复输出同一个词刷分。多阶BLEU通常取各阶精确率的加权几何平均,零计数和句子级平滑方式会明显影响结果;报告必须说明分词、阶数与平滑。
ROUGE-1以unigram重合计算召回,也可报告精确率与F1;ROUGE-L关注最长公共子序列。它们常用于摘要表面覆盖检查,但无法自己判断数字、否定和因果关系。词面不同的正确同义表达可能得低分,而复制错误事实的候选可能很高。
本例参考为五词“custom orders are not refundable”。删掉not后候选四词全部匹配,精确率1,ROUGE-1召回4/5=0.8;BLEU-1长度惩罚为exp(1-5/4)约0.7788,所以仍得到较高分。评分器并不知道这一词改变了政策含义。
完整实验:相似却错误,改写却低分
用Python 3.13运行 python -X utf8 lexical_metrics.py。这是BLEU-1与ROUGE-1召回的透明实现,不是完整BLEU-4、ROUGE-L或模型裁判。
"""仅演示unigram BLEU与ROUGE-1;不假称完整BLEU-4或事实裁判。"""
from collections import Counter
from math import exp,comb
def scores(reference,candidate):
r=reference.split();c=candidate.split()
if not r or not c:raise ValueError('示例要求非空分词')
overlap=sum((Counter(r)&Counter(c)).values())
precision=overlap/len(c);recall=overlap/len(r)
bp=1 if len(c)>=len(r) else exp(1-len(r)/len(c))
return {'overlap':overlap,'precision':round(precision,4),'rouge1_recall':round(recall,4),'bleu1':round(bp*precision,4)}
def pass_at_k(n,c,k):
if not 0<=c<=n or not 1<=k<=n:raise ValueError('invalid counts')
return 1-(comb(n-c,k)/comb(n,k) if n-c>=k else 0)
if __name__=='__main__':
ref='custom orders are not refundable'
for candidate in ('custom orders are refundable','bespoke purchases cannot be returned'):
print(candidate,scores(ref,candidate))
print('n=10 c=2 k=3 pass@k',round(pass_at_k(10,2,3),4))实际输出:
custom orders are refundable {'overlap': 4, 'precision': 1.0, 'rouge1_recall': 0.8, 'bleu1': 0.7788}
bespoke purchases cannot be returned {'overlap': 0, 'precision': 0.0, 'rouge1_recall': 0.0, 'bleu1': 0.0}
n=10 c=2 k=3 pass@k 0.5333第二个候选“bespoke purchases cannot be returned”在这里表示同义政策,但没有相同空格词,分数为0。中文如果逐字切分、按词切分或用模型tokenizer,会得到不同重合分数,不能省略分词协议。
MMLU与HumanEval提供不同证据
MMLU衡量多学科多选题知识与推理表现;题目分布、提示形式、选项处理和示例数量影响可比性。它不能直接证明系统会遵守企业权限、正确引用最新政策或完成多轮工具操作。
HumanEval以程序任务和测试检查功能正确性。pass@k关注采样k个候选中至少一个通过的概率;若每题采样n个、其中c个正确,估计式为 1-C(n-c,k)/C(n,k)。本例n=10、c=2、k=3时,1-56/120=0.5333。pass@10与pass@1既使用不同采样预算,也代表不同产品交互,不能直接对比。有限测试通过仍不证明所有输入正确。
有效性来自任务与使用方式一致
BIG-bench官方项目是一组协作构建的多样任务,用来观察模型在不同能力、难度与规模下的表现,不是单一学科选择题。其任务可以有不同输出形式和评分函数。BIG-bench、精简选择的BIG-bench Lite以及研究中另行选出的困难子集不能混报成同一个成绩。阅读报告时核对确切任务清单、示例数、解码与评分版本,再按能力分组看失败。与MMLU的学科多选、HumanEval的代码功能测试相比,它强调更广的任务异质性,但仍不等于真实Agent工作流验收。
按能力设计实验,而不是只换基准名
事实性评测可固定业务日期与可信资料,把输出拆成可核对声明,分别标注错误事实、无依据声明、遗漏条件和正确拒答。包含可回答、无答案、旧新资料冲突与否定条件题,报告错误回答率、支持度及覆盖,防止全拒答刷高已回答准确率。
推理评测可以使用有可验证结果的多步约束问题,记录中间可检查状态而不是要求暴露私有思维链。加入数字替换、条件次序变化、无关信息与反例,检验模型是否依赖表面模板;固定工具和计算预算,比较一次回答与验证后修订。答案正确但计算步骤违反约束,仍应按任务rubric扣分;中间文字流畅也不证明推理正确。
安全性评测把正常任务与攻击任务配对,检查越权工具、敏感输出、间接提示注入、偏见与过度拒绝。使用无副作用工具和合成身份,按风险分层计算攻击成功率及正常任务成功率;不向真实第三方发送攻击。人工双标与仲裁形成可信标签,再校准自动评分器,按模型、提示、工具和数据版本持续回归。这三类实验分别验证不同能力,不能用BLEU、MMLU总分或一个LLM裁判分数全部代替。
代码基准需要隔离执行不可信生成代码,并记录语言、依赖、超时与测试版本;本文只计算组合数,不执行模型生成程序。业务问答需要逐声明事实性、条件完整性和依据验证,结构化抽取需要字段与约束,工具任务需要可执行状态断言。先按业务任务分层,再选匹配指标。
公开题目可能进入训练或提示调优,结果还受数据污染影响。复现必须固定模型版本、解码参数、提示、工具与预算,并区分官方完整集、官方子集和自制样本。不要将一项基准高分外推成“能胜任所有应用开发任务”。实现依据见NLTK BLEU文档、HumanEval仓库和MMLU仓库。
综合边界推演与面试追问
删not后的四词候选有precision=1、ROUGE-1 recall=0.8、BLEU-1≈0.7788,却反转政策;同义改写可能零重合。MMLU多学科选择、BIG-bench多样任务与HumanEval程序测试分别取不同能力切片,不能用其中一个分数替代全部生成质量。
词重合便宜可复现但缺语义,事实核对更贴任务却需要可信依据和标注;pass@k增加候选预算使结果与单次使用不同。业务任务分布、分词和评分实现应固定,公开题污染与工具权限差异会破坏有效性。
若分数高而用户答复错,逐声明查数字、否定、范围与引用;若功能测试过但边界输入错,补独立用例而非宣称全面正确。报告必须区分官方完整集、子集和自制实验,保留版本、采样预算、错误与样本量。
课后练习展开习题收起习题
先独立作答,再展开参考思路。检查自己的解释是否包含机制、条件和反例。
BLEU的修正计数和长度惩罚分别解决什么?
参考思路与常见误区
修正计数限制重复n-gram刷分,长度惩罚降低过短候选优势。二者仍只处理表面匹配,不能判断否定或事实。
常见误区:BLEU高说明事实正确。
参考五词,候选四词只删not,ROUGE-1召回是多少?
参考思路与常见误区
四个词命中五个参考词,所以召回0.8;但政策含义反转,说明高重合不等于语义正确。
常见误区:只少一个词可以算基本正确。
MMLU高分为什么不能直接证明企业Agent可上线?
参考思路与常见误区
多学科选择题与企业权限、工具副作用、时效知识和多轮业务任务不同,需要业务分布下的状态与安全评测。
常见误区:所有能力可由一个知识考试分数外推。
n=10、c=2、k=3时pass@k怎样计算?
参考思路与常见误区
1-C(8,3)/C(10,3)=1-56/120约0.5333。k改变采样预算与使用方式,不可将pass@3直接与另一系统pass@1比较。
常见误区:简单用c/n乘k。
代码通过公开测试为何仍不代表生产正确?
参考思路与常见误区
测试只覆盖有限输入,可能漏边界与安全问题,并受数据污染和执行环境影响。需要业务测试、隔离执行、版本固定与更多反例。
常见误区:通过一次HumanEval就证明任意程序安全。