评测数据集与标注:先定义什么叫答对
建立真实、合成、对抗样本的覆盖与版本,处理标注争议、分组切分和任务分布偏差。
如果问题是“定制订单能否退款”,只给一个gold字符串“不能”远远不够。需要记录订单类型、政策有效期、允许访问的数据、例外条件和答案依据。否则模型回答“不能,除非尚未生产”时,评分器无法判断这是正确补充还是虚构例外。
样本不是只有问题与答案
一个可回放样本至少需要稳定ID、原始输入、必要历史、身份范围、环境或知识快照、任务类型、允许工具、预期状态或答案rubric、来源与授权信息。涉及动态网页和文件时,应记录获得时间、版本或受控快照;不能假设半年后相同URL还有相同内容。
真实日志反映实际分布,但常缺少长尾故障与可信gold。合成样本适合系统覆盖组合,例如地域、日期、否定条件的排列;生成器可能反复使用同一种措辞或把自己的错误同时写进题目与答案。对抗样本专门覆盖边界、误导、权限与恶意输入,适合安全回归,不能直接按其通过率估算线上总体成功率。
标注规范要能指导分歧
本例采用三档:0表示关键事实错误或无依据;1表示主结论正确但缺少必要条件;2表示结论、条件与证据均满足要求。实际项目应为每档提供正例、反例和边界示例,规定多种合法答案、格式错误、拒答与部分完成如何处理。不要让标注员凭“看起来不错”打分。
先独立双标一批,再检查分歧集中在哪些类别。仲裁不是简单多数投票:两人都误解业务定义时,票数无法修复标准。应由能解释依据的人裁决,并记录理由;若rubric变了,需要回标受影响样本而不只修改新样本。
可运行实验:争议不自动变成标签
使用Python 3.13执行 python -X utf8 dataset_labels.py。四条人工记录中,q2和q4存在分歧;q1与q2来自同一文档d1。程序要求明确仲裁,并将同文档的样本放在同一集合。
"""小型人工标签:来源分层、争议仲裁、按文档组隔离。"""
import hashlib,json
ROWS=[{'id':'q1','group':'d1','source':'真实','a':2,'b':2},
{'id':'q2','group':'d1','source':'合成','a':2,'b':1},
{'id':'q3','group':'d2','source':'对抗','a':0,'b':0},
{'id':'q4','group':'d3','source':'真实','a':1,'b':2}]
def split(rows,test_groups):
return ([r for r in rows if r['group'] not in test_groups],[r for r in rows if r['group'] in test_groups])
def resolve(rows,adjudication):
result=[]
for row in rows:
label=row['a'] if row['a']==row['b'] else adjudication.get(row['id'])
if label is None:raise ValueError('未仲裁:'+row['id'])
result.append({**row,'label':label})
return result
def fingerprint(rows):return hashlib.sha256(json.dumps(rows,sort_keys=True,ensure_ascii=False).encode()).hexdigest()[:12]
if __name__=='__main__':
print('原始一致率',sum(r['a']==r['b'] for r in ROWS)/len(ROWS))
labeled=resolve(ROWS,{'q2':1,'q4':1})
train,test=split(labeled,{'d1'})
print('训练ID',[r['id'] for r in train],'测试ID',[r['id'] for r in test])
print('标签',[r['label'] for r in labeled],'版本指纹',fingerprint(labeled))实际输出:
原始一致率 0.5
训练ID ['q3', 'q4'] 测试ID ['q1', 'q2']
标签 [2, 1, 0, 1] 版本指纹 c145af3e9c71原始一致率为2/4=0.5。训练集只有q3、q4,测试集为q1、q2,避免同文档改写题跨集合泄漏。这里按group划分只演示一种隔离维度;真实情况还应考虑用户、事件、时间和近重复语义。指纹仅对当前序列和字段生成,真实发布还需包含schema、rubric、外部数据版本并固定排序。
分层采样与版本管理
假设线上90%是简单查询,10%是多跳问题。为研究多跳,可以在评测集中各取50%;但汇报线上预期质量时应按90/10加权,同时单独报告每层结果。测试中故意增加的高风险题不能在总体平均时无说明地当成真实流量。
为数据集发布不可变版本,保存新增、删除、修正标签的原因。训练、提示调优和最终测试集应隔离;反复查看测试错误并调整提示后,它已参与开发,需另留未接触的验收集合。删除敏感日志时还要处理派生样本和备份策略。
常见故障包括问题和gold来自不同知识版本、只保留愿意反馈的用户、同义改写穿越切分、评分标准随标注员变化。先修数据与规范,再讨论模型提升的几个百分点。Datasheets for Datasets提出记录数据动机、组成、采集过程和适用范围的思路;本文实验是原创微型标签流程,未使用真实用户日志。
综合边界推演与面试追问
退款数据集把真实常见、合成条件组合、对抗注入分别标来源;线上90%简单/10%多跳,而研究集各50%。两个标注员对“能退但没提定制例外”分别给2和1,应按必要条件rubric仲裁为1,不能平均成1.5后掩盖分歧。
增加对抗题有助暴露风险却改变总体分布,应分层报告并按目标权重估计线上质量。版本要含问题、依据、rubric与标签修正,同文档改写按组切分;合成数据易扩量但不能代替真实任务和独立gold。
若新版分数突升,先检查测试题是否混入示例、近重复是否跨组、gold是否来自旧政策,再看模型。缺来源、未仲裁或版本不清样本先待核对,不自动计对/错。发布数据说明记录采集、覆盖、授权和适用范围,便于别人复查分母。
课后练习展开习题收起习题
先独立作答,再展开参考思路。检查自己的解释是否包含机制、条件和反例。
评测样本除了问题答案还需要哪些上下文?
参考思路与常见误区
稳定ID、历史、可信身份范围、知识或环境快照、允许工具、任务类型、rubric与来源,才能判断答案在什么条件下成立并回放。
常见误区:任何时候只比较最终字符串。
真实、合成和对抗样本各适合什么?
参考思路与常见误区
真实样本刻画实际分布,合成样本系统覆盖组合,对抗样本测试边界与攻击。它们偏差不同,应分别分层报告并说明总体权重。
常见误区:把对抗集成功率当线上总体成功率。
双标分歧怎样处理才能提高标签质量?
参考思路与常见误区
先独立标注,分析分歧类别,由有依据的人仲裁并记录理由;必要时修订rubric并回标受影响样本。
常见误区:取两个分数平均值就得到正确标签。
同一文档的多个改写题为何应分组切分?
参考思路与常见误区
跨训练测试集合会暴露相同事实与表达模板,夸大泛化能力。可按文档、用户、事件或时间分组,并检测近重复。
常见误区:问题字符串不同就没有泄漏。
评测中难题占50%,线上只占10%,怎样汇报?
参考思路与常见误区
保留简单与难题各自指标,再按目标流量90/10加权估算总体;明确这是目标分布下的估计,不能直接用评测集50/50平均替代。
常见误区:样本平均在任何分布下都代表线上质量。