训练数据与审计:来源、去重、分割和工具轨迹
把数据量转化为可信监督,避免近重复、来源泄漏、合成偏差和无效工具轨迹污染训练与评测。
一万条数据复制成十万条,文件更大,但新增信息几乎为零。同一文档切出的相邻片段分别进入训练和测试,还会让模型看起来进步很大。数据工程的目标是让监督信号可追溯、分布适合任务、评测保持独立。
格式只是第一道检查
SFT可以使用文本或对话数据,偏好训练需要同一prompt对应chosen与rejected;具体trainer支持的格式按版本核对。对话记录要保留角色、顺序、工具调用ID和结果,不能将所有内容拼成一个没有边界的字符串。工具轨迹还需要动作参数、观察结果、结束状态与环境版本。
质量标签与训练文本分开存储,例如来源、授权、任务类别、语言、难度、正确性、敏感性、人工审阅状态、生成模型版本。不能把内部标签如“这是正确答案”无意放进模型输入,制造捷径。缺失来源的数据不能凭格式合法就自动进入训练。
收集来源包含用户反馈、业务专家示范、公开数据和合成样本。需确认使用权限、隐私处理及删除要求;合成数据记录生成器、提示、采样配置与校验方法。模型生成的解释流畅不等于事实正确,代码或工具轨迹应尽可能执行验证,事实回答应核查证据。
去重与分割顺序
精确去重可对规范化文本计算哈希,但大小写、空白和Unicode规范化规则必须适合领域,代码与标识符不能随意改写。近重复还包括模板变体、翻译、同一文档改写和同一问题不同措辞,需要相似度或分组审查,不能只靠SHA256。
划分单位常是文档、用户、会话、问题家族或时间段。随机按行切分会让同来源信息同时出现于训练与测试。要先建立重复和来源群组,再将整个群组分到一个集合;跨群组重复也应清理或记录。时间外推任务应采用时间隔离,不能用未来资料训练再评估过去查询。
训练集用于梯度更新,验证集用于超参数和checkpoint选择,测试集在最终方案固定后使用。反复根据测试集改提示、数据或模型,会把它变成验证集。合成器和裁判也不应看到保留测试答案,否则会形成更隐蔽的泄漏。
工具轨迹的审计标准
一次工具调用应有前置状态、可信身份、参数、返回值、错误类别和副作用回执。只保留“工具调用成功”的文本,没有真实结果,无法区分正确行动与幻觉轨迹。失败轨迹不是都应删除:可用于学习恢复、拒绝非法动作或偏好比较,但必须明确监督目标。
检查调用ID是否配对、工具是否在当时版本存在、参数是否通过schema、操作是否被授权、最终回答是否与观察一致。重放会产生副作用的轨迹时使用隔离环境或只读替身,不对真实业务重复执行。训练数据中的工具结果不能因此被提升为系统指令。
跟做:同一来源只能进入一个集合
保存 data_audit.py,用Python 3.11+执行 python data_audit.py。本例用标准库处理固定小数据,不读取真实用户信息,不是完整近重复检测系统。
"""训练数据的来源分组与规范化去重;标准库,不训练模型。"""
import hashlib
import unicodedata
def fingerprint(text):
normalized = ' '.join(unicodedata.normalize('NFKC', text).lower().split())
return hashlib.sha256(normalized.encode()).hexdigest()
def audit(rows):
seen, kept, duplicates = {}, [], []
for row in rows:
if not row.get('source') or not row.get('license_ok'):
raise ValueError('source or license missing')
key = fingerprint(row['text'])
if key in seen:
duplicates.append((row['id'], seen[key]))
else:
seen[key] = row['id']; kept.append(row)
return kept, duplicates
def split(rows, test_sources):
return ([r for r in rows if r['source'] not in test_sources],
[r for r in rows if r['source'] in test_sources])
if __name__ == '__main__':
rows = [{'id': 'a1', 'source': 'doc-a', 'text': 'Hello WORLD', 'license_ok': True},
{'id': 'a2', 'source': 'doc-a', 'text': 'hello world', 'license_ok': True},
{'id': 'a3', 'source': 'doc-a', 'text': 'second section', 'license_ok': True},
{'id': 'b1', 'source': 'doc-b', 'text': 'held out question', 'license_ok': True}]
kept, duplicates = audit(rows)
train, test = split(kept, {'doc-b'})
print('duplicates:', duplicates)
print('train:', [r['id'] for r in train], 'test:', [r['id'] for r in test])
print('source_overlap:', {r['source'] for r in train} & {r['source'] for r in test})实际输出:
duplicates: [('a2', 'a1')]
train: ['a1', 'a3'] test: ['b1']
source_overlap: set()规范化后a2与a1重复,保留a1;同属doc-a的a3也放在训练集,doc-b整体留作测试。source_overlap为空只证明这个例子的来源ID不重叠,不证明文本语义完全独立。将b1文本改成a1变体,会触发去重;真实大数据还应输出各来源删减统计,防止清洗偏向某一类别。
数据量翻倍却退步的排查
先看独立样本数、类别配比、重复率和质量标签;再检查合成数据是否放大某种措辞或错误;最后看模板和label mask是否让监督偏到用户输入。对每批数据保留manifest、哈希、来源分布与清洗规则,才能做加入或移除该批数据的消融。
格式与trainer输入参考 TRL数据格式。程序只验证精确规范化去重和来源分组,不伪称完成法律审计、隐私扫描或语义泄漏检测。
课后练习展开习题收起习题
先独立作答,再展开参考思路。检查自己的解释是否包含机制、条件和反例。
数据翻倍为什么可能效果下降?
参考思路与常见误区
新增数据可能重复、低质、偏类或泄漏;独立有效信息未增,错误监督和分布偏移反而放大。
常见误区:只用行数衡量数据价值。
为什么按来源分割而不是随机按行?
参考思路与常见误区
同文档、会话或问题家族的相近信息跨集合会泄漏,应将关联群组整体隔离并检查跨组重复。
常见误区:相邻片段不同文本就算独立。
工具轨迹至少应审计什么?
参考思路与常见误区
角色与调用ID配对、工具版本、参数、可信身份、返回结果和副作用回执,并核对最终回答与观察一致。
常见误区:只保存工具成功一句话。
精确哈希去重的边界是什么?
参考思路与常见误区
可发现相同规范化内容,无法可靠发现改写、翻译或语义近重复;规范化也可能破坏代码等语义。
常见误区:SHA256不重就证明无泄漏。
合成数据需要哪些来源记录?
参考思路与常见误区
生成模型与版本、提示、采样、原资料、许可、校验和人工复核信息;生成器和裁判不能看到保留测试答案。
常见误区:模型生成自动等于正确且可训练。