测试与日志:全部绿灯为什么仍可能无法调用模型
区分单元、集成、契约与真实提供方验证,设计失败路径与可定位日志,避免替身测试制造虚假信心。
如果测试把远端调用替换成固定字符串,它可以证明某段解析或控制流对这个字符串工作,却不能证明密钥有效、模型存在、网络可达或供应商接受当前请求。测试报告必须说明边界,不能用“100%通过”概括没有运行的部分。
每种测试应该证明什么
单元测试隔离一个小模块,例如参数验证、重试判定和引用对齐,便于覆盖失败分支。集成测试验证多个真实组件的配合,例如HTTP路由连接真实本地数据库;它仍可能替换外部模型。契约测试检查接口字段、类型、状态和事件序列是否符合双方约定,能在无需全链路运行时发现不兼容。
端到端测试从用户入口走到最终结果,覆盖范围最广,但如果某个提供方被替身替换,报告仍需说明。真实提供方冒烟检查应使用受控输入、预算和凭据,确认最小请求与解析路径可用;一次成功不代表容量、稳定性和质量全部达标。
测试金字塔不是数量竞赛。对纯计算用快速单元测试;对SQL事务和HTTP协议用真实本地集成;对版本易漂移的模型接口加入契约样本和受控真实验证。写几十个断言检查同一个常量,不能补偿一次关键失败路径都没测。
替身应该约束接口,而不是迎合实现
无限宽松的Mock会自动生成任意属性,拼错方法名也可能不报错。spec/autospec可约束接口,但它们仍依据本地定义,若本地定义已经偏离提供方,测试照样可能通过。使用实际请求/响应契约样本、独立解析断言和版本化schema能减少这种共同错误。
固定替身应至少覆盖正常响应、明确错误状态、畸形字段、空响应、超时/取消和流式分片边界等与模块职责相关的情况。不要在测试里直接重写生产算法再互相比对,应该用外部可观察行为、已知反例或独立计算检查。
保存为 testing.py,运行 python -X utf8 testing.py。
"""固定响应验证解析契约;明确不证明远端可用。"""
import json
import logging
from io import StringIO
def parse_reply(status, body):
if status != 200:
raise ValueError('provider_status')
data = json.loads(body)
if type(data) is not dict or type(data.get('text')) is not str:
raise ValueError('provider_schema')
return data['text']
def call(transport, logger):
status, body = transport()
logger.info('provider_response status=%s bytes=%s', status, len(body))
return parse_reply(status, body)
if __name__ == '__main__':
buffer = StringIO()
logger = logging.getLogger('local-contract')
logger.handlers.clear()
logger.propagate = False
logger.setLevel(logging.INFO)
logger.addHandler(logging.StreamHandler(buffer))
print('固定替身', call(lambda: (200, '{"text":"ok"}'), logger))
for status, body in [(503, '{}'), (200, '{"text":123}')]:
try:
call(lambda: (status, body), logger)
except ValueError as error:
print('契约拒绝', str(error))
print('日志只含状态和长度', 'text' not in buffer.getvalue())
print('真实提供方验证', '未运行')固定替身 ok
契约拒绝 provider_status
契约拒绝 provider_schema
日志只含状态和长度 True
真实提供方验证 未运行第二条失败是503,第三条虽然HTTP200,但text是数字,依然被拒绝。这说明传输成功与应用契约成功需要分别检查。把parse_reply中的字段类型检查删除,正常样例仍通过,但畸形字段用例会失去防线;这类反例比“调用过函数一次”的断言更有意义。
示例不向远端发请求,因此最后一行显式写未运行。这里的日志只记录状态和长度,未记录正文;真实系统还应记录请求关联ID、模型版本、重试次数与阶段耗时,便于跨组件定位。
日志级别与敏感数据
DEBUG适合有控制的诊断细节,INFO记录重要生命周期,WARNING表示可继续但需关注的异常情况,ERROR记录失败。不要每层捕获同一个异常都打印一份完整栈,产生重复告警;可以由明确边界负责一次错误记录,沿途附加上下文。
prompt、工具参数、检索片段和Authorization可能包含敏感信息。优先记录结构与统计,必要采样应脱敏并遵循保留策略。把日志换成JSON格式不会自动让内容安全,也不会自动建立Trace;还需要一致的request_id、span关系与时间边界。
随机性怎样进入回归
固定随机种子能控制部分本地采样,不保证跨硬件、内核、版本或供应商完全确定。计算函数可以比较精确值或合理容差,模型质量应在固定数据集上比较错误类型与统计变化。不要把一次措辞不同当成失败,也不要用宽松字符串包含掩盖事实错误。
测试集应与调参/提示优化集分开,避免不断针对同一批题修改后误认为泛化提高。质量回归需要记录输入、预期依据、模型与提示版本、检索配置以及判分规则;LLM裁判也有偏差,要抽样人工校核,而不是当成不需验证的真值。
CI 失败后怎样收敛问题
CI从锁定依赖和干净目录启动,先做结构/类型检查和快速单元测试,再运行相关集成与浏览器检查。真实外部调用应有单独标识、预算和失败分类;凭据缺失写skip或未运行,不能返回固定结果伪装通过。
保留最小复现输入、错误阶段、版本与必要日志,先判断是产品缺陷、测试过时还是环境失败。重跑能排除偶发性,但反复重跑直到绿灯不等于修复。对不稳定测试检查时间依赖、未等待异步完成、共享状态、端口与清理;本地并发示例用事件同步,就是为了不把墙钟抖动当行为差异。
逐项情境追问与故障定位
以下为机制分析与手算情境。可先遮住回答独立判断,再核对输入、失败位置和选择条件;它们不代表真实模型、远端服务或设备实验记录。
单元/集成/契约测试:单元测试全绿但数据库事务失败,应补哪层?
单元测试只覆盖被隔离模块,需真实本地数据库集成验证提交/回滚,契约测试再核接口字段。端到端范围广但成本高,优先补最接近故障边界的可重复测试。插入后抛异常并检查记录是否回滚,不能只断言调用过commit方法。
替身边界:Mock接受拼错的send_mesage,怎样让测试发现?
使用受接口约束的spec/autospec并断言外部可观察结果;同时用版本化真实契约样本防止本地接口共同写错。严格替身较易暴露漂移但维护成本增加。先确认拼错方法被拒绝,再核正常、503和字段类型错误三类样本。
日志级别:一次失败产生五条ERROR并泄露prompt,如何改?
在明确服务边界记录一次主错误,沿途传递关联ID和阶段上下文;按需用DEBUG细节,默认只记录长度/状态等统计。降低日志量利于告警但不能丢请求关联。用含测试秘密的失败样本检查日志无原文且能定位同一请求。
随机性:相同seed两次回答不同,应直接判回归吗?
seed只控制部分采样,服务端/硬件/版本仍可能变化。固定数据集与判分依据比较事实正确率和错误类型,精确计算则用容差或确定值。逐字匹配便宜但脆弱;对照模型、提示和检索版本,保留重复样本,不能用一次变化宣称质量退化。
CI 与回归:CI缺密钥时返回固定成功文本可否算通过?
不可,真实提供方检查必须标未运行或skip,替身测试单列。把快速本地门禁与受预算控制的外部冒烟拆开,既减少不稳定依赖又不混淆范围。核查报告标记与实际网络调用路径;连续重跑偶然变绿不证明产品缺陷已修。
课后练习展开习题收起习题
先独立作答,再展开参考思路。检查自己的解释是否包含机制、条件和反例。
替身模型返回固定ok,测试通过证明什么?
参考思路与常见误区
只证明该输入条件下本地解析或控制流行为。未证明网络、认证、模型名称、接口能力或远端质量;这些需要契约与受控真实提供方检查,未运行应明确标注。
常见误区:把mock通过称为真实API联调通过。
为什么要测HTTP200但字段类型错误?
参考思路与常见误区
传输成功与应用契约成功不同。畸形字段反例能发现仅检查状态码的漏洞,避免错误类型进入后续逻辑或数据库。正常样例通过无法验证拒绝路径。
常见误区:认为所有200响应都遵循预期JSON结构。
autospec能否证明远端接口未变化?
参考思路与常见误区
不能,它约束Mock匹配本地接口定义;若本地定义已经过时,仍可能一起错。应引入版本化契约样本、独立schema检查及必要的真实冒烟验证。
常见误区:把本地模拟对象的接口限制当成供应商兼容性证据。
固定随机种子能否保证模型回归逐字一致?
参考思路与常见误区
不能跨所有环境保证。硬件、内核、版本、供应商执行等可能变化。数值运算按合理容差检查,生成质量按固定数据、错误类型和统计比较,记录所有相关版本。
常见误区:把措辞差异一律当失败,或把种子当绝对确定性承诺。
CI偶发失败,重跑变绿是否算修复?
参考思路与常见误区
不算。应保留失败证据,定位时间依赖、共享状态、未等待任务、端口和清理等因素;区分环境故障与产品缺陷。缺凭据的真实检查写未运行或skip,不能用固定结果替代。
常见误区:反复重跑直到通过并删除失败记录。
参考 unittest.mock 与 logging。