Skill编写与验证:触发质量和执行质量分别测
Skill编写与验证:触发质量和执行质量分别测,从执行机制、错误边界与可运行例子理解工程取舍。
一个Skill操作步骤写得很完整,却总在普通概念问答时被触发;另一个能正确触发,但脚本参数错误。两者需要不同修复:前者调整描述与触发边界,后者检查流程、依赖与执行结果。把它们合成一个“Skill好不好用”的分数,会掩盖问题。
先定义可交付结果
例如发票核对任务需要输出匹配字段、差异与缺失资料,不应擅自报税或修改订单。正文从输入条件开始,按必要顺序读取资料、比较、生成结果,并说明缺项和冲突路径。自由度与风险匹配:格式转换可给确定脚本;证据不足时的判断需要明确原则和升级条件。
不要把所有步骤写成固定死板序列。如果用户已经提供字段,就不必重复搜索;但跳过校验或授权不能称为灵活。用条件分支说明何时执行某一步,比“根据情况灵活处理”更可验证。脚本返回稳定结构与错误码,正文说明如何读取,而非只要求“运行后自行判断”。
触发集包含正例、近似负例和边界
正例覆盖不同说法,避免只匹配标题词;近似负例使用同类词却不要求该工作,如“解释发票是什么”;边界样本包含资料不全、混合任务与相似技能竞争。记录应该触发、实际触发和原因,分别计算精确率与召回率。
精确率关注被触发的任务有多少真的适用,召回率关注应触发的任务有多少被发现。高精确率低召回可能描述过窄;高召回低精确可能描述过宽。不能简单增加关键词解决所有问题,因为近义表达和真实意图并非词表一一对应。
执行验证独立于触发
在正确触发样本上检查最终产物、字段准确性、失败处理、权限与副作用。确认脚本能在声明环境运行,依赖已注明,资源路径正确,重复运行是否安全。用干净临时目录和固定输入验证,不把已存在的缓存产物当本次成功。
自动评审可以辅助,但要保留可核对产物和关键规则。对外发消息、覆盖文件等动作需要验证授权边界;遇到恶意文档或脚本输入,不能让外部内容修改本地流程。Skill版本变更时,同时回归触发和执行,不能只测新例子。
跟做:同一组结果拆成两类失败
保存为skill_evaluation.py,运行python -X utf8 skill_evaluation.py。这里的触发与成功标签都是人工固定数据,程序没有调用真实Agent或加载真实Skill;它用于检查指标计算和错误分流。
"""固定触发分类结果与执行结果分开统计,不测试真实模型。"""
CASES=[('核对发票',True,True,True),('讲发票概念',False,True,False),('比较票据金额与订单',True,False,False),('核对抬头',True,True,False),('写天气摘要',False,False,False)]
def metrics():
tp=sum(expected and triggered for _,expected,triggered,_ in CASES)
fp=sum(not expected and triggered for _,expected,triggered,_ in CASES)
fn=sum(expected and not triggered for _,expected,triggered,_ in CASES)
executed=[success for _,expected,triggered,success in CASES if expected and triggered]
return tp/(tp+fp),tp/(tp+fn),sum(executed)/len(executed)
if __name__=='__main__':
precision,recall,success=metrics()
print('触发精确率',round(precision,3),'召回率',round(recall,3))
print('正确触发后的执行成功率',success)
for text,expected,triggered,ok in CASES:
if expected!=triggered:print('触发问题',text)
elif expected and not ok:print('执行问题',text)实际运行输出:
触发精确率 0.667 召回率 0.667
正确触发后的执行成功率 0.5
触发问题 讲发票概念
触发问题 比较票据金额与订单
执行问题 核对抬头触发精确率和召回率均约0.667;正确触发的两个任务中只有一个执行成功,所以执行成功率0.5。概念问答被误触发、比较金额任务漏触发,而核对抬头属于执行失败。对应修改分别是收紧描述边界、增加有效表达覆盖、修正流程或资源。
把“比较票据金额与订单”的实际触发从False改成True,召回率会提高,但如果执行结果仍为False,执行成功率会下降。这不是指标矛盾,而是原先隐藏的执行问题现在暴露出来。发布时要观察端到端成功和分层指标,防止只优化某个局部数字。
版本与回滚要能复现
保存Skill正文、资源、脚本和依赖版本,记录变更目标及对应样本。新版本若引入错误触发或危险步骤,应恢复完整兼容包,不只回滚description。最终是否适合真实工作,需要在用户任务上检查产物与行为;几条合成样本只证明评测管线的计算逻辑。
综合追问:Skill召回升高而成功率下降,发布判断应该看什么?
这是给定条件下的机制推演;数值用于解释判断,不是新增线上或模型实测。先独立回答,再核对下面的推理。
展开推理、取舍与排错路径
触发正例覆盖不同表达,近似负例如“发票是什么”暴露关键词误触发,混合任务检验边界。召回提升可能是更多难任务进入执行,分母变化后执行成功率下降不矛盾;应同时看触发精确率、召回率、正确触发后成功率与端到端结果,固定样本避免只报有利数字。
步骤自由度按风险给:稳定格式转换适合脚本,证据冲突判断给规则和升级条件,授权校验不能跳过。资源布局要能从正文定位,脚本返回稳定结构/错误码,在干净目录重跑以免拿缓存当新产物。若只在新机器失败,先核相对路径与依赖;若危险副作用增加,先停用并回滚正文、资源、脚本、依赖完整版本包。面试将触发、执行、安全与版本四条验收链分开讲。
课后练习展开习题收起习题
先独立作答,再展开参考思路。检查自己的解释是否包含机制、条件和反例。
不触发和执行失败怎么区分?
参考思路与常见误区
先比较任务是否应触发与实际触发,只有正确触发后再检查流程与产物。
常见误区:都靠改脚本修复。
为何需要近似负例?
参考思路与常见误区
共享关键词却不要求执行该工作,能暴露描述过宽造成的误触发。
常见误区:只测标题同义正例。
自由度如何设置?
参考思路与常见误区
稳定机械步骤给确定规则或脚本,判断步骤给条件与边界,授权和校验不能随意跳过。
常见误区:全部死流程或全部自由发挥。
回归应检查哪些产物?
参考思路与常见误区
触发结果、最终内容、脚本输出、错误路径、资源依赖与副作用,并核对本次真实生成。
常见误区:只看Agent说完成。
召回率提高但执行成功率降低意味着什么?
参考思路与常见误区
新覆盖的任务可能暴露原有执行缺口,需看分层和端到端指标,不能只庆祝召回提高。
常见误区:认为指标互相矛盾。
协议与接口细节请对照:官方资料1。