DeepResearch:从搜索列表到证据覆盖
用问题分解、来源去重、证据笔记和知识缺口控制研究流程,并逐项验证报告引用。
找到了20篇文章,不表示已经回答问题。它们可能都转载同一发布稿,也可能只覆盖能力介绍而没有成本证据。DeepResearch 的关键产物应是问题到证据的映射:哪些结论有支持、哪些互相冲突、哪些仍不知道,而不是搜索次数或报告长度。
TODO 要围绕可回答的问题
以比较两种检索方案为例,先拆成适用数据、检索质量、延迟、更新成本和权限支持。每项写清需要的证据类型:质量要有数据集、指标和实验条件,成本要有负载及计算口径,能力要核对版本和官方实现。子任务应有明确输出结构和停止条件,避免多个研究者重复搜索同一关键词。
多源不等于多域名。原论文、作者代码和第三方复现可以提供不同角度,十个媒体转载同一论文仍是一个上游主张。记录 canonical URL、原始来源、发布日期、访问日期、版本及片段。去重同时检查页面副本和主张来源,不要把转载数量当作独立证据数量。
笔记要保留支持关系
每条笔记包含 claim、evidence、source、scope、limitations 和 confidence。原文说“在数据集A上提升”,报告不能扩展为“所有场景都更强”。对冲突先检查版本、数据划分、基线和度量是否一致,再决定能否比较。搜索摘要只适合筛选线索,关键结论应回到正文、表格或原始数据验证。
写作前形成证据表:每个结论对应哪些来源,哪些来源反驳它,还有什么缺口。来源不可访问时明确标注,而不是用模型记忆补成“已核验”。报告引用应贴近具体主张,确保链接可定位支持内容;同一段若包含三种不同结论,不能用一个不相关链接笼统覆盖。
何时继续搜,何时停止
继续搜索的价值取决于尚未覆盖的重要问题和可能获得的新信息。若连续几轮只找到重复材料,主要问题已有可信支持,或预算将耗尽,就应停止并报告未解决项。高影响冲突尚未解决时,增加定向搜索比继续搜宽泛综述更有价值。搜索次数可以有限,但结论的确定性必须随证据调整。
并行研究可加快独立子问题,但会增加重复、汇总和引用错误。Anthropic 的研究系统实践可作为工程案例;不要把其特定系统的观察推广成所有研究任务都需要多 Agent。对较小问题,单流程加结构化笔记可能更省资源。
运行:三个页面记录只有两个独立证据条目
保存为 research_ledger.py,执行 python research_ledger.py。数据人工固定,程序不联网,也不评估自然语言证据是否真的支持主张。
"""固定证据集的去重与覆盖账本;没有联网搜索。"""
def assess(rows, required):
seen = set()
accepted = []
for row in rows:
key = (row['origin'], row['claim'])
if key not in seen:
seen.add(key)
accepted.append(row)
covered = {r['claim'] for r in accepted if r['supports']}
return accepted, sorted(set(required) - covered)
if __name__ == '__main__':
rows = [dict(origin='paper-1', claim='quality', supports=True),
dict(origin='paper-1', claim='quality', supports=True),
dict(origin='bench-2', claim='cost', supports=False)]
unique, gaps = assess(rows, ['quality', 'cost'])
print('unique evidence:', len(unique))
print('gaps:', gaps)
print('next:', 'search independent cost measurement' if gaps else 'write report')实际运行输出:
unique evidence: 2
gaps: ['cost']
next: search independent cost measurement两条 quality 来自同一 paper-1 被合并;cost 记录 supports=False,所以成本仍为缺口。实际系统的支持判定必须由原文核对或受控评估完成,布尔字段不是自动事实判断器。
逐项情境追问与故障定位
以下为机制分析与手算情境。可先遮住回答独立判断,再核对输入、失败位置和选择条件;它们不代表真实模型、远端服务或设备实验记录。
TODO 分解:研究TODO只有“多找资料”,怎样变成可验收任务?
按质量、延迟、成本、更新和权限拆可回答问题,各自规定数据集/负载/版本证据。细分有组织成本但能看缺口。检查每项是否有可判输出及停止条件,无法回答“完成是什么”的TODO需先重写,不能按搜索次数验收。
多源搜索:十个网站都支持同结论,独立证据一定有十份吗?
转载同一发布稿仍是一个上游主张,应区分论文、代码与独立复现。多源可交叉验证但不同版本/条件也会冲突。追溯来源链和原始数据,按独立性而非域名数计证据,不能把传播量当可信度。
笔记:笔记写“模型全面更强”,原文只在数据集A领先,怎么纠正?
笔记需保存claim/evidence/scope/limitations,结论范围不得超过实验。压缩便于汇总但会丢条件。逐句回读表格和实验设置,把“全面”改为特定条件结果,保留版本与片段,摘要不能升级为新事实。
去重:不同URL内容来自同一论文,如何去重?
同时处理规范URL、页面副本与主张来源ID;URL不同不代表证据独立。过度合并会抹掉真正复现差异,所以保留来源角色。比较作者、数据和引用链,转载合为同上游,独立实验另列条件与结果。
知识缺口:quality有来源,cost字段supports=false,能写两项都覆盖吗?
否,记录存在不代表支持成立;成本需负载与计价口径等证据。显式缺口可能使报告不完整但比编造可靠。沿目标→主张→片段核对,缺支持则定向搜索或写未知,不用程序中的布尔值冒充自动事实判定。
停止:连续三轮都是重复报道,预算还剩一半,要继续吗?
看重要未解问题和新信息预期,不以用完预算为目标。停止省成本但需报告高影响冲突;若关键成本未知,可定向搜原始计费而非继续综述。记录新增独立证据数与缺口变化,重复无增益即可结束并保留限制。
报告引用:一段含质量、价格、安全三结论只挂论文链接,够吗?
每个主张需对应实际支持来源,论文可能只支持质量。多引用增加核对成本但防范围误配。拆分断言并定位具体章节/表格,无法访问的来源标未核验,不能用相关链接装饰整段结论。
课后练习展开习题收起习题
先独立作答,再展开参考思路。检查自己的解释是否包含机制、条件和反例。
如何判断继续搜索还有价值?
参考思路与常见误区
看重要问题的证据缺口和未解冲突,以及新搜索是否可能带来独立信息。连续重复、覆盖充分或预算不足时停止并标注未知,不按页面数量机械决定。
常见误区:搜够20篇就认为研究完成。
十个网站转载同一发布稿是十份独立证据吗?
参考思路与常见误区
不是,应追溯上游来源并按主张去重。多域名不保证独立,原始实验、代码和独立复现的证据角色也不同。
常见误区:来源链接数量等同可信度。
研究笔记最少要保留哪些关系?
参考思路与常见误区
具体主张、支持片段、来源与版本、适用条件、限制和反证。这样汇总时能检查引用支持范围,不把局部实验扩展为普遍结论。
常见误区:只写一句自己的摘要而不保留来源。
两篇研究结论冲突时先查什么?
参考思路与常见误区
先核对任务、数据划分、模型版本、基线、预算和指标是否一致,再判断是真实分歧还是条件不同。不能简单平均分数或选更新文章。
常见误区:只按发布时间决定谁正确。
搜索摘要可以作为最终关键引用吗?
参考思路与常见误区
摘要适合筛选线索,关键结论应回到正文、表格或原始数据确认。不可访问或未核验的内容要标注限制,不能补成已验证事实。
常见误区:搜索结果一句话足够支持整段报告。