输入一个问题,找回相关资料
观察真实FTS5检索、中文切词、候选排序与团队过滤。
检索是在资料库里寻找相关内容。读者问“住宿费用”,系统需要从制度中找出含有住宿规定的片段,再把这些片段交给回答环节。
先查资料,再组织回答,两步分别检查会更容易排错:没查到住宿制度,先修检索;已经查到正确制度,才检查回答是否用对了它。
中文问题怎样变成搜索条件
上一节的 terms 函数把连续中文拆成相邻双字。例如“住宿费用”会变成:
住宿 → 宿费 → 费用保存文档时同样切词。问题和资料共享“住宿”“费用”等词项时,FTS5就能找到候选。英文和数字则按连续词处理。
搜索使用OR连接词项,含其中任一词项的片段都可能入选。FTS5的BM25排序还会综合词项出现情况和文档长度。在SQLite的这个实现里,排序值越小越靠前;它是排序依据,不能直接读成回答正确的概率。
运行第一组检索
保留前两节文件,在同一目录保存 search_demo.py:
from storage import Store, terms
store = Store("data/kb.sqlite3")
print("切词:", terms("住宿费用"))
# 展示真实索引返回的片段,省略随语料变化的排序数值。
for query in ["住宿", "权限申请", "火星移民"]:
hits = store.search("alpha", query, 3)
print("\n问题:", query)
for hit in hits:
print(hit["chunk_id"], hit["title"], hit["text"])
if not hits:
print("没有找到资料")先导入,再查询:
python seed.py
python search_demo.py切词: ['住宿', '宿费', '费用']
问题: 住宿
travel:0 差旅报销制度 差旅报销须在出差结束后30天内提交。住宿发票须附酒店账单。
问题: 权限申请
access:0 系统权限申请 系统权限申请须由直属主管审批,再由运维开通。离职当天撤销权限。
问题: 火星移民
没有找到资料输出的 travel:0 表示travel文档的第0个片段。以后回答引用这个编号,用户就能查看对应原文。“火星移民”没有命中,应当进入资料不足的处理分支。
换一种说法,观察不足
将查询改为“住旅店限额”,运行脚本。结果取决于它和当前语料是否共享双字词项。没有共同词项时,关键词检索可能漏掉语义相关的制度。
这也是为什么下一阶段需要引入真实Embedding:将不同措辞转换成可比较的向量。关键词路径对编号、产品型号和专有名词很有帮助;向量路径帮助处理不同表达;重排再比较候选与问题的相关程度。当前先保存关键词基线,后续才能量化新增组件的收益。
| 观察到的问题 | 先检查哪里 |
|---|---|
| 所有问题都无结果 | seed.py是否成功,脚本是否读取同一个数据库文件 |
| 精确词可以搜到,换说法就失败 | 查看 terms(query),确认是否有共同词项 |
| 搜到了无关内容 | 查看哪个词项触发命中,再考虑过滤、重排或更严格的相关性判断 |
| 修改制度后仍返回旧文本 | 确认更新使用相同document_id,并检查查询的数据库路径 |
比较两个团队
把 store.search("alpha", query, 3) 中的alpha换成beta。导入脚本只给alpha保存了三份资料,所以beta的结果为空。这里我们直接调用内部模块以观察行为;第四节会根据请求令牌确定团队,用户提交的正文只包含问题。
课后练习展开习题收起习题
练习:制造一次漏召回,再修复
给alpha添加一份“停车报销”资料,原文写“停车票据需要经理审批。”。先搜索“泊车凭证”,再搜索“停车票据”。比较两次结果并解释原因。
参考操作
store.put("alpha", "parking", "停车报销", "停车票据需要经理审批。")
for query in ["泊车凭证", "停车票据"]:
print(query, [h["document_id"] for h in store.search("alpha", query, 3)])
store.delete("alpha", "parking")第一组措辞缺少共同双字词,第二组可以命中parking。可以先为明确的业务同义词建立查询词表,再用独立测试问题评估覆盖情况。
相关排序细节见 SQLite BM25说明。