索引生命周期:更新、切换、删除和缓存一起管理
把文档身份与版本分开,运行发布切换和删除传播,理解回滚为什么不能复活已删除资料。
知识库初次导入成功,只是生命周期的起点。之后同一文档会修订、改权限、拆分、合并或删除。若每次导入都生成新ID,旧版本可能继续被搜到;若只删除主数据库,摘要、缓存和旧索引可能继续暴露内容。必须知道一份资料衍生出了哪些副本。
身份、内容和配置版本分开
业务文档ID回答“这是哪份资料”,内容revision回答“这是哪次修订”,哈希用于判断字节或规范化文本是否变化。解析器、分块、embedding和索引配置也有各自版本。同样正文在不同分块器下可能生成不同块,因此不能只比较文件时间戳就跳过重建。
去重要区分同文档重复采集和不同权限域的相同文字。相同文本可在计算上复用某些结果,但来源、访问范围和引用不能随意合并。幂等写入键通常由文档身份、revision和块身份组成,重试相同任务不会生成第二套记录。
增量发布的完整路径
检测变更后,先提取受影响文档,重算必要块与向量,在独立版本完成数量、引用和权限检查,再切换查询指针。切换时查询模型与索引空间必须匹配。切换失败可以维持旧可用版本,避免半套新块已可见而另一半还没写完。
增量不一定只重算一块。摘要树祖先、图社区、文档级统计和缓存可能依赖它。记录依赖关系才能估算重建范围;无法确定依赖时,应保守重建或标记暂不可用,而不是把未知当作未受影响。
保存为 index_lifecycle.py,运行 python -X utf8 index_lifecycle.py。内存示例展示控制顺序,不模拟跨服务事务。
"""内存状态演示原子指针切换和删除传播;无外部数据库。"""
class Knowledge:
def __init__(self):
self.active=1;self.versions={1:{'policy':'7天'}}
self.cache={};self.derived={'summary':['policy']};self.deleted=set()
def read(self,doc):
if doc in self.deleted:return None
key=(self.active,doc)
if key not in self.cache:self.cache[key]=self.versions[self.active].get(doc)
return self.cache[key]
def publish(self,version,documents):
if not documents:raise ValueError('拒绝发布空版本')
self.versions[version]=dict(documents)
self.active=version
def delete(self,doc):
self.deleted.add(doc)
for documents in self.versions.values():documents.pop(doc,None)
self.cache={key:value for key,value in self.cache.items() if key[1]!=doc}
self.derived={key:refs for key,refs in self.derived.items() if doc not in refs}
if __name__=='__main__':
kb=Knowledge();print('v1',kb.read('policy'))
kb.publish(2,{'policy':'14天'});print('v2',kb.read('policy'))
kb.delete('policy');print('删除后',kb.read('policy'),'缓存',kb.cache,'摘要',kb.derived)
kb.active=1;print('回滚也不复活已删除文档',kb.read('policy'))v1 7天
v2 14天
删除后 None 缓存 {} 摘要 {}
回滚也不复活已删除文档 None缓存键包含当前版本,所以发布v2后不会误读v1缓存。删除时清理当前与历史索引、缓存以及依赖摘要,同时留下删除标记;即使指针回到v1,读取仍拒绝复活已删除文档。真实系统需要持久化删除标记、权限撤销和审计,不能只存在进程内存里。
删除传播清单怎样形成
从原件到解析文本、块、向量、倒排、摘要、图节点/边、查询缓存、回答缓存、日志和备份逐层列出存储位置。数据删除与备份保留可能有不同策略,必须按已确定的组织要求执行;恢复后应重放删除/撤权记录,避免把历史状态当作当前授权。
删除接口应可重试、可查询状态,并说明当前阻塞在哪个副本。仅检查搜索结果为空不证明存储已删除;反过来,后台物理清理尚未结束时,可以先通过可靠读时屏障阻止资料被继续使用。最终要验证查询、来源链接、缓存命中与恢复演练。
综合边界推演与面试追问
同一policy稳定ID从7天改14天,内容哈希变化但不是全新业务对象。即使文本未变,切块器或embedding版本变化也会使配置指纹改变。增量流程比较身份/内容/配置,重建受影响块后发布新索引版本,再切活动指针。
内容哈希帮助跳过未变文本,不能跨租户合并权限;全量重建更容易获得一致快照却更贵,增量更省计算却要维护依赖。缓存键带版本可避免新查询读旧值,但删除不能仅靠等待TTL。
删除policy后检查原文、所有版本块、向量、缓存、摘要与图依赖,保留tombstone阻止回滚或恢复复活。发布中断时旧版本仍应可读,空新版本不能直接切换;真实多副本切换还需一致性协议,不由内存指针赋值证明。
课后练习展开习题收起习题
先独立作答,再展开参考思路。检查自己的解释是否包含机制、条件和反例。
文档ID和内容哈希为什么不能混成一个字段?
参考思路与常见误区
稳定ID表示同一业务对象,内容哈希判断具体版本是否变化。内容变化后应更新同一对象的版本及派生块;只用哈希会让旧版成为另一个无法正确失效的对象。
常见误区:哈希变化就永久新增而从不删除旧块。
源文件没变,换embedding模型是否需要更新索引?
参考思路与常见误区
需要检查完整配置指纹:解析、切块、模型、维度、归一化和度量。模型变化可要求重嵌入,维度相同也不保证空间兼容,不能仅用文件哈希决定跳过。
常见误区:文本字节相同就复用任何旧向量。
为什么先写新版本再切换活动指针?
参考思路与常见误区
避免查询读到只有部分文档的新索引。应构建、校验、就绪后发布版本,再以原子或明确一致性的路由切换;分布式实现还需定义在途请求与回滚。
常见误区:原地清空再慢慢写入也算无缝更新。
删除文档后还应处理哪些派生状态?
参考思路与常见误区
删除原文、块、向量、缓存、摘要和图中的依赖,并传播删除标记。备份恢复或回滚旧版本时重放删除,验证引用与检索都不可见。
常见误区:删向量就完成全部删除。
双写迁移期间如何避免旧索引让文档复活?
参考思路与常见误区
将删除作为有版本的事件同步到两边,设置可重放的tombstone;切换前检查两边版本与删除水位,回滚也应用删除记录。失败重试需幂等。
常见误区:新库删除成功后可以随时回滚任意旧快照。
索引管理接口的抽象可从 LlamaIndex indexing进入,本文状态机和删除策略是应用层职责,不暗示框架自动完成所有传播。