向量数据库与过滤:可见候选集决定召回的意义
运行前过滤和后过滤的差异,梳理租户隔离、索引可见性、版本切换与备份恢复。
向量索引解决“如何快速找到邻近向量”,数据库还要管理持久化、ID、元数据、权限集成、更新、复制、查询一致性和恢复。一个内存ANN数组可以返回近邻,但不会自动成为可靠的多租户知识库。应用仍需把业务身份转换成可信的可见范围。
前过滤和后过滤的差别
前过滤先定义允许候选,再在其中搜索;后过滤先在全库取候选,再剔除不满足条件的项。假设全库前两名属于B租户和A的旧版本,而当前用户只能看A版本2,后过滤可能一条都不剩。前过滤则能返回A版本2中最好的两条。
真实引擎也可能在图遍历中融合过滤,或者根据过滤选择率选择扫描/索引策略,不是所有实现都等于先物化一个过滤列表。高选择性过滤可能改变连通性和访问路径;必须在实际过滤分布下测Recall与延迟。无论采用哪种算法,最终输出与上下文都必须符合权限,补够k条不能成为放松授权的理由。
运行过滤和本地快照读回
保存为 vector_filter.py,运行 python -X utf8 vector_filter.py。例子按预设相关分数排序,并实际写入/读回一个临时JSON快照;它没有启动向量数据库,也不模拟分布式复制。
"""列表模拟可见性与排序;不模拟分布式数据库一致性。"""
import json
from pathlib import Path
from tempfile import TemporaryDirectory
POINTS=[{'id':'b1','tenant':'B','score':.99,'revision':2},
{'id':'a-old','tenant':'A','score':.98,'revision':1},
{'id':'b2','tenant':'B','score':.97,'revision':2},
{'id':'a1','tenant':'A','score':.9,'revision':2},
{'id':'a2','tenant':'A','score':.8,'revision':2}]
def allowed(point,tenant,revision):return point['tenant']==tenant and point['revision']==revision
def search(points,tenant,revision,k,prefilter):
pool=[p for p in points if allowed(p,tenant,revision)] if prefilter else points
top=sorted(pool,key=lambda p:(-p['score'],p['id']))[:k]
return [p['id'] for p in top if allowed(p,tenant,revision)]
if __name__=='__main__':
print('先取2再过滤',search(POINTS,'A',2,2,False))
print('过滤后取2',search(POINTS,'A',2,2,True))
with TemporaryDirectory(dir=Path(__file__).parent) as folder:
path=Path(folder)/'snapshot.json';path.write_text(json.dumps(POINTS),encoding='utf-8')
restored=json.loads(path.read_text(encoding='utf-8'))
print('本地快照读回',search(restored,'A',2,2,True))先取2再过滤 []
过滤后取2 ['a1', 'a2']
本地快照读回 ['a1', 'a2']最接近的全局候选不是当前可见候选。把后过滤候选窗口从2增到5会找到a1/a2,但大库中固定扩大倍数不保证足够。为常用过滤字段建立合适元数据索引可以降低过滤成本,不过字段类型、数组/嵌套语义、空值和缺失字段行为都要核对,尤其不能把缺少tenant字段的记录默认视为公开。
租户隔离放在哪里
可以按租户分集合/分片,也可以共享集合并携带tenant ID过滤。前者隔离与运维边界较清楚,但小租户多时资源管理复杂;后者利于共享资源,但每条读写、缓存键、重排输入与父块展开都必须带可信范围。租户ID应从认证上下文得到,不能接受用户在自然语言里声明“我属于管理员租户”。
应用层权限可能包含部门、文档组、有效期与撤销记录。访问范围改变时,缓存失效与索引元数据更新同样重要。为紧急撤权可以保留读取时的权威检查,防止异步索引延迟期间继续泄漏。日志、导出与运维备份也属于数据边界,不能只保护搜索API。
写入成功不一定等于立刻可搜
数据库可能先确认持久化,再异步完成索引;副本也可能有复制延迟。应明确写入确认、读一致性和索引可见性的契约,使用实际版本提供的参数,而不是凭“数据库”三个字假定强一致。更新知识时可建新版本集合并切换别名,或在共享集合用revision过滤,但切换必须与查询编码器及权限版本一起考虑。
用稳定业务ID实现幂等upsert;重试写入如果每次生成随机ID,会制造重复块。删除后要检查搜索、计数、备份策略和缓存的残留,而不仅验证写接口返回成功。后台压缩/重建期间的查询与故障行为也应纳入演练。
备份要以恢复查询证明
记录快照对应集合配置、embedding版本、维度、度量、元数据schema和可见版本。恢复到隔离环境后,检查条数、ID、过滤、关键查询和权限,而不只校验文件哈希。多个分片或集合的快照是否处于一致业务时间点,需要产品能力或应用协调,单个文件存在不代表全库一致。
本例JSON读回只验证序列化与过滤结果一致;生产恢复还要测恢复时间RTO、可接受数据丢失RPO、加密/访问控制和增量更新补齐。副本用于可用性,备份用于恢复到可控历史状态,两者不能互相替代。
综合边界推演与面试追问
全局排名[b1(B,v2),a-old(A,v1),b2(B,v2),a1(A,v2),a2(A,v2)],A用户取k=2。后过滤为空,先限定A/v2后取top2为a1/a2;扩大后过滤到5可在本例补足,却不保证大库固定倍数有效。
索引只负责近邻,数据库还承担ID、元数据、持久化与复制。按租户独立集合隔离更直接但资源管理多;共享集合更省资源却要求每条路径强制过滤。引擎的过滤融合方式和字段索引需在实际选择率下评估。
写确认后不可搜时分别查持久化、异步索引和副本水位;权限撤销应在读时阻断,不能等后台更新。恢复快照后验证ID、配置版本、过滤与关键查询,再测RTO/RPO;JSON读回只证明本地序列化,不证明数据库一致性。
课后练习展开习题收起习题
先独立作答,再展开参考思路。检查自己的解释是否包含机制、条件和反例。
向量索引和向量数据库增加了哪些责任差异?
参考思路与常见误区
索引核心是近邻访问结构;数据库还需ID、持久化、元数据、更新可见性、复制和恢复等能力,应用仍需可信身份与权限集成。一个内存索引不自动具备完整业务安全和运维契约。
常见误区:认为能返回top-k就已满足生产知识库要求。
先全库取2条再过滤,为什么可能一条不剩?
参考思路与常见误区
全局最相近项可能属于其他租户或旧版本。过滤后它们被删除,而当前允许集合的最佳项在窗口外。扩大窗口可能缓解但不保证;预过滤或过滤感知策略应按真实选择率验证。
常见误区:为了凑满结果放回无权候选。
用户在问题里写tenant=B,可以作为过滤值吗?
参考思路与常见误区
不能直接信任。租户范围应从认证与授权上下文确定,并贯穿检索、缓存、重排、父块展开、引用与日志。自然语言是查询内容,不能替代可信身份。
常见误区:将模型提取的租户字段直接用于越权查询。
写接口成功,为什么搜索还可能看不到新数据?
参考思路与常见误区
确认持久化、复制完成与索引可见可能是不同阶段。应核对产品的一致性契约和版本参数,并测试写后读行为;更新切换要协调索引版本、查询编码器和缓存。
常见误区:把HTTP成功码当成全副本即时可搜证明。
备份文件哈希正确是否就验收了恢复?
参考思路与常见误区
还需在隔离环境恢复,核对集合配置、维度/度量、条数、关键查询、版本和权限,以及RTO/RPO。多分片业务一致性和增量补齐也要验证;副本不能替代可回到历史状态的备份。
常见误区:只检查文件存在与大小。
过滤条件示例见 Qdrant filtering,快照能力需按部署版本核对 Qdrant snapshots。本文未执行其服务端接口。