分块与元数据:让命中的片段保留完整条件
比较固定窗、递归、结构和语义分块,运行父子块展开与权限/版本检查。
退款条款的第一句说“未使用且七天内可以退款”,下一句说“定制商品除外”。如果切块把两句分开,查询“定制商品退款”却只拿到第一句,模型可能给出错误结论。分块改变的不只是索引大小,还改变了检索和生成能看到的证据单元。
四种切法,各自依赖什么
固定窗口按字符或token切分,成本低、长度可控,但容易切断句子、代码或表格。递归分块按标题、段落、句子、最后字符的顺序逐级降级,尽量先保住较大的自然边界;必须说明超长单个元素怎么处理。
结构分块使用解析器提供的标题路径、段落、表格和列表,优先保持原结构。语义分块依据相邻句表示的变化或主题边界划分,但依赖模型和阈值,计算更贵,也不能保证每个条件条款都被放在正确块里。语义相似不等于法律或业务条件的逻辑完整。
运行窗口切分与父块展开
保存为 chunk_metadata.py,运行 python -X utf8 chunk_metadata.py。这里故意以字符计数,方便肉眼核对边界;生产模型预算需要使用对应tokenizer。
"""按字符演示固定窗与结构块;真实预算需使用目标tokenizer。"""
from dataclasses import dataclass
@dataclass(frozen=True)
class Chunk:
id: str
parent: str
tenant: str
revision: int
text: str
def windows(text,size,overlap):
if not 0<=overlap<size:raise ValueError('要求 0 <= overlap < size')
result=[];start=0
while start<len(text):
result.append(text[start:start+size])
if start+size>=len(text):break
start+=size-overlap
return result
def expand(child,parents,tenant):
parent=parents[child.parent]
if child.tenant!=tenant or parent['tenant']!=tenant:raise PermissionError('禁止跨租户展开')
if child.revision!=parent['revision']:raise ValueError('父子版本不一致')
return parent['text']
if __name__=='__main__':
text='退款条件:未使用且七天内。例外:定制商品不退款。'
print('无重叠',windows(text,10,0))
print('重叠4字',windows(text,10,4))
child=Chunk('policy:2','policy','A',3,'定制商品不退款')
parents={'policy':{'tenant':'A','revision':3,'text':text}}
print('父块展开',expand(child,parents,'A'))
try:expand(child,parents,'B')
except PermissionError as error:print('越权结果',str(error))无重叠 ['退款条件:未使用且七', '天内。例外:定制商品', '不退款。']
重叠4字 ['退款条件:未使用且七', '使用且七天内。例外:', '。例外:定制商品不退', '商品不退款。']
父块展开 退款条件:未使用且七天内。例外:定制商品不退款。
越权结果 禁止跨租户展开无重叠时,第一块末尾与第二块开头把一句话分开。重叠4字让相邻块重复一部分,但并不保证“退款条件”和整个例外始终同块。重叠窗口的步长是 size-overlap;当文本很长时,块数近似与这个步长成反比。增加重叠会增加嵌入成本、存储和重复命中,也可能让相同证据占满top-k。
父子块策略用较短的子块做精确召回,再根据parent ID获取较完整上下文。示例命中“定制商品不退款”后展开完整规则,同时检查租户与revision。真实系统中权限可能比租户更细:文档可见不代表所有段落可见,父块中含更敏感段落时必须按最小可见范围展开,不能把子块权限简单复制成整篇权限。
chunk大小和top-k不是同一个旋钮
增大chunk会改变每个向量表达的内容、细节被平均的程度,以及单条证据的上下文完整性。增大top-k是在既定粒度下取更多候选,扩大覆盖同时带入更多噪声。前者改变索引单元,需要重切和通常重新编码;后者主要改变查询阶段候选数量。
例如每块400 token,取10块,原始内容约4000 token;每块1000 token,取4块,同样约4000 token,但覆盖文档数、细节密度、例外条件和排序都可能不同。再加标题、来源、提示和输出预留后,不能用块数乘平均长度代替最终消息的精确预算。重排、去重、相邻块合并可以减少重复,但合并后仍要重新检查预算和权限。
元数据决定能否回溯与更新
每块至少需要稳定文档ID、文档版本、块ID、父块ID、标题路径、原始位置、来源、权限标签和解析/分块配置版本。ID只用正文哈希可能让相同文字在不同租户碰撞;ID只用随机数又会让增量更新难以判断哪些块没变。可以把业务文档身份、版本和块位置分开保存,用内容哈希辅助差异检测。
文档更新后,旧块必须从当前可见索引移除或被版本过滤排除。父块和子块应在同一可见版本内读取,避免命中旧子块却展开新父块。引用要指向用户能查看的原文位置;向量索引行号不是稳定引用标识。
用什么任务比较切法
准备需要跨句条件、表格行、精确编号、长章节和多文档对照的查询,标注回答所需的最小证据。分别记录证据是否完整进入某块、目标块的召回、最终答案支持度、token消耗和延迟。不能仅凭“平均块长更均匀”决定策略;如果解析已把表头丢了,再好的切分也无法恢复。
综合边界推演与面试追问
原文“普通商品7天内可退;定制商品不退”,固定10字窗可能截断否定;递归先按条款分隔,结构切法按同一政策节点,语义切法若把相近退款句合并仍需核对例外。子块命中后展开父块可补条件,但必须保持tenant、revision和段落访问范围。
增加overlap减少部分断裂,却增加块数和重复top-k;改大chunk需重编码,改大k只扩大现有候选。以证据完整性、召回和最终token联合比较四种切法,而不是只优化平均块长。
命中“可退”却漏“定制不退”,先对照start/end;父块带别部门私密段则限制展开。doc_id/块ID/父ID/版本/位置缺任一项,会分别影响更新、去重、展开或引用。答权限继承题必须说读取时仍用当前授权复核,不能只在入库复制一次标签。
课后练习展开习题收起习题
先独立作答,再展开参考思路。检查自己的解释是否包含机制、条件和反例。
增大chunk与增大top-k有什么本质区别?
参考思路与常见误区
增大chunk改变每个索引单元表达的内容与条件完整性,通常需重切重编码;增大top-k是在既定单元上扩大候选数。相同token预算下二者的文档覆盖和噪声不同,应看具体证据任务。
常见误区:认为两种操作只要总字数相同就等价。
重叠为什么不能保证条件完整?
参考思路与常见误区
重叠只复制固定长度的边界内容,条件依赖可能超出这个长度。它还增加块数、存储和重复命中,可能挤占top-k。需要按真实条款检查边界,结合结构分块或父块展开。
常见误区:把overlap设大就认定不会断句或漏例外。
父子块策略为什么要再次检查权限和版本?
参考思路与常见误区
子块可见不代表父块所有段落可见,父块也可能已经更新。展开时需确认用户可见范围和父子revision一致,避免越权或旧子块搭配新父块。
常见误区:只在子块召回阶段过滤权限,父块按ID直接读取。
固定、递归、结构、语义切分分别依赖什么?
参考思路与常见误区
固定切分依赖长度;递归按段落句子等边界降级;结构切分依赖解析器识别的标题表格等元素;语义切分依赖表示模型与阈值。每种都要定义超长元素和条件跨界的处理方式。
常见误区:把语义相似度高当作业务逻辑一定完整。
只用文本哈希做chunk ID有什么不足?
参考思路与常见误区
相同文本可能来自不同租户、文档或版本,哈希不能替代业务身份和权限来源。应分开保存文档ID、版本、位置、父块与权限,内容哈希用于差异检测和去重辅助。
常见误区:把文本相同理解为可以跨用户共享所有引用与权限。
继续看 Embedding模型评测。按元素和标题组织块的具体策略见 Unstructured chunking。