文档解析:保住表头、顺序、单位和来源位置
从真实 HTML 表格解析和双栏顺序反例出发,理解 PDF、Office、OCR 与清洗的质量门槛。
知识库回答“专业套餐每月只有100次”,但原文写的是1000次。此时先换模型通常代价高且方向不明。应该把原始页面、解析结果和进入模型的块放在一起,检查数字与行列关系在哪一步发生变化。解析器的任务不是产出尽可能长的字符串,而是保留回答所需的结构和语义。
不同文件的难点不同
HTML 有DOM层次,但导航、广告、脚本与正文混杂,动态页面的初始HTML可能没有正文。PDF常按绘制对象保存文字,不保证存储顺序等于阅读顺序;双栏、浮动注释、页眉页脚会让简单文本拼接串行。扫描PDF主要由图像构成,需要OCR;有文字层的PDF也可能包含错误的隐藏文字。
Office 文件有段落、标题、列表、表格、页眉或批注等结构。把所有元素拼成纯文本会丢掉标题层级;只读正文又可能漏掉关键表格和文本框。电子表格中的公式值、单位、合并单元格和多层表头需要专门处理,不能假定每一行都是独立业务记录。
亲自解析一个表格
下面用标准库解析真实HTML片段,把每一行转为带列名的记录。保存为 parse_structure.py,运行 python -X utf8 parse_structure.py。表格限制为无合并单元格的单个表;后半段使用手工坐标模拟已经得到的PDF块,只验证排序逻辑,并没有执行PDF或OCR。
"""真实解析一个受控HTML夹具;不包含PDF/Office/OCR解析器。"""
from html.parser import HTMLParser
class TableParser(HTMLParser):
def __init__(self):
super().__init__();self.rows=[];self.row=None;self.cell=None
def handle_starttag(self,tag,attrs):
if tag=='tr':self.row=[]
elif tag in ('td','th') and self.row is not None:self.cell=[]
def handle_data(self,data):
if self.cell is not None:self.cell.append(data)
def handle_endtag(self,tag):
if tag in ('td','th') and self.cell is not None:
self.row.append(' '.join(''.join(self.cell).split()));self.cell=None
elif tag=='tr' and self.row is not None:
self.rows.append(self.row);self.row=None
def records(html):
parser=TableParser();parser.feed(html)
if not parser.rows:raise ValueError('没有表格')
header,*rows=parser.rows
if len(set(header))!=len(header):raise ValueError('重复列名')
if any(len(row)!=len(header) for row in rows):raise ValueError('列数不一致')
return [dict(zip(header,row)) for row in rows]
HTML='<table><tr><th>套餐</th><th>额度</th><th>单位</th></tr><tr><td>基础</td><td>100</td><td>次/月</td></tr><tr><td>专业</td><td>1000</td><td>次/月</td></tr></table>'
if __name__=='__main__':
for row in records(HTML):print(';'.join(f'{key}={value}' for key,value in row.items()))
blocks=[(310,100,'右栏:需管理员审批'),(10,100,'左栏:申请步骤'),(10,140,'左栏:提交表单')]
print('仅按纵坐标',[b[2] for b in sorted(blocks,key=lambda b:(b[1],b[0]))])
print('已知双栏布局',[b[2] for b in sorted(blocks,key=lambda b:(b[0]>=300,b[1]))])套餐=基础;额度=100;单位=次/月
套餐=专业;额度=1000;单位=次/月
仅按纵坐标 ['左栏:申请步骤', '右栏:需管理员审批', '左栏:提交表单']
已知双栏布局 ['左栏:申请步骤', '左栏:提交表单', '右栏:需管理员审批']表头被复制进每一条记录,因此检索到“1000”时还保留“额度”和“次/月”。程序遇到列数不一致会失败,而不是悄悄用 zip 截掉多余单元格。生产解析器还要展开 rowspan/colspan,保留原始表格坐标,区分表头与正文,并验证重复表头是否是跨页续表。
坐标示例说明:只按纵坐标排序,会把同一水平线上的左右栏交叉输出。已知左栏读完再读右栏时,应先按栏区域,再按纵坐标排序。这个规则也不是万能布局算法:跨栏标题、脚注和图注需要额外区域判断。解析结果必须保留页码和边界框,才能回看原图确认顺序。
OCR 之后为什么还要检查
OCR 将像素识别为字符,但容易混淆 0/O、1/l、负号、小数点与表格线。识别置信度高不意味着业务事实一定正确,尤其不能用单一平均置信度覆盖关键金额、日期或药品剂量的错误。可以为重要字段设校验:金额格式、单位是否存在、行列数一致性、日期范围、总额与分项之和,并对失败样本保留原图区域供复核。
清洗要谨慎。去除重复页眉可以降噪,但同样文本若是每页表格的单位说明,就不能直接删。把连续空白压缩成一个空格适合普通段落,却可能破坏代码缩进或文本表格。合并断行单词要区分排版换行和真实连字符产品编号。先按元素类型处理,再做针对性清洗,比全局正则替换更容易解释。
给解析质量建立可检查的基线
选取真实材料中的数字表、双栏页、扫描页、代码段、多层标题和跨页条款,人工标注关键文本及关系。检查文字覆盖、阅读顺序、表格单元格归属、单位/否定词保留、页码定位和重复内容。字符正确率是一个维度,单元格里字都识别对但行列串了,问答仍然会错。
保留原始文件哈希、解析器版本、OCR语言与配置、原始页码/段落位置、解析时间。后续更换解析器时,可以用同一批黄金材料比较,再决定重建哪些文档的块和索引。失败任务进入可重试队列,明确区分下载失败、格式损坏、解密失败和解析质量不合格;空文本不能悄悄当成功入库。
Office 不是一个 XML:沿关系找到工作表与真实单元格
以 .xlsx 的 OOXML 包为例,它是包含多个部件的 ZIP。xl/workbook.xml 中工作表名称对应一个关系 ID;xl/_rels/workbook.xml.rels 再把该 ID 指向工作表部件。不能假定第一个标签页永远对应 sheet1.xml,也不能按 ZIP 文件顺序决定阅读顺序。下面是省略命名空间等包装的教学片段,不是完整可打开文件:
<!-- xl/workbook.xml -->
<sheet name="价格" sheetId="7" r:id="rId3" />
<!-- xl/_rels/workbook.xml.rels;Target 相对 workbook 部件解析 -->
<Relationship Id="rId3" Target="worksheets/sheet2.xml"
Type="http://schemas.openxmlformats.org/officeDocument/2006/relationships/worksheet" />
<!-- xl/worksheets/sheet2.xml -->
<row r="2">
<c r="A2" t="s"><v>0</v></c>
<c r="B2"><v>10</v></c>
<c r="C2"><v>100</v></c>
<c r="D2"><f>B2*C2</f><v>900</v></c>
</row>
<mergeCells count="1"><mergeCell ref="A1:D1" /></mergeCells>
<!-- xl/sharedStrings.xml 中第 0 项 -->
<si><t>专业套餐</t></si>A2的 t="s" 表示共享字符串索引,所以其文字是“专业套餐”,不是数字0。单元格地址用于恢复稀疏网格;不能把XML中第几个cell直接当第几列。日期还依赖类型、样式和工作簿日期系统,数字序列不能盲当金额。D2同时保存公式 B2*C2 与缓存结果900;按当前B2/C2应为1000,所以这组教学数据明确存在缓存过期或依赖未更新的矛盾。只读缓存的库不会自动成为公式计算器,不能因读出了900就把它当最新事实;保留公式、缓存值、来源坐标与计算状态,按受控重算或人工复核流程解决,禁止默认刷新外部连接或执行宏。
合并区域A1:D1把一个标题的适用范围扩到四列,通常由左上角A1承载内容;展开为记录时把标题作为各列的上下文,不把它算四条事实,也不把B1/C1/D1缺值解释成三个未知标题。多层表头要保存路径,如“2025→额度→次/月”,而非用最后一行相同列名覆盖。合并框与原始单元格值分开保存,才能重新定位与检查冲突。.docx 同样要沿主文档、样式、编号、页眉等部件与关系解析,不能仅把所有 w:t 拼起来;旧二进制 .doc/.xls 不属于这条OOXML路径。
遇到错表先查关系ID/Target,错列查地址与合并范围,错数字查类型/样式和公式缓存。这一结构示例补的是解析判断机制;本页Python仍仅执行HTML解析,没有伪称已重算Office。结构依据见 Microsoft SpreadsheetML部件说明、Cell中的公式与缓存值 和 微软SpreadsheetML入门的合并单元格说明,2026-10-31核对;示例900/1000冲突为自行构造。
综合边界推演与面试追问
同一价格表出现在HTML、双栏PDF和Office表格中:列头“套餐/额度/单位”,专业套餐的数值为1000次/月。验收不只找字符串1000,还要得到{套餐:专业,额度:1000,单位:次/月}与来源位置。扫描页把1000识别成100时,即使OCR平均置信高,也应由关键数字规则进入复核。
HTML可按DOM表格保留列关系,PDF需阅读顺序和区域,Office需原生单元格/标题结构;不能为统一输出而先丢全部结构。合并表头应展开到每行,清洗重复页眉前确认它不是单位;多保留结构增加处理成本,却能避免值落错行列。
双栏串行检查坐标与跨栏标题;Office公式值不一致核对公式和缓存值来源;OCR数字错误回看原图框。建立同一黄金页集,分别量化文字、顺序、表格归属、单位与引用定位;文本非空不是解析成功标准。
课后练习展开习题收起习题
先独立作答,再展开参考思路。检查自己的解释是否包含机制、条件和反例。
PDF提取出的字都正确,为什么回答仍可能错误?
参考思路与常见误区
读取顺序、表头与数据行、单位、脚注或否定条件可能被重排或分离。字符准确率不覆盖结构正确性,应对照原页和坐标检查关键事实关系。
常见误区:仅统计提取字符数或OCR平均置信度。
双栏页面为什么不能只按纵坐标排序?
参考思路与常见误区
同一高度的左右栏会交错,原本左栏连续条款被右栏文字打断。已知布局可先分栏再按纵坐标排序,但跨栏标题、图注和脚注还需区域判断,不能把一个阈值当通用解析器。
常见误区:将手工双栏坐标规则宣传成完整PDF布局分析。
表格行转成知识块时,至少应保留哪些信息?
参考思路与常见误区
列名、行身份、单元格值、单位、必要的多层表头、来源页码或坐标。合并单元格和跨页续表需展开或关联,列数不一致应报告,不能静默截断。
常见误区:把1000单独索引,丢失它属于专业套餐与次/月的关系。
清除重复页眉、空白和连字符有什么风险?
参考思路与常见误区
重复文字可能是表格单位;空白可能是代码缩进;连字符可能属于型号而非断行。应先识别元素类型,再进行有依据的清洗,并用保留原文的黄金样本回归。
常见误区:对所有格式应用同一组全局正则并覆盖原文件。
解析器升级后如何判断是否更好?
参考思路与常见误区
固定含扫描页、双栏、表格、代码和跨页条件的材料集,比较文本、顺序、单元格归属、单位和来源定位。记录文件哈希、解析器及OCR配置,检查问答所需证据是否保留,再决定重建范围。
常见误区:只看新解析器成功返回200或输出文本更多。
下一步是 分块与元数据。PDF抽取顺序和块/坐标操作可查 PyMuPDF文本说明;不同格式的元素划分见 Unstructured partitioning。实际选型前还需核对格式支持、许可证和当前版本,本文未执行这些外部解析器。