一家文档智能公司的长期主义

# 评测样本的选取

我们随机找到了 100 位用户，征询同意并签署保密协议后，从他们的日常文件中收集到了百余份参与评测的材料。

再从每份文档中随机抽取 2 页，一共采集 200 个含表格页面，作为评测的样本。这里，每个页面都是一张图片。

样本覆盖了有框线/无框线表格、扫描件/照片、英文/中文、有水印/有印章、金融类/非金融类等多种场景。

# 标准答案的制作

对于每个待评测页面，标注团队人工整理了一份表格识别的标准答案，包括：框出页面上的每个表格区域，对每个表格区域添加内线（若需要则合并单元格），并标注每个表格格子中的文本。

表格识别的标准答案，用于和 5 款产品的识别结果进行比对。

# 评测指标的计算

技术团队制定了客观的评测指标。

具体讲，我们以每个表格格子中的字符串为目标，评测识别结果相对于标准答案的准确率（precision）、召回率（recall），以及综合了准确率和召回率的 F1-Score。

1. 准确率（precision）：识别正确的字符串个数 / 识别出来的字符串总量。

仅仅看准确率是不够的，倘若 100 个字符中只识别出来了 1 个，就算识别正确，也没有什么意义。

2. 召回率（recall）：识别正确的字符串个数 / 实际上的字符串总量。

召回率度量的是识别结果是否完整。

3. F1 分数（F1-Score）：F1 = (2*精确率*召回率) / (精确率 + 召回率)

显然，表格识别的各种错误，包括：外框识别错误、内线识别错误、以及 OCR 文字识别错误，都会影响以上的评测指标。