pdfminer

作者|Low Wei Hong 编译|VK 来源|Medium 当我还是一名大学生的时候，我很好奇自动提取简历信息是如何工作的。我将准备各种格式的简历，并上传到招聘网站，以测试背后的算法是如何工作的。我想自己尝试建一个。因此，在最近几周的空闲时间里，我决定构建一个简历解析器。 一开始，我觉得很简单。只是用一些模式来挖掘信息，结果发现我错了！构建简历解析器很困难，简历的布局有很多种，你可以想象。 例如，有些人会把日期放在简历的标题前面，有些人不把工作经历的期限写在简历上，有些人不会在简历上列出公司。这使得简历解析器更难构建，因为没有要捕获的固定模式。 经过一个月的工作，根据我的经验，我想和大家分享哪些方法工作得很好，在开始构建自己的简历分析器之前，你应该注意哪些事情。 在详细介绍之前，这里有一段视频短片，它显示了我的简历分析器的最终结果( https://youtu.be/E-yMeqjXzEA ) 数据收集 我在多个网站上搜了800份简历。简历可以是PDF格式，也可以是doc格式。 我使用的工具是Google的Puppeter（Javascript）从几个网站收集简历。 数据收集的一个问题是寻找一个好的来源来获取简历。在你能够发现它之后，只要你不频繁地访问服务器，抓取一部分就可以了。 之后，我选择了一些简历，并手动将数据标记到每个字段。标记工作的完成是为了比较不同解析方法的性能。

pdfplumber是怎么做表格抽取的（一） 冰焰虫子 兴趣广泛，包含但不限于：coding，NLP，CV，深度学习 笔者把自己这篇原本发布在github page上的文章迁移到了这里，原github page网址： https://iceflameworm.github.io/2019/12/02/pdfplumber-table-extraction-1/ pdfplumber是一款完全用python开发的pdf解析库，对于线框完全的表格，pdfminer能给出比较好的抽取效果，但是对于线框不完全（包含无线框）的表格，其效果就差了不少。因为在实际项目所需处理的pdf文档中，线框完全及不完全的表格都比较多，所以为了能够理解pdfplumber实现表格抽取的原理和方法，找到改善、提升表格抽取效果的方法，这里对pdfplubmer的代码逻辑进行了梳理。由于所涉及的内容比较多，所以计划分为三部分进行整理：1. 介绍pdfplumber及其表格抽取流程, 2. 梳理pdfplumber表格线检测逻辑, 3. 梳理pdfplumber表格生成逻辑。本文是第一部分。 背景介绍 pdfplumber简介 pdfplumber抽取表格的基本流程 背景介绍 最近在做一个表格信息抽取的项目，该项目需要从pdf文件中找到的目标表格，并把目标表格中需要的行和列给抽取出来

作者|Low Wei Hong 编译|VK 来源|Medium 当我还是一名大学生的时候，我很好奇自动提取简历信息是如何工作的。我将准备各种格式的简历，并上传到招聘网站，以测试背后的算法是如何工作的。我想自己尝试建一个。因此，在最近几周的空闲时间里，我决定构建一个简历解析器。 一开始，我觉得很简单。只是用一些模式来挖掘信息，结果发现我错了！构建简历解析器很困难，简历的布局有很多种，你可以想象。 例如，有些人会把日期放在简历的标题前面，有些人不把工作经历的期限写在简历上，有些人不会在简历上列出公司。这使得简历解析器更难构建，因为没有要捕获的固定模式。 经过一个月的工作，根据我的经验，我想和大家分享哪些方法工作得很好，在开始构建自己的简历分析器之前，你应该注意哪些事情。 在详细介绍之前，这里有一段视频短片，它显示了我的简历分析器的最终结果( https://youtu.be/E-yMeqjXzEA ) 数据收集 我在多个网站上搜了800份简历。简历可以是PDF格式，也可以是doc格式。 我使用的工具是Google的Puppeter（Javascript）从几个网站收集简历。 数据收集的一个问题是寻找一个好的来源来获取简历。在你能够发现它之后，只要你不频繁地访问服务器，抓取一部分就可以了。 之后，我选择了一些简历，并手动将数据标记到每个字段。标记工作的完成是为了比较不同解析方法的性能。