pymongo

对于爬虫来说这些东西都是一些比较基础常识的东西，但为了记录自己的学习之路，所以简略的写下本文。 什么是数据库？ 数据库是存放数据的仓库。它的存储空间很大，可以存放大量数据。用户可以对文件中的数据进行新增、查询、更新、删除等操作。 分为关系型数据库、非关系型数据库，如 MySQL、MongoDB、HBase 等，常用的库有 pymysql、pymssql、redis-py、pymongo、py2neo、thrift。 什么是关系型数据库？ 关系型数据库是基于关系模型的数据库，而关系模型是通过二维表保存的，所以它的存储方式就是行列组成的表。 每一列是一个字段，每一行是一条记录。表可以看作某个实体的集合，而实体之间存在联系，就需要表与表之间的关联关系来体现。关系型数据可以很好地存储一些关系模型的数据，比如一个老师对应多个学生的数据（“多对多”），一本书对应多个作者（“一对多”），一本书对应一个出版日期（“一对一”） 关系型数据库的优势： 1. 复杂查询 可以用SQL语句方便的在一个表以及多个表之间做非常复杂的数据查询。 什么是非关系型数据库？ 非关系型数据库主要是基于“非关系模型”的数据库（由于关系型太大，所以一般用“非关系型”来表示其他类型的数据库 关系型数据库的优势： 1. 复杂查询 可以用SQL语句方便的在一个表以及多个表之间做非常复杂的数据查询。 2. 事务支持

情况 使用代码如下： import pymongo client = pymongo.MongoClient() db = client['db_name'] col = db['col_name'] demos = col.find({}) for cursor in demos: deal_data_analysis(cursor) 报错如下： pymongo.errors.CursorNotFound: Cursor not found 原因分析 col.find()获得的demos是cursor游标位置，具体使用到某个数据时，才会去查询数据库把数据拿出来。它返回的不是所有的数据，而实际上是一个“cursor”。 它的默认原理是 （具体数字需要查询mongodb官网，不同版本默认的阈值有可能有差异） ：第一次向数据库查询 101 个文档，或 大于1M小于16M的数据文档，取决于哪个条件先满足；之后每次 cursor 中的文档用尽后，查询 4 MB 的文档。 另外，find() 默认返回的是 一个 10 分钟无操作后超时的 cursor。如果我一个 batch 的文档十分钟内没处理完，过后再处理完了，再用同一个 cursor id 向服务器取下一个 batch，这时候 cursor id 当然已经过期了，这也就能解释为啥我得到 cursor id not found