首先是访问网址：使用requests去访问
这里爬取的是豆瓣网上的漫画书
接着解析网址：使用BeautifulSoup
然后在所要爬取的网页中，右键--->检查，就可以查看网页的代码结构
由上面的代码结构可以看出，漫画书的所有信息都包含在id为content的div标签中
这里利用soup.find(）就可以查看整个网页的信息
如果要得到h1的标签
那就在soup.find('div',id='content')后加.h1就可以了
如果想爬取网页的大标题，则在soup.find('div',id='content').h1后加上.text
采集整个页面的信息：在class为subject-list的ul标签中
查看第一本书的信息
找到所有的li标签
采集第一本书的内容,并查看h2的标签
获取第一本书的书名、评分、评价人数以及作者、译者、出版社、出版日期等其他信息，并存到字典里
那么如何提取出(47231人评价)中的47231呢？用正则表达式
正则表达式可以快速提取内容
同理提取价格
爬取到的漫画书信息处理过程代码如下：
最后结果存储到数据框中，其结果显示如下（这里查看的是后10行）：
这是我在一门爬虫课程里面的笔记，因为初涉爬虫 ，咱啥也不太懂
只能说听了课程之后，知道了大概的爬虫框架
所以先在这记录下目前学到的一点皮毛，后面深入学习之后再修正
来源：https://blog.csdn.net/dafeidouzi/article/details/99546908