自动提取知乎专栏下面所有的文章

岁酱吖の 提交于 2020-03-03 18:34:53

这篇文章教导怎么自动化提取特定知乎专栏中所有的文章。
这里随便找一个专栏作为示例进行测试一下。
这里使用的专栏为:Dizzy In Science
在这里插入图片描述
在chrome下打开这个专栏的源码,可以看到对应着文章链接的xpath路径为

xpath = "/html/body/div[1]/div/main/div/section/div"

在这里插入图片描述可以看到在初始打开专栏的情况下,只会一次性加载10篇文章,在对专栏进行向下滑动的时候,在到达当前最后一篇文章的时候,又会一次性加载10篇文章。

在这里插入图片描述
可以看到这里又额外加载了10篇文章,总共加载了20篇文章。

可以直接一次性对专栏拉到底,就可以从这个xpath中获取所有的文章列表,然后自动化提取就可以得到所有的文章链接了。

标签
易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!