这篇文章教导怎么自动化提取特定知乎专栏中所有的文章。
这里随便找一个专栏作为示例进行测试一下。
这里使用的专栏为:Dizzy In Science
在chrome下打开这个专栏的源码,可以看到对应着文章链接的xpath路径为
xpath = "/html/body/div[1]/div/main/div/section/div"
可以看到在初始打开专栏的情况下,只会一次性加载10篇文章,在对专栏进行向下滑动的时候,在到达当前最后一篇文章的时候,又会一次性加载10篇文章。
可以看到这里又额外加载了10篇文章,总共加载了20篇文章。
可以直接一次性对专栏拉到底,就可以从这个xpath中获取所有的文章列表,然后自动化提取就可以得到所有的文章链接了。
来源:CSDN
作者:oneTaken
链接:https://blog.csdn.net/u011394059/article/details/104634325