周杰伦

分析周杰伦超话爬虫思路

柔情痞子 提交于 2019-11-26 16:09:44
在360浏览器(这里之所以没用chrome,是因为在调试模式中,谷歌浏览器不能查到页面的关键词,而360却可以)中找到#周杰伦超话#页面,然后调出调试窗口,改为手机模式,然后过滤请求,只查看异步请求,查看返回数据格式,找到微博内容所在 F12打开调试模式,只看xhr的一部请求,点击帖子选项卡,在弹出的请求中右键在新的选项卡中打开 也可以直接在调试模式中搜索,是否能看到页面中显示的元素来确认请求地址是否准确,这里我搜索的是“告白气球”,如果不能找到就在请求的地址中,选择在新标签页打开,然后搜索关键词 可以看到请求的地址是https://m.weibo.cn/api/container/getIndex?containerid=1008087a8941058aaf4df5147042ce104568da_- feed&extparam=%E5%91%A8%E6%9D%B0%E4%BC%A6&luicode=10000011&lfid=1008087a8941058aaf4df5147042ce104568da - feed 将页面向下滚动,会发现有新的请求地址,是https://m.weibo.cn/api/container/getIndex?containerid=1008087a8941058aaf4df5147042ce104568da - feed&extparam=%E5