职业

没有内涵段子可以刷了,利用Python爬取段友之家贴吧图片和小视频(含源码)

不羁的心 提交于 2020-03-02 06:27:09
由于最新的视频整顿风波,内涵段子APP被迫关闭,广大段友无家可归,但是最近发现了一个“段友”的app,版本更新也挺快,正在号召广大段友回家,如下图,有兴趣的可以下载看看(ps:我不是打广告的,没收广告费的) 同时,之前同事也发了一个贴吧的段子聚居地,客官稍等,马上奉上连接: 段友之家 https://tieba.baidu.com/f?ie=... 然后呢,看到上面,确实好多段友在上面,于是乎,我就想爬取他们的图片和小视频,就有了这篇文章的主题: 其实吧,用Python爬取网站数据是最基础的东西,也不难,但是我还想分享给大家,一起学习和交流。 爬取这些网站里的数据主要用的模块是bs4、requests以及os,都是常用模块 大概思路就是通过requests模块请求网页html数据,然后通过bs4模块下的BeautifulSoup分析请求的网页,然后通过css查找器查找内涵段子的图片以及小视频的地址,主要实现代码如下: def download_file(web_url): """获取资源的url""" # 下载网页 print('正在下载网页: %s...' % web_url) result = requests.get(web_url) soup = bs4.BeautifulSoup(result.text, "html.parser") # 查找图片资源 img_list

python有趣用法汇总(持续更新)

吃可爱长大的小学妹 提交于 2019-12-04 03:09:36
使用python过程中经常会不经意间遇到非常有趣的用法,于是特意搜集了一些 有趣的用法 1.for-else用法 循环正常结束则执行else语句。一般用于循环找符合条件的元素,如果找到则 break 调出循环,不会触发 else ;如果没有找到(完整运行循环)则 print not found 详见 Python中循环语句中的else用法 《Effictive Python》一书中对for-else用法提出了质疑,主要观点是可以通过封装成函数来取代这一用法,而封装成函数是更加通用易懂的做法,所以一般不会使用for-else用法。为了不影响文章的紧凑,我把评论区对书上内容的引用放在文末“ 更新补充 ”部分,有兴趣的读者可以去看一下。 2.try-else用法 如果没有触发异常就执行 else 参考 这里 3.解包用法 类似这样 a,b,c = ['a', 'b', 'c'] python有趣的解包用法 4.单行if-else a = 1 b = 3 if a == 1 else 2 print('it is one' if a == 1 else 'no') #加群:725479218 获取更多的学习资料 5.迭代器传入函数中不用加括号 # 一般是这样 a = (i for i in range(10)) sum(a) # 我们可以这样 sum((i for i in range