KHTML

【一、项目目标】 通过 手把手教你使用Python抓取QQ音乐数据（第一弹） 我们实现了获取 QQ 音乐指定歌手单曲排行指定页数的歌曲的歌名、专辑名、播放链接。 通过 手把手教你使用Python抓取QQ音乐数据（第二弹） 我们实现了获取 QQ 音乐指定歌曲的歌词和指定歌曲首页热评。 通过 手把手教你使用Python抓取QQ音乐数据（第三弹） 我们实现了获取更多评论并生成词云图。 此次我们将将三个项目封装在一起，通过菜单控制爬取不同数据。 【二、需要的库】 主要涉及的库有：requests、openpyxl、html、json、wordcloud、jieba 如需更换词云图背景图片还需要numpy库和PIL库（pipinstall pillow） 如需生成.exe需要pyinstaller -F 【三、项目实现】 1.首先确定菜单，要实现哪些功能： ①获取指定歌手的歌曲信息（歌名、专辑、链接） ②获取指定歌曲歌词 ③获取指定歌曲评论 ④生成词云图 ⑤退出系统 代码如下： class QQ(): def menu(self): print('欢迎使用QQ音乐爬虫系统，以下是功能菜单，请选择。\n') while True: try: print('功能菜单\n1.获取指定歌手的歌曲信息\n2.获取指定歌曲歌词\n3.获取指定歌曲评论\n4.生成词云图\n5.退出系统\n')

原数据： 183.49.46.228 - - [18/Sep/2013:06:49:23 +0000] "-" 400 0 "-" "-" 163.177.71.12 - - [18/Sep/2013:06:49:33 +0000] "HEAD / HTTP/1.1" 200 20 "-" "DNSPod-Monitor/1.0" 163.177.71.12 - - [18/Sep/2013:06:49:36 +0000] "HEAD / HTTP/1.1" 200 20 "-" "DNSPod-Monitor/1.0" 101.226.68.137 - - [18/Sep/2013:06:49:42 +0000] "HEAD / HTTP/1.1" 200 20 "-" "DNSPod-Monitor/1.0" 101.226.68.137 - - [18/Sep/2013:06:49:45 +0000] "HEAD / HTTP/1.1" 200 20 "-" "DNSPod-Monitor/1.0" 60.208.6.156 - - [18/Sep/2013:06:49:48 +0000] "GET /wp-content/uploads/2013/07/rcassandra.png HTTP/1.0" 200 185524 "http://cos.name/category

【WEB 系列】RestTemplate 之自定义请求头 上一篇介绍了 RestTemplate 的基本使用姿势，在文末提出了一些扩展的高级使用姿势，本篇将主要集中在如何携带自定义的请求头，如设置 User-Agent，携带 Cookie Get 携带请求头 Post 携带请求头 拦截器方式设置统一请求头 <!-- more --> I. 项目搭建 1. 配置 借助 SpringBoot 搭建一个 SpringWEB 项目，提供一些用于测试的 REST 服务 SpringBoot 版本: 2.2.1.RELEASE 核心依赖: spring-boot-stater-web <dependencies> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-web</artifactId> </dependency> </dependencies> 为了后续输出的日志更直观，这里设置了一下日志输出格式，在配置文件 application.yml 中，添加 logging: pattern: console: (%msg%n%n){blue} 2. Rest 服务 添加三个接口，分别提供 GET 请求，POST 表单，POST json 对象，然后返回请求头

随着移动互联网的发展以及机器学习等热门领域带给人们的冲击，让越来越多的人接触并开始学习 Python。无论你是是科班出身还是非科班转行，Python 无疑都是非常适合你入门计算机世界的第一门语言，其语法非常简洁，写出的程序易懂，这也是 Python 一贯的哲学「简单优雅」，在保证代码可读的基础上，用尽可能少的代码完成你的想法。 很多人学习python，不知道从何学起。 很多人学习python，掌握了基本语法过后，不知道在哪里寻找案例上手。 很多已经做案例的人，却不知道如何去学习更加高深的知识。 那么针对这三类人，我给大家提供一个好的学习平台，免费领取视频教程，电子书籍，以及课程的源代码！ QQ群：1097524789 那么，我们学习 Python 到什么程度，就可以开始找工作了呢，大家都知道，实践是检验真理的唯一标准，那么学到什么程度可以找工作，当然得看市场的需求，毕竟企业招你来是工作的，而不是让你来带薪学习的。 所以，今天我们就试着爬取下拉钩上关于 Python 的招聘信息，来看看市场到底需要什么样的人才。 网页结构分析 打开拉钩网首页，输入关键字「Python」，接着按 F12 打开网页调试面板，切换到「Network」选项卡下，过滤条件选上「XHR」，一切准备就绪之后点击搜索，仔细观察网页的网络请求数据。 从这些请求中我们可以大致猜测到数据好像是从 jobs

一直运行好好的突然今天报（istio 1.5.4） [2020-06-22T05:20:15.393Z] "GET /unionmanagement/sso HTTP/2" 404 NR "-" "-" 0 0 0 - "10.42.0.1" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36 OPR/68.0.3618.165" "a72f7099-2f1b-9568-89af-1f76d9a140ec" "127.0.0.1" "-" - - 10.42.0.253:443 10.42.0.1:24402 - - http1.1 访问正常 ，以为证书过期了，重新申请证书也不行。后来看官网发现了 删了另外一个gateway（证书一样）就正常了 来源： oschina 链接： https://my.oschina.net/yjwu/blog/4319352

【一、项目目标】 通过 Python爬取QQ音乐数据（一） 我们实现了获取 QQ 音乐指定歌手单曲排行指定页数的歌曲的歌名、专辑名、播放链接。 此次我们在之前的基础上获取QQ音乐指定歌曲的歌词及前15个精彩评论。 【二、需要的库】 主要涉及的库有：requests、json、html 【三、项目实现】 1.以歌曲“泡沫”为例，查看该界面的XHR 2.通过对XHR的Size进行排序，逐个查看（参考英文含义），我们看到第一个红框内是歌曲评论，第二个框内是歌词！ 3.分别查看这两条数据Headers里面Parms参数。 4.发现这几个参数可能会代表不同的歌曲，那到底是哪个呢，我们在代开另一首歌对比一下。 5.发现只有这个topid不同，其他都一样，这就代表topid代表不同歌曲的id，同理我们看一下歌词。 6、确定下来：musicid= topid = 歌曲的id，接下来我们的任务是找到这个id。 7.返回以下界面，也就是我们上一个项目的主战场。 参考上一个项目，很容易找到“id”的值就是我们要寻找的id。 所以思路确定下来：先通过input()输入歌名生成url_1找到该歌曲的“id”参数,再生成url_2获取歌词和评论。 8.代码实现：获取歌曲id，如下所示： import requests,html,json url_1 = ' https://c.y.qq.com/soso

【一、项目目标】 通过 Python爬取QQ音乐数据（一） 我们实现了获取 QQ 音乐指定歌手单曲排行指定页数的歌曲的歌名、专辑名、播放链接。 此次我们在之前的基础上获取QQ音乐指定歌曲的歌词及前15个精彩评论。 【二、需要的库】 主要涉及的库有：requests、json、html 【三、项目实现】 1.以歌曲“泡沫”为例，查看该界面的XHR 2.通过对XHR的Size进行排序，逐个查看（参考英文含义），我们看到第一个红框内是歌曲评论，第二个框内是歌词！ 3.分别查看这两条数据Headers里面Parms参数。 4.发现这几个参数可能会代表不同的歌曲，那到底是哪个呢，我们在代开另一首歌对比一下。 5.发现只有这个topid不同，其他都一样，这就代表topid代表不同歌曲的id，同理我们看一下歌词。 6、确定下来：musicid= topid = 歌曲的id，接下来我们的任务是找到这个id。 7.返回以下界面，也就是我们上一个项目的主战场。 参考上一个项目，很容易找到“id”的值就是我们要寻找的id。 所以思路确定下来：先通过input()输入歌名生成url_1找到该歌曲的“id”参数,再生成url_2获取歌词和评论。 8.代码实现：获取歌曲id，如下所示： import requests,html,json url_1 = ' https://c.y.qq.com/soso

GET /down.php/1' UNION select 1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16,17,18,19,20,21,22 -- --/bb HTTP/1.1 Host: yyy.xxx.cn Connection: keep-alive Cache-Control: max-age=0 Upgrade-Insecure-Requests: 1 User-Agent: Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3314.0 Safari/537.36 SE 2.X MetaSr 1.0 Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8 Accept-Encoding: gzip, deflate, br Accept-Language: zh-CN,zh;q=0.9 Cookie: QQ=1 来源： oschina 链接： https://my.oschina.net/u/4353069/blog/4300196

关于刷流量 做开发的有的时候会被拜托一些特殊的业务。 比如说刷票，但是你又不好拒绝，比如你钟情的美女突然有一天拜托你刷票。 这个时候就开发一个刷票工具了。 python 还是非常强大的。非常方便。 2，使用python 不是使用原生的url2访问，而是使用requests库。 比较方便一点，方便编程。参数比较详细。 参考文档： http://docs.python-requests.org/zh_CN/latest/ 使用一个高级特性代理: www.16yun.cn python代码 #!/usr/bin/python # -*- coding: utf-8 -*- # 需要安装 requests 库 : # sudo easy_install pip # sudo pip install requests import requests for i in range(1, 10): proxies = { "http": "http://61.164.252.106:139" } url = "http://m.csdn.net/index.html" print(url) req = requests.get(url) # 设置编码 req.encoding = 'utf-8' print(req.text) 使用代理服务器访问csdn网站。 这样的ip就变成代理服务器的ip了

【一、项目目标】 通过 手把手教你使用Python抓取QQ音乐数据（第一弹） 我们实现了获取 QQ 音乐指定歌手单曲排行指定页数的歌曲的歌名、专辑名、播放链接。 通过 手把手教你使用Python抓取QQ音乐数据（第二弹） 我们实现了获取 QQ 音乐指定歌曲的歌词和指定歌曲首页热评。 通过 手把手教你使用Python抓取QQ音乐数据（第三弹） 我们实现了获取更多评论并生成词云图。 此次我们将将三个项目封装在一起，通过菜单控制爬取不同数据。 【二、需要的库】 主要涉及的库有：requests、openpyxl、html、json、wordcloud、jieba 如需更换词云图背景图片还需要numpy库和PIL库（pipinstall pillow） 如需生成.exe需要pyinstaller -F 【三、项目实现】 1.首先确定菜单，要实现哪些功能： ①获取指定歌手的歌曲信息（歌名、专辑、链接） ②获取指定歌曲歌词 ③获取指定歌曲评论 ④生成词云图 ⑤退出系统 代码如下： class QQ(): def menu(self): print('欢迎使用QQ音乐爬虫系统，以下是功能菜单，请选择。\n') while True: try: print('功能菜单\n1.获取指定歌手的歌曲信息\n2.获取指定歌曲歌词\n3.获取指定歌曲评论\n4.生成词云图\n5.退出系统\n')