jsonpath

kong的部署方式比较简单，github仓库有all-in-one的资源配置清单： github地址： https://github.com/Kong/kubernetes-ingress-controller/blob/main/deploy/single/all-in-one-postgres.yaml 本地的话由于是mac本，需要将LoadBalance的service类型修改为NodePort才可以访问 ➜ kong cat all-in-one-postgres.yaml apiVersion: v1 kind: Namespace metadata: name: kong --- apiVersion: apiextensions.k8s.io/v1beta1 kind: CustomResourceDefinition metadata: name: kongclusterplugins.configuration.konghq.com spec: additionalPrinterColumns: - JSONPath: .plugin description: Name of the plugin name: Plugin-Type type: string - JSONPath: .metadata.creationTimestamp description:

目录 使用更简单的方法 代码 优点 不足 使用方法 使用更简单的方法 在我之前的一篇博客中，我用了构造网址的方法来获取抖音短视频，但是在今天我又一次的研究抖音短视频的时候发现了一个更加简单的方法，发现我之前的分析实在是太过繁琐了，所以有写了一篇博客来记录下这个方法。（ 上一篇博客 就当做是就记录下分析网页的思路吧，就不作更改了） 与上一篇博客不同的是，这个方法可以省略掉大量的分析步骤 随便打开一个抖音个人主页，我选择的是 爱奇艺体育 ,接着右键检查网页元素，点击network选项卡下的xhr选项，分析抓到的包 点到preview选项卡，点击video->download_addr->url_list 发现这下面跟着的两个网址正好是视频的网址（根本不需要构造，只是这个网址藏的有点深，需要非常耐心的寻找），打开网址查看： 提取到这个网址的时候我以为已经结束了，但是一个大佬 @金亭玉立 给我发来了一篇文章 最新版抖音（20200428）去水印原理及源码，简单的原理与面临的挑战 提醒了我一些没有想到的东西，在此表示感谢！ 我们接着往下看，在下面的play_addr下面也有一个链接，这个链接下面的视频就是无水印版本的视频 ok，现在我们只要想办法提取到它就大功告成了 我这次使用的方法中用到了jsonpath模块，直接pip下载就可以了： pip install jsonpath 代码

前言 随着现在直播的兴起，主播这个职业逐渐走入人们的视野。越来越多有颜值、有才艺的人纷纷加入到主播这个行业。但是主播最难熬的就是前期粉丝的积累，粉丝多人气就高。 接下来带大家爬取主播直播间人气数据，发现人气王！！ 加企鹅群695185429即可免费获取，资料全在群文件里。资料可以领取包括不限于Python实战演练、PDF电子文档、面试集锦、学习资料等 展示效果： 颜值区的主播人气值 本文知识点： 1、系统性的网页分析 2、数据处理 3、jsonpath模块的使用 环境介绍： python 3.6 pycharm requests josnpath 爬虫的一般思路 1、分析目标网页,确定爬取的url路径，headers参数 2、发送请求 -- requests 模拟浏览器发送请求，获取响应数据 3、解析数据 -- jsonpath模块：JsonPath 是一种信息抽取类库，是从JSON文档中抽取指定信息的工具 4、数据输出 爬取数据 1、导入相关的数据库 import jsonpath import requests import pprint 2、分析目标网页,确定爬取的url路径，headers参数 URL地址： headers参数： base_url = ' https://www.douyu.com/gapi/rknc/directory/yzRec/1 ' headers

参考资料： https://www.bbsmax.com/A/D854lmBw5E/ Jsonpath在线测试： http://jsonpath.com/ 实际工作中用到的一些场景： 提取某个特定的值 提取多个值 按条件取值 阵列取值（返回所有元素的列表/数组） 提取多个值 Jsonpath提取器需要另外安装 下载plugins-manager.jar加入其加入JMETER_HOME/lib/ext目录， 重新启动JMeter， 点击Options > Plugins Manager顶部菜单， 选择Available Plugins标签， 选择Json Plugins并双击应用更改并重新启动JMeter。 使用方法： Json Path提取器应放在HTTP Sampler下。可设置的参数有： 变量名称：分号单独的变量名称， JSON Path Expressions：从json响应中提取内容的表达式， 匹配数字：-1对于所有，0对于随机的，n对于第n个， Compute concatenation var：创建一个${foo_ALL}包含所有提取值的串联的变量， 默认值：如果表达式不适用于正在处理的json文档，使用此处给定的默认值。 接下来用一个实际案例来演示Json提取的一些用法： 示例：有如下json { "code": 0, "data": { "total": 10,

前提条件 您必须有一个K8S集群 可参考 安装Kubernetes单Master节点集群 kubectl 版本不低于 1.14，可参考 安装kubectl 在执行 kubectl 命令的机器上任意位置创建一个空白目录用于本例子的执行。本文假设后续所有命令的当前目录都是此时创建的这个目录。 # 查看所有名称空间总的容器 执行命令，获取所有名称空间中的所有 Pod kubectl get pods --all-namespaces 使用 -o jsonpath={..image} 参数，输出结果将格式化为只包含容器镜像名字的形式。该参数将递归地查找 JSON 数据中所有 image 字段，例如： kubectl get pods --all-namespaces -o jsonpath={..image} 参考 jsonpath reference 了解如何使用 jsonpath 使用工具 tr 、 sort 、 uniq 格式化输出结果 使用 tr 将空格替换为新的行 使用 sort 对结果排序 使用 uniq 对镜像使用计数 kubectl get pods --all-namespaces -o jsonpath="{..image}" |tr -s '[[:space:]]' '\n' |sort |uniq -c 此命令将递归返回所有 image 字段。 此外，也可以用