grab

微信改版，加星标不迷路！ 转载自博客圆：chestnut_egg 自动扫雷一般分为两种，一种是读取内存数据，而另一种是通过分析图片获得数据，并通过模拟鼠标操作，这里我用的是第二种方式。 一、准备工作 1、扫雷游戏 我是win10，没有默认的扫雷，所以去扫雷网下载 http://www.saolei.net/BBS/ 2、python 3 我的版本是 python 3.6.1 3、python的第三方库 win32api,win32gui,win32con,Pillow,numpy,opencv 可通过 pip install —upgrade SomePackage 来进行安装 注意：有的版本是下载pywin32，但是有的要把pywin32升级到最高并自动下载了pypiwin32，具体情况每个python版本可能都略有不同 我给出我的第三方库和版本仅供参考 二、关键代码组成 1、找到游戏窗口与坐标 #扫雷游戏窗口 class_name = "TMain" title_name = "Minesweeper Arbiter " hwnd = win32gui.FindWindow(class_name, title_name) #窗口坐标 left = 0 top = 0 right = 0 bottom = 0 if hwnd: print ( "找到窗口" ) left ,

在印尼，有这么一家本地独角兽公司，做出了一个脑洞大开的APP。 这家公司名为 Gojek ，是印尼第一个独角兽公司，目前公司的估值已经超过100亿美金，成为了一家真正的全球性商业公司。 Gojek在印尼的地位大致相当于我们国内支付宝+美团+饿了么+滴滴+携程+58同城+淘票票的综合体，而且这些功能都集成在一个APP里，是一个真正的超级APP，这种大而全的APP在国内基本属于不可想象的，Gojek是怎么成功做到的？除此之外，Gojek创始人现在成为了印尼的教育部部长，也算是一段传奇了。 开挂的人生 Gojek的创始人纳迪姆 · 马卡里姆（Nadiem Makarim），一个非常本土化的名字，他的父亲诺诺 · 安瓦尔 · 马卡里姆博士（Nono Anwar Makarim）是哈佛大学哈佛国际事务中心研究员、哈佛大学法学院法律硕士，他的祖父哈米德 · 阿尔加德里（Hamid Algadri）是印度尼西亚独立自由的先驱者，在荷兰-印尼圆桌会议和印度尼西亚成立中都有功绩，可以说，纳迪姆本身就是含着金钥匙出生的，是一个真正的富二代+官二代，而他自身的优秀也是无可非议的。 纳迪姆 · 马卡里姆 纳迪姆自己是布朗大学国际关系学士，哈佛商学院MBA，早期供职于麦肯锡公司，在雅加达担任管理顾问，后来自己创办了在线时装店 Zalora，离开Zalora之后又成为了支付服务提供商 Kartuku

Every one of us want to ameliorate our own condition. You can only cure retail but you can prevent wholesale. 纠正只能弥补小错，预防却能杜绝大错。 From Brock Chisholm. Self-discipline can help us prevent wholesale, and in the best case we wouldn't have to worry about possible mistakes, even if there are some, we can tackle with them easily. Don't wait until the mistake is too big to make up. The best things are put together of a night and vanish with the morning. 最美好的东西都是薄暮而至晨曦而逝。 So, does it mean that dreams are the best things we can have? Does it mean that all our best dreams would vanish when the sun rises?

1. 准备工作 第一步去海关注册备案拿到 ukey 去中华人民共和国海关总署下载 179号文档 添加丁鑫微信说明情况会邀请你入群，进群先看 公告 2. 接收海关请求 post方式（x-www-form-urlencoded） 从请求中获取openReq参数的值，该参数值是一个符合json标准的字符串，由于海关提交的请求是post方式（x-www-form-urlencoded），所以在url中是没有参数的，必须要从表单中获取该参数 海关数据示例 { "orderNo" : "202009231454212140210352" , "sessionID" : "032C3F56-0EE6-4558-B548-6C7A3451F07D" , "serviceTime" : "1600852846372" } 接收完后需企业返回响应 json格式数据 必须是json格式 10000表示成功 20000失败 { "code" : "10000" , "message" : "" , "serviceTime" : 1533271903898 } 3. 组装数据和上传报文 使用接收到的sessionID就可以进行加签（前期可以自己模拟请求） 使用ukey进行加签获取签名（使用操作员ukey） 按照179号文档进行数据拼装 获取签名 1. 使用官方js请求时需按以下格式来请求 数据格式

一些较为高效的Python爬虫框架。分享给大家。 零基础一小时学会Python爬虫 1.Scrapy Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。。用这个框架可以轻松爬下来如亚马逊商品信息之类的数据。 项目地址： https://scrapy.org/ 2.PySpider pyspider 是一个用python实现的功能强大的网络爬虫系统，能在浏览器界面上进行脚本的编写，功能的调度和爬取结果的实时查看，后端使用常用的数据库进行爬取结果的存储，还能定时设置任务与任务优先级等。 项目地址： https://github.com/binux/pyspider 3.Crawley Crawley可以高速爬取对应网站的内容，支持关系和非关系数据库，数据可以导出为JSON、XML等。 零基础一小时学会Python爬虫 项目地址： http://project.crawley-cloud.com/ 4.Portia Portia是一个开源可视化爬虫工具，可让您在不需要任何编程知识的情况下爬取网站！简单地注释您感兴趣的页面，Portia将创建一个蜘蛛来从类似的页面提取数据。 项目地址： https://github.com/scrapinghub/portia 5.Newspaper

　　大家都知道python是一门多岗位编程语言，学习python之后可以从事的岗位有很多，python爬虫便在其中，不过很多人对python不是很了解，所以也不知道python爬虫是什么，接下来带着你的疑问小编为大家介绍一下。 　　Python是一门非常适合开发网络爬虫的编程语言，相比于其他静态编程语言，Python抓取网页文档的接口更简洁;相比于其他动态脚本语言，Python的urllib2包提供了较为完整的访问网页文档的API。此外，python中有优秀的第三方包可以高效实现网页抓取，并可用极短的代码完成网页的标签过滤功能。 　　Python爬虫架构组成: 　　1. URL管理器：管理待爬取的url集合和已爬取的url集合，传送待爬取的url给网页下载器; 　　2. 网页下载器：爬取url对应的网页，存储成字符串，传送给网页解析器; 　　3. 网页解析器：解析出有价值的数据，存储下来，同时补充url到URL管理器。 　　Python爬虫工作原理: 　　Python爬虫通过URL管理器，判断是否有待爬URL，如果有待爬URL，通过调度器进行传递给下载器，下载URL内容，并通过调度器传送给解析器，解析URL内容，并将价值数据和新URL列表通过调度器传递给应用程序，并输出价值信息的过程。 　　Python爬虫常用框架有： 　　grab：网络爬虫框架; 　　scrapy：网络爬虫框架

0、写在前面 Elastic 中国开发者大会2018，干货满满。已然成为Elastic技术爱好者的狂欢日。 我的感触如下： 1、Elastic各个产品线新特性大放异彩，Elastic早已不止是检索，已经成为一体化的完整数据处理堆栈，从数据摄入到分析展示、价值获取。功能更完善、更加简单、易用用、更可视化、更安全。 2、Elastic XPack/SQL等付费功能会从大公司到小公司逐渐推广。 3、随着Elastic上市，国内的业务也开展的如火如荼，从BAT等互联网公司、华为、到三大运营商、各大银行各个行业、各个领域都在以ELK作为基础架构，根据自己的业务做定制开发、优化、APM、自动化等； 这个势头也扩展到中小企业，未来几年更会满地开花。 4、Elastic社区在Elastic国内外进程中功不可没，“三人行必有我师”，大神们的实践对我们自己的Elastic学习、实践都有很好的借鉴价值。 1、Elasticsearch 最新产品新特性 1.1 更壮大的产品线 AuditBeat FunctionBeat Stack Monitoring Logstash：Pipline Viewer 1.2 更快的索引 更小的存储 更快的性能提升 更少的空间存储 可视化 在这里插入图片描述 1.3 更完备的kibana 1）kibana增强的字段检索功能 2）可扩展的跨集群检索功能 3）跨大版本检索功能

问题： I have JSON data stored in the variable data . 我将JSON数据存储在变量 data 。 I want to write this to a text file for testing so I don't have to grab the data from the server each time. 我想将其写入文本文件进行测试，因此不必每次都从服务器获取数据。 Currently, I am trying this: 目前，我正在尝试： obj = open('data.txt', 'wb') obj.write(data) obj.close And am receiving the error: 并收到错误： TypeError: must be string or buffer, not dict How to fix this? 如何解决这个问题？ 解决方案： 参考一： https://stackoom.com/question/peCb/如何将JSON数据写入文件 参考二： https://oldbug.net/q/peCb/How-do-I-write-JSON-data-to-a-file 来源： oschina 链接： https://my.oschina.net/stackoom/blog/4316073

　　做自动化过程中时长会遇到一些截图操作，那么在做客户端的时候，应该怎么进行截图呢？ 窗口截图 在pywinauto中存在自带的截图函数 capture_as_image() 源码： def capture_as_image(self, rect= None): """ Return a PIL image of the control. See PIL documentation to know what you can do with the resulting image. """ control_rectangle = self.rectangle() if not (control_rectangle.width() and control_rectangle.height()): return None # PIL is optional so check first if not ImageGrab: print ( " PIL does not seem to be installed. " " PIL is required for capture_as_image " ) self.actions.log( " PIL does not seem to be installed. " " PIL is required for capture_as_image

0x01 验证是否存在CDN 方法1： 很简单，使用各种多地 ping 的服务，查看对应 IP 地址是否唯一，如果不唯一多半是使用了CDN， 多地 Ping 网站有： http://ping.chinaz.com/ http://ping.aizhan.com/ http://ce.cloud.360.cn/ 方法2： 使用 nslookup 进行检测，原理同上，如果返回域名解析对应多个 IP 地址多半是使用了 CDN。有 CDN 的示例： www.163.com 服务器: public1.114dns.com Address: 114.114.114.114 非权威应答: 名称: 163.xdwscache.ourglb0.com Addresses: 58.223.164.86 125.75.32.252 Aliases: www.163.com www.163.com.lxdns.com 无 CDN 的示例： xiaix.me 服务器: public1.114dns.com Address: 114.114.114.114 非权威应答: 名称: xiaix.me Address: 192.3.168.172 0x02 绕过 CDN 查找网站真实 IP 方法1:查询历史DNS记录 1）查看 IP 与 域名绑定的历史记录，可能会存在使用 CDN 前的记录，相关查询网站有：