downloader

文中源文件下载地址： part1 , part2 creating multiple buttons: creating the key class 这一小部分（nibble）中将教您怎样使用复制同一XAML文件的方法创建多个按钮。我们将使用一个名为Key.xaml的文件制作一个数字键盘。 我们将使用提供的图像及动画开始教程。如果您对在Blend的中绘图及制作动画还有疑问请查看Buttons Basics这部分。 完成此教程，你需要安装Expression Blend 2的9月预览版及Visual Studio 2005、Orcas Beta版或以上版本。 打开提供的项目文件 用Blend打开提供的项目文件： a. 选择 文件 > 打开项目… b. 浏览到你的项目文件夹。 c. 双击 keyboard.csproj文件。 这个项目中，你会找到运行一个Silverlight程序所需的所有文件，需要注意以下两个文件： Scene.xaml：这个文件是空文件。我们将使用JavaScript来创建按钮而不是Blend。 Key.xaml：这是我们的数字键盘所需要的图片。注意这个XAML文件有两条时间轴：mouseEnter和mouseLeftButtonDown。它们将在代码的驱动下创建按钮的状态。 创建一个新的JavaScript文件（Key.js） a. 在项目面板文件区域中

GitHub 开源 my8100 / logparser 安装 通过 pip: pip install logparser 通过 git: git clone https://github.com/my8100/logparser.git cd logparser python setup.py install 使用方法 作为 service 运行 请先确保当前主机已经安装和启动 Scrapyd 通过命令 logparser 启动 LogParser 访问 http://127.0.0.1:6800/logs/stats.json (假设 Scrapyd 运行于端口 6800) 访问 http://127.0.0.1:6800/logs/projectname/spidername/jobid.json 以获取某个爬虫任务的日志分析详情 配合 ScrapydWeb 实现爬虫进度可视化 详见 my8100 / scrapydweb 在 Python 代码中使用 In [1]: from logparser import parse In [2]: log = """2018-10-23 18:28:34 [scrapy.utils.log] INFO: Scrapy 1.5.0 started (bot: demo) ...: 2018-10-23 18:29:41 [scrapy

爬虫没有数据结果 小白学python爬虫，使用scrapy框架进行爬取网站数据，遇到爬取数据的时候没有返回的结果，代码是根据视频里的老师敲的，看着挺简单的一个程序，网上看了很多方法都没解决，求大神帮助。 这是代码 #- - coding: utf-8 - - import scrapy from scrapy.http.response.html import HtmlResponse from scrapy.selector.unified import SelectorList class SpiderDxysSpider(scrapy.Spider): name = ‘spider_dxys’ allowed_domains = [‘dxy.com/search/health’] start_urls = [f’https://dxy.com/view/i/recommend/referral/list?{page_index}&items_per_page=5&q=%E6%8A%91%E9%83%81%E7%97%87&spell_check=false&postcode=000001/’ for page_index in range(1,6)] def parse(self, response): # selectorList hospitaldivs=response

scrapy 基础教程 1. 认识Scrapy: 来一张图了解一下scrapy工作流程：(这张图是在百度下载的) scrapy 各部分的功能： 　　1. Scrapy Engine(引擎): 负责Spider,Item Pipeline,Downloader,Scheduler 中间的通讯，信号，数据传递等 　　2. Scheduler(调度器): 负责接收引擎发送过来的 request 请求，并按照一定的方式进行整理队列，入队，当引擎需要时，交还给引擎 　　3. Downloader(下载器): 负责下载 Scrapy Engine(引擎)发送的所有 request 请求，并将其获取到的 response 交还给 Scrapy Engine(引擎)，由 引擎 交给spider 来处理 　　4. Spider(爬虫): 它负责处理所有response,从中分析提取数据，获取item字段需要的数据，并将需要跟进的URL提交个 引擎 再次进入 Scheduler(调度器) 　　4. Item Pipeline(管道): 它负责处理Spider中获取到的item,并进行后期处理(详细分析，过滤，存储等)的地方 　　5. Downloader Middlewares(下载中间件): 你可以当作是一个可以自定义扩展下载功能的组件 　　6. Spider Middlewares

概念 进程：进程是一个具有独立功能的程序关于某个数据集合的一次运行活动。进程是操作系统动态执行的基本单元。 线程：一个进程中包含若干线程，当然至少有一个线程，线程可以利用进程所拥有的资源。线程是独立运行和独立调度的基本单元。 协程：协程是一种用户态的轻量级线程。协程无需线程上下文切换的开销，也无需原子操作锁定及同步的开销。 同步：不同程序单元为了完成某个任务，在执行过程中需靠某种通信方式以协调一致，称这些程序单元是同步执行的。 异步：为完成某个任务，不同程序单元之间过程中无需通信协调，也能完成任务的方式，不相关的程序单元之间可以是异步的。 多进程：多进程就是利用 CPU 的多核优势，在同一时间并行地执行多个任务。多进程模式优点就是稳定性高，因为一个子进程崩溃了，不会影响主进程和其他子进程，但是操作系统能同时运行的进程数是有限的。 多线程：多线程模式通常比多进程快一点，但是也快不到哪去，而且，多线程模式致命的缺点就是任何一个线程挂掉都可能直接造成整个进程崩溃，因为所有线程共享进程的内存。 Python 中使用协程最常用的库莫过于 asyncio ，然后我们还需要了解一些概念： event_loop 事件循环 程序开启一个无限循环，把一些函数注册到事件循环上，当满足事件发生的时候，调用相应的协程函数 coroutine 协程 协程对象，指一个使用async关键字定义的函数

变了。不过改一点就行了。 以前的方法是： 用Chrome打开YouTube视频网页， 打开Developer Tools，到Network页 刷新当前Youtube网页 在DeveloperTools的Network页里，按照尺寸排序，找到一个尺寸最大的请求，往往就是那个了。对比看看类型，有时会是mp4或者flv 把那个请求的URL拿到新的页里打开，就会开始在这个页里播放视频了，如果是flv甚至就直接下载成文件了。如果是mp4，那么就从文件菜单里执行保存为...文件 其实这是对于所有的Flash类视频网页都有效的方法。手快的话5秒钟搞定。 现在的问题是，据不完全调查，Youtube的HTML5 video player是分段下载视频的，而且音频是分开的！，也是分段。 实验了一下，发现稍微改进一下第4步就行了： 也是找尺寸比较大的xhr类型的 (显然是ajax请求了)，找到之后的URL是带有分段其实结束为止的，例如 https://r19---sn-oguesne6.googlevideo.com/videoplayback?signature=xxxxxx......html5 &range=1541202-2106828&rn=13&rbuf=93753 把最后一段range之类的去掉，就是最终的视频或者音频URL了。 要是实在嫌烦，也可以使用online downloader

4.2 爬虫的编写 爬虫的思路我们上面已经讲过了，先完成url的管理，我们单独将他作为一个类 文件保存在lib/core/UrlManager.py。 #!/usr/bin/env python #-*- coding:utf-8 -*- class UrlManager(object): def __init__(self): self.new_urls = set() self.old_urls = set() def add_new_url(self, url): if url is None: return if url not in self.new_urls and url not in self.old_urls: self.new_urls.add(url) def add_new_urls(self, urls): if urls is None or len(urls) == 0: return for url in urls: self.add_new_url(url) def has_new_url(self): return len(self.new_urls) != 0 def get_new_url(self): new_url = self.new_urls.pop() self.old_urls.add(new_url) return new

Downloader Middleware的功能 在Downloader Middleware的功能十分强大： 可以修改User-Agent 处理重定向 设置代理 失败重试 设置Cookies等 Downloader Middleware在整个架构中起作用的位置是以下两个： 在Scheduler调度出队列的Request发送给Doanloader下载之前，也就是我们可以在Request执行下载前对其进行修改。 在下载后生成的Response发送给Spider之前，也就是我们可以生成Resposne被Spider解析之前对其进行修改。 Scrapy中的内建Downloader Middleware 在Scrapy中已经提供了许多Downloader Middleware，如：负责失败重试、自动重定向等中间件： 它们都被定义到DOWNLOADER_MIDDLEWARES_BASE变量中。 注：下面的配置，是全局配置，不要修改，如果要修改，去修改项目中的配置！ # 在python3.6/site-packages/scrapy/settings/default_settings.py默认配置中 DOWNLOADER_MIDDLEWARES_BASE = { # Engine side 'scrapy.downloadermiddlewares.robotstxt

2017-10-31 19:09:26 [scrapy.extensions.logstats] INFO: Crawled 8096 pages (at 67 pages/min), scraped 7720 items (at 62 items/min) 2017-10-31 19:09:27 [scrapy.downloadermiddlewares.retry] DEBUG: Gave up retrying <GET http://collection.sina.com.cn/auction/zjgd/2017-10-19/doc-ifymzqpq2471870.shtml> (failed 3 times): TCP connection timed out: 10060: 由于连接方在一段时间后没有正确答复或连接的主机没有反应，连接尝试失败。. 2017-10-31 19:09:27 [scrapy.core.scraper] ERROR: Error downloading <GET http://collection.sina.com.cn/auction/zjgd/2017-10-19/doc-ifymzqpq2471870.shtml>: TCP connection timed out: 10060: 由于连接方在一段时间后没有正确答复或连接的主机没有反 应

个人觉得，本书中所讲的内容都是希望读者不求甚解，只需要了解一些用法就行。可惜博主刚好不是，总想把这些问题的原因搞清楚，比如Scrapy的工作流程，为什么我们一上手就要添加item，然后就直接解析数据了？在没搞清楚工作机制的情况下，满脑子都是浆糊。于是Read the f*cking document.( https://docs.scrapy.org/en/latest/topics/architecture.html ) Scrapy的组件 Scrapy Engine（引擎）：核心组件，用于控制所有组件的数据流，和触发事件。 Scheduler（调度器）：接收引擎过来的请求、压入队列，并在引擎再次请求的时候返回。 Downloader（下载器）：发送请求到url，接收服务器响应并返回到爬虫。 Spiders（爬虫）：解析响应数据，并提取所需要的数据为条目（items）。 Item Pipeline（条目管道）：处理爬虫从网页中抽取的条目，主要的功能是持久化条目、验证条目的有效性、清除不需要的信息。当页面被爬虫解析后，将被发送到条目管道，并经过几个特定的次序处理数据。 Downloader middlewares（下载器中间件）：是引擎与下载器之间的框架，主要是处理引擎与下载器之间的请求及响应。 Spider middlewares（爬虫中间件）：引擎和爬虫之间的框架