twisted

1. OS: debian 9 2. cor@debian:~$ sudo pip3 install Scrapy cor@debian:~$ sudo pip3 install Scrapy 3. open a terminal , and go to the directory you'd like to start you new project "scrapy startproject <project name>" scrapy startproject myscpy 4. "scrapy genspider "　 $ scrapy genspider film http://www.rrys2019.com/ --template=crawl :0: UserWarning: You do not have a working installation of the service_identity module: 'cannot import name 'opentype''. Please install it from <https://pypi.python.org/pypi/service_identity> and make sure all of its dependencies are satisfied. Without the service

延迟（defer）是twisted框架中实现异步的编程体系，使程序设计可以采用事件驱动的机制 1、基本使用 defer可以看作一个管理回调函数的对象，可以向该对象添加需要的回调函数同时也可以指定该组函数何时被调用 from twisted.internet import reactor,defer from twisted.python import failure import sys d = defer.Deferred() # 定义defer实例 #####################函数添加阶段 def printSquare(d): # 正常处理函数 print('square of %d id %d '% (d,d*d)) def processError(f): print('error when process') d.addCallback(printSquare) # 添加正常处理回调函数 d.addErrback(processError) # 添加错误处理回调函数 ################defer调用阶段 if sys.argv[1] =='call_error': f= failure.Failure(Exception('my exception')) d.errback(f) # 调用错误处理函数 else: d.callback(4)

作者：一只虫 转载请注明出处 当前环境win7，python_3.6.1，64位。 在windows下，在dos中运行pip install Scrapy报错： building 'twisted.test.raiser' extension error: Microsoft Visual C++ 14.0 is required. Get it with "Microsoft Visual C++ Build Tools": http://landinghub.visualstudio.com/visual-cpp-build-tools 解决方案 http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted 下载 twisted 对应版本的whl文件（如我的Twisted‑17.5.0‑cp36‑cp36m‑win_amd64.whl），cp后面是python版本，amd64代表64位，运行命令： pip install C:\Users\CR\Downloads\Twisted-17.5.0-cp36-cp36m-win_amd64.whl 1 pip install C: \Users \CR \Downloads \Twisted-17.5.0-cp36-cp36m-win_amd64.whl

下载 Twisted 百度网盘链接： https://pan.baidu.com/s/1XTHUu-8dUnJLt7JB-F8YsQ 提取码：m8qa 也可以去这个网址寻找对应的 python 包：https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted 安装 在安装 scrapy 前我们需要安装一些依赖包，其中 twisted 不能直接安装， 可以点击上方的链接去百度网盘中下载对应的 python 版本的 twisted 安装文件 pip install wheel pip install lxml pip install Twisted文件路径 pip install scrapy 检查安装 scrapy version # 查看 scrapy 版本 Scrapy 2.0 .0 来源： CSDN 作者： 缇娜3201 链接： https://blog.csdn.net/weixin_45940119/article/details/104697585

reactor是twisted框架里面一个很重要的抽象，它为我们实现了循环，所以我们不用再去实现循环了。 reactor有如下特点： 1、reactor循环会一致运行下去，可以使用Ctrl+C或者相关的方法停止。但不会占用额外的CPU资源。 2、reactor模式是单线程的，也就是，当我们的callback()运行的时候，reactor循环停止，当twisted函数停止的时候，reactor循环继续。整个过程是一个单线程的。所以，我们必须合理的安排回调函数。 3、一段代码中只能有一个rector循环,reactor再等待事件，然后对事件做出反应，因此也称为事件循环。 #!/usr/bin/python from twisted.internet import reactor def Echo(): print "the reactor is run" print '++++++++++++++++++==' reactor.stop() reactor.callWhenRunning(Echo) print 'hello' reactor.run() 可以看到，Echo（）显示在hello之后，也就是说，在reactor.run()之后，再进入到回调函数中。 reactor应该具有监控I/O的本领，查看reactor源码 import sys del sys.modules[