python3

爬虫基础——scrapy基本使用

筅森魡賤 提交于 2020-02-04 19:11:58
scrapy支持 Python2.7 和 python3.4 以上版本。 python包可以用全局安装(也称为系统范围),也可以安装咋用户空间中。 Windows 1.在 https://www.lfd.uci.edu/~gohlke/pythonlibs/ 下载对应的Twisted的版本文件 2. 在命令行进入到Twisted的目录 执行pip install 加Twisted文件名 3.执行pip install scrapy Ubuntu 14.04或以上 安装 scrapy目前正在使用最新版的lxml,twisted和pyOpenSSL进行测试,并且与最近的Ubuntu发行版兼容。但它也支持旧版本的Ubuntu,比如Ubuntu14.04,尽管可能存在TLS连接问题。 Ubuntu安装注意事项 不要使用 python-scrapyUbuntu提供的软件包,它们通常太旧而且速度慢,无法赶上最新的Scrapy。 要在Ubuntu(或基于Ubuntu)系统上安装scrapy,您需要安装这些依赖项: sudo apt-get install python-dev python-pip libxml2-dev libxslt1-dev zlib1g-dev libffi-dev libssl-dev 如果你想在python3上安装scrapy,你还需要Python3的开发头文件:

一步一步以安装包的方式,搭建API测试工具Hitchhiker

岁酱吖の 提交于 2020-02-04 14:55:03
首先要感谢Hitchhiker的作者BrookShi(https://github.com/brookshi/Hitchhiker)!感谢他分享这个非常棒的API测试平台。Hitchhiker 是一个基于Nodejs的跨平台Web程序,你可以部署到 Linux, Mac or Windows。Hitchhiker 在Docker Hub上也有镜像可以使用,所以推荐的方式还是用Docker来部署,不论是首次还是以后升级都会更容易。 由于笔者不熟悉Docker的使用,采用的是安装包方式部署。由于Hitchhiker依赖的软件较多,部署过程中遇到一些弯路,这个文档也是一边探索一边写成的。搭建时还是1月底,基于Hitchhiker v0.8,现在已经更新到0.9。最近忙于研究Python自动化方面的工作,没有把搭建文档发布到博客园。 首先是准备工作: 安装Development Tools 安装(更新)Python3 安装Node 更新C++ 安装MySQL Server 最后是我们的主角Hitchhiker: 这部分的搭建步骤,请参阅在线文档:http://doc.hitchhiker-api.com/cn/installation/StepByStep.html 1. 更新系统: 我的系统是CentOS 7.3。 # yum update -y # yum group install

A Byte of Python3 学习笔记

时光怂恿深爱的人放手 提交于 2020-02-04 12:48:46
A Byte of Python3 学习笔记 第七章 控制流 1.if语句(带输入函数) 2.while语句 3.for循环 4.break、continue、return的区别 第八章 函数 8.1简介 8.2函数参数 8.3局部变量 8.4全局变量——类似于C#中的静态变量 8.6默认参数 8.7 关键参数 8.8VarArgs参数 8.9Keyworld-only参数 8.10 return语句 9.4模块的__name__ 第10章 数据结构 10.2列表 10.4元组 10.5字典 pycharm 小技巧 1.批量注释快捷键 python常见错误 1.Non-ASCII character'\xe6' in file”错误 第七章 控制流 1.if语句(带输入函数) #if语句 number=23 #input() 数据输入函数,int()将字符串转换成int guess=int(input('Enter an integer :')) if guess==number: # New block starts here print('Congratulations,you guessec it.') # New block end here print('(but you do not win any prizes)') elif guess<number: print(

Python3 标准库概览

让人想犯罪 __ 提交于 2020-02-04 11:11:49
操作系统接口 os模块提供了不少与操作系统相关联的函数。 >>> import os >>> os.getcwd() # 返回当前的工作目录 'C:\\Python34' >>> os.chdir('/server/accesslogs') # 修改当前的工作目录 >>> os.system('mkdir today') # 执行系统命令 mkdir 0 建议使用 "import os" 风格而非 "from os import *"。这样可以保证随操作系统不同而有所变化的 os.open() 不会覆盖内置函数 open()。 在使用 os 这样的大型模块时内置的 dir() 和 help() 函数非常有用: >>> import os >>> dir(os) <returns a list of all module functions> >>> help(os) <returns an extensive manual page created from the module's docstrings> 针对日常的文件和目录管理任务,:mod:shutil 模块提供了一个易于使用的高级接口: >>> import shutil >>> shutil.copyfile('data.db', 'archive.db') >>> shutil.move('/build

Python3 标准库概览

允我心安 提交于 2020-02-04 11:07:07
Python3 标准库概览 操作系统接口 os模块提供了不少与操作系统相关联的函数。 >>> import os >>> os.getcwd() # 返回当前的工作目录 'C:\\Python34' >>> os.chdir('/server/accesslogs') # 修改当前的工作目录 >>> os.system('mkdir today') # 执行系统命令 mkdir 0    建议使用 "import os" 风格而非 "from os import *"。这样可以保证随操作系统不同而有所变化的 os.open() 不会覆盖内置函数 open()。 在使用 os 这样的大型模块时内置的 dir() 和 help() 函数非常有用: >>> import os >>> dir(os) <returns a list of all module functions> >>> help(os) <returns an extensive manual page created from the module's docstrings>    针对日常的文件和目录管理任务,:mod:shutil 模块提供了一个易于使用的高级接口: >>> import shutil >>> shutil.copyfile('data.db', 'archive.db') >>> shutil

python3 bytes().py

江枫思渺然 提交于 2020-02-04 11:05:29
""" python3 bytes().py 参考:https://blog.csdn.net/weixin_40283816/article/details/83591582 知识点: 1.str to bytes str.encode() -> bytes bytes(str, encoding="utf8") -> bytes 2. bytes -> str str(bytes, encoding="utf8") -> str bytes.decode() -> str """ # 1. print("1.") b = b"example" # bytes object print('b:', b) # b: b'example' print(type(b)) # <class 'bytes'> # 2. print("2.") s = "example" # str object sb = bytes(s, encoding="utf8") # str to bytes print("sb:", sb) # sb: b'example' print(type(sb)) # <class 'bytes'> sb = str.encode(s) # str to bytes print("sb:", sb) # sb: b'example' print(type(sb)) #

python3 reqeusts后写入excel

冷暖自知 提交于 2020-02-04 09:25:04
用python通过手机号批量辨别运营商并写入excel 初始文件: 具体代码: #coding=utf-8 import requests import re import xlrd import xlwt read_path = 'xxx.xlsx' #你的初始文件 write_path='xxx.xls' #你的生成文件 # 设置手机号和运营商列表 phonelist = ['手机号'] yyslist = ['运营商'] # 读取excel, def read_excel(read_path): # 打开文件 filename = xlrd.open_workbook(read_path) # 获取当前文档的表(得到的是sheet的个数,一个整数) sheets=filename.nsheets # 通过sheet索引获得sheet对象 sheet = filename.sheet_by_index(0) # 获取行数 nrows = sheet.nrows print(nrows) # 获取列数 ncols = sheet.ncols print(ncols) # 获取第2行,第2列数据(调取接口,获取手机号的运营商信息,并存在yyslist) cell_value = sheet.cell_value(1, 1) print(type(cell_value)) #

Mac上搭建虚拟环境以及Django项目开启和配置

帅比萌擦擦* 提交于 2020-02-04 08:56:00
1.首先给配置全局pip换源: ''' 0.换源理由: 采用国内源,加载模块的下载速度。配置了全局换源后,就不用担心每次下载都需要换源了,一次性更换更彻底。 当然你说你不用换,那你也不用看。直接用国外的源也是可以的。只是国外的下载速度相对来说慢一些。 但是你又不想下国外的源,又想不换全局的。那你每次下载模块你就这样来(以下是两种都行): pip3 install -i https://pypi.douban.com/simple 模块名 pip3 install -i https://mirrors.aliyun.com/pypi/simple 模块名 换源彻底的从这里开始: 1.在用户的根目录下创建一个 .pip 隐藏文件夹 终端执行:mkdir ~/.pip 2.在隐藏文件夹里创建 pip.conf 配置文件 终端执行: 切换到 .pip 文件夹下: 执行:cd .pip 再执行:touch pip.conf 3.在 .pip 文件夹下打开 pip.conf 配置文件 终端执行: 切换到 .pip 文件下,执行 open pip.conf 4.执行 open pip.conf 后,在配置文件里添加换源内容: 有以下两种源,随你选择: -- 豆瓣:https://pypi.douban.com/simple: 以下才是内容: [global] index-url = https:

树莓派python3.7语音助手开发笔记(3)

半世苍凉 提交于 2020-02-04 07:53:47
树莓派python3.7语音助手开发笔记(3) 下面安装一些必要的Python库 #pip3 install -i https://pypi.tuna.tsinghua.edu.cn/simple/ rpi.gpio 这是树莓派和Python的接口库 #pip3 install -i https://pypi.tuna.tsinghua.edu.cn/simple/ requests 网络通讯,会做爬虫的也可以使用urllib.request #pip3 install -i https://pypi.tuna.tsinghua.edu.cn/simple/ pydub 这个是做音频转化的,因为在树莓派上使用playsound一类的库的时候出现了各种问题,具体的后面再说。 然后安装pyttsx3 这个库是我刚开始做识别的时候用的,发现他的语音合成的声音是真的。。。 但还是安装了这个库是我看中了它的持续运行的一个效果。 #pip3 install -i https://pypi.tuna.tsinghua.edu.cn/simple/ pyttsx3 这个库在我开发期间官方进行了更新,但更新的最新版本有bug,会让Linux系统去安装MacOs的依赖库,然后就会报错 Command "python setup.py egg_info" failed with error code 1

python3 重写、重用、重载

和自甴很熟 提交于 2020-02-04 06:36:17
重用 重用是用于在对象的概念中,实现代码的重用性 在继承角度,在子类继承父类之后,重新使用父类属性方法即是代码的重用 在组合角度,在一个类中以另外一个类的对象作为数据属性,提高代码的重用性 重用的方式: 继承: 方式一:指名道姓的应用某一个类中的函数(无关继承,访问函数不存在自动传值) 例如:CollegePeople.__init__(self, name, age, sex) 方式二:使用内置方法super(),返回特殊对象访问属性(严格依赖mro列表,存在自动传值) 例如:super().__init__( name, age, sex) 组合:通过为某一个对象添加属性的方式,间接将两个类进行关联,减少类与类代码冗余 class Foo: xxx = 222 class Bar: yyy = 111 obj = Foo() b = Bar() obj.attr = Bar() obj.a = b obj.xxxx #调用Foo内属性 obj.attr.yyyy #调用Bar内属性 重写 重写用于继承概念下,子类继承父类需要同名的不同函数,即可修改重写同名方法。 例如: class Parent: # 定义父类 def myMethod(self): print '调用父类方法' class Child(Parent): # 定义子类 def myMethod(self):