python3

描述 sorted() 函数对所有可迭代的对象进行排序操作。 sort 与 sorted 区别： sort 是应用在 list 上的方法，sorted 可以对所有可迭代的对象进行排序操作。 list 的 sort 方法返回的是对已经存在的列表进行操作，而内建函数 sorted 方法返回的是一个新的 list，而不是在原来的基础上进行的操作。 语法 sorted 语法： sorted(iterable, key=None, reverse=False) 参数说明： iterable -- 可迭代对象。 key -- 主要是用来进行比较的元素，只有一个参数，具体的函数的参数就是取自于可迭代对象中，指定可迭代对象中的一个元素来进行排序。 reverse -- 排序规则，reverse = True 降序 ， reverse = False 升序（默认）。 返回值 返回重新排序的列表。 实例 以下实例展示了 sorted 的最简单的使用方法： 1 >>> sorted([5, 2, 3, 1, 4]) # 默认为升序 2 [1, 2, 3, 4, 5] 3 >>> 你也可以使用 list 的 list.sort() 方法。这个方法会 修改原始的 list （ 返回值为None ）。通常这个方法不如sorted()方便- 如果你不需要原始的 list，list.sort(

Translate ToolKit 2.5.0 API 是一个用于翻译行业的文档转换工具。例如将json或者html等转换成PO文件以供翻译使用。这里使用Flask web框架来实现Translate ToolKit api的基本功能。 这是前几天的一个笔试，要求三天内利用api实现一个webApp，我在半睡半醒的“弥留之际”（这一阵子实在精神不佳）完成了这个任务，（虽然笔试没有后续，依旧没有工作~ 好了不废话，进入正题。 项目在我的github https://github.com/finch-xu/f-tt 方便下载查看 0. 环境： Ubuntu18.04 Translate ToolKit API 2.5.0 http://docs.translatehouse.org/projects/translate-toolkit/en/latest/index.html Flask 1.1.1 Python 3.7 uWSGI Nginx Python3环境下 pip install flask translate-toolkit uwsgi等 1. 功能实现： 这个api主要是一个转换器功能，和附带了一些工具类，这里简单实现了txt文件转po文件，json文件转po文件，po文件的综合数据统计 这三个功能。 1.a. txt/json转po文件是分别调用txt2po

想提升mac开发效率的朋友，Macdown小编问精心准备的这篇文章不可错过，在本篇文章中为大家介绍的是mac开发配置技巧。 mac开发配置技巧 mac系统的权限问题 遇到MacOS sierra系统的/usr下各种root操作出现“Operation not permitted”的问题，关闭 Rootless即可。重启按住 Command+R，进入恢复模式，打开Terminal: csrutil disable 重启即可。如果要恢复默认： csrutil enable mac用户组 OS X 内置会有staff wheel admin这三种常见的用户组，分别介绍一下 staff : 所有创建用户都会属于这个用户组，提供最基本的对该用户目录~/(/User/)的rwx权限，其他的一般只有r或者rx权限。比如我建立一个用户叫做lizhuoli，那么我会在一个staff组里面，对/User/lizhuoli/*有rwx权限。 admin :默认创建的所有用户也会属于这个admin用户组，在它里面的用户可以通过 su 或者 sudo 切换到root用户，只要执行以后输入这个用户的密码即可，而不需要知道root密码。 wheel :唯一只拥有一个用户root，意思是root用户的专属用户组。 结论 苹果新系统的Rootless防止用户误操作

目录 1.需求描述 2.实战代码 2.1 单线程爬取 2.2 多线程版 1.需求描述 爬取斗图啦网站，地址为： https://www.doutula.com/photo/list/ ，网站截图如下： 现在需要按页爬取前2页的表情包，那么接下来直接上代码吧。 2.实战代码 2.1 单线程爬取 from urllib import request import requests from lxml import etree import re import os HEADERS= { 'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36' } def parse_url(url): response = requests.get(url, headers=HEADERS) text = response.text html_str = etree.HTML(text) imgs = html_str.xpath('//div[@class="page-content text-center"]//a/img[@class!="gif"]') for img in imgs: img

为了研究一下sql自动化检查和分析工具，是否有网上介绍的好用，我在本地进行soar 和 soar-web的安装和使用。 初步的实验结果，总结如下： 1. 安装相对来说较为麻烦，特别是soar-web的依赖包安装，涉及到python pip相关组件的下载安装。 2. 启动soar-web会遇到一些奇怪问题，提示 “ImportError: No module named xxx“ 没有安装，但是通过python -m pip list检查是有安装成功的。 3. soar-web的启动脚本run.sh，不能正常启动；但是使用python./soar-web.py install却可以正常启动。 4. 数据库类型，只支持MySQL一种 后续： 最后，综合感觉，soar-web的功能，距离自动化SQL检查和优化，还有很大空间。接下来，我将继续调研和对比剩下两个工具：see 和 Yearning 1.see 工具 https://github.com/myide/see 2. Yearning 工具 https://github.com/cookieY/Yearning 一 、soar主要步骤，如下： step 1: 下载安装包 # prepare dir and install mkdir -p /opt/soft/soar && mkdir -p /opt/install/soar/

目录 1.什么是csv? 2.csv文件的两种读取方式 2.1 reader读取 2.2 DictReader读取 3.csv文件的两种写入方式 3.1 writer写入 3.2 DictWriter写入 1.什么是csv? 逗号分隔值（Comma-Separated Values，CSV，有时也称为字符分隔值，因为分隔字符也可以不是逗号），其文件以纯文本形式存储表格数据（数字和文本）。 2.csv文件的两种读取方式 2.1 reader读取 import csv with open("student.csv","r") as f: # reader是一个迭代器 reader = csv.reader(f) titles = next(reader) # 跳过标题行 for x in reader: name = x[0] age = x[1] print("姓名:%s" %name, "年龄：%s" %age) 输出结果： 姓名:张三 年龄：15 姓名:李四 年龄：16 姓名:王五 年龄：17 使用reader读取的话,存在一个问题，在获取数据的时候，通过下标来获取列，现在第一列式name，如果我把第一列修改为id列，那么数据获取将会出现问题，所以有了 DictReader 2.2 DictReader读取 如果想要获取数据的时候通过标题来获取，那么可以使用 DictReader

有的网页在爬取时候会报错返回 urllib.error.HTTPError: HTTP Error 403: Forbidden 这是网址在检测连接对象，所以需要伪装浏览器，设置User Agent 在浏览器打开网页 ---> F12 ---> Network ---> 刷新 然后选择一项 就是在 header 看到 User-Agent User-Agent: Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36 import urllib.request #url包 def openUrl(url): headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36', 'Host': 'jandan.net' } req = urllib.request.Request(url, headers=headers) response = urllib.request.urlopen(req) #请求

python网页抓取功能非常强大，使用urllib或者urllib2可以很轻松的抓取网页内容。但是很多时候我们要注意，可能很多网站都设置了防采集功能，不是那么轻松就能抓取到想要的内容。 今天我来分享下载python2和python3中都是如何来模拟浏览器来跳过屏蔽进行抓取的。 最基础的抓取 #! /usr/bin/env python # -*- coding=utf-8 -*- # @Author python import urllib.request url = "http://www.baidu.com" html = urllib.request.urlopen(url).read(） print(html) 但是...有些网站不能抓取，进行了防采集设置，所以我们要变换一下方法 python2中（最新稳定版本python2.7） #! /usr/bin/env python # -*- coding=utf-8 -*- # @Author python import urllib2 url="http://www.baidu.com" req_header = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.64

#!/usr/bin/env python # coding=utf-8 # json转换为excel import xlrd import json import os from openpyxl import Workbook wb = Workbook() ws = wb.active cols = [] def json2excel(jsfile, excfile): # 读取json数据 a = 1 if os.path.exists(jsfile): # 先用key值写表头 with open(jsfile, 'r',encoding='utf8') as fp: # 先用key值写表头 line = fp.readline() if not line: print("没有内容") else: # 每一行转换成字典类型 jsdata = json.loads(line) # 用key值做标题 for k in jsdata.keys(): if k not in cols: cols.append(k) ws.append(cols) # 标题 # 写值 with open(jsfile, 'r', encoding='utf8') as fp: # 循环写值 while True: print('正在写入的行数%s：' % a) line = fp.readline(

一、通用操作 1、Python len() 方法返回对象（字符、列表、元组等）长度或项目个数。 语法 len()方法语法： len( q ) 参数 q -- 对象。 返回值 返回对象长度。 实例 以下实例展示了 len() 的使用方法： >>>str = "runoob" >>> len(str) # 字符串长度 6 >>> l = [1,2,3,4,5] >>> len(l) # 列表元素个数 5 2、python 成员运算符 in 和 not in Python成员运算符测试给定值是否为序列中的成员，例如字符串，列表或元组。 有两个成员运算符，如下所述 - in 如果在指定的序列中找到一个变量的值，则返回true，否则返回false。 not in 如果在指定序列中找不到变量的值，则返回true，否则返回false。 in 如果在指定的序列中找到值返回 True，否则返回 False。 x 在 y 序列中 , 如果 x 在 y 序列中返回 True。 not in 如果在指定的序列中没有找到值返回 True，否则返回 False。 x 不在 y 序列中 , 如果 x 不在 y 序列中返回 True。 以下实例演示了Python所有成员运算符的操作： #!/usr/bin/python3 a = 10 b = 20 list = [1, 2, 3, 4, 5 ]; if ( a