前戏
一、 知识储备
1.函数 : def args kwargs
def func(参数1,参数2): # def 用来定义函数及函数名,参数1和参数2就是定义时的形参,也就是将来调用函数时必须要传入的参数
变量1 = 参数1+参数2
return 变量1
# *args 就是 将未定义且多余的 位置参数记录在内,偷偷的告诉你,args是个元祖,里面记录着你个函数传递的多余位置参数
# **kwargs 就是 将多余的关键字参数记录在内,kwargs 其实是个dict哦,里面大概就是{"name":"python","age":1+1+1+1+1+1+18}
def args_func(a,b,*args): # args 里面保存着除了ab之外的所有多余参数
print(args) # 这回知道是元组了吧
for i in args:
print(i)
args_func(1,2,3,4,5,6) # 这里调用的时候1,2分别传递给a,b,那么3456就会保存在args里面哦
def kwargs_func(a, b, **kwargs): # kwargs 里面保存着除了ab之外其他关键字传入参的参数
print(kwargs) # 这回知道是字典了吧
for k, v in kwargs:
print(k, v)
kwargs_func(1, 2, c=3, d=4, e=5) # 这里调用的时候,12分别传递给a,b 那么c=3,d=4,e=5 就会保存在**kwargs里面哦
def args_kwargs_func(*args, **kwargs): # 这里一定要注意*args 要在 **kwargs之前
print(args)
print(kwargs)
args_kwargs_func(1, 2, a=1, b=2) # 12存入args a=1,b=2 存入kwargs,这里要注意的是关键字传参之后,不可以在位置传参了
2.推导式
两个栗子:
2.1 列表推导式:
li = [i for i in range(10)] # 简单的列表推导式,就是在列表内写一个for循环对吧
print(li) # [0, 1, 2, 3, 4, 5, 6, 7, 8, 9]
lis = [i for i in range(10) if i % 2 == 0] # 这是带if 条件的列表推导式
print(lis) # [0, 2, 4, 6, 8
2.2 生成器推导式:
gener = (i for i in range(10)) # 简单的生成器推导式,就是在元组内写一个for循环对吧
print(gener) # <generator object <genexpr> at 0x04F9B3C0>
geners = (i for i in range(10) if i % 2 == 0) # 这是带if 条件的生成器推导式
print(geners) # <generator object <genexpr> at 0x04F9B3F0>
从上述来看,列表推导式和生成器推导式只是[] 与 () 的区别
但是实际上,生成器推导式的效率非常高,但可控性很差,比如不直观,用一次就没了
相对而言列表推导式的效率比较低,但是可控性强,可以反复利用,而且数据显示很直观
3.模块
字符串之json模块
import json
# 我们做一个字典
dic = {
"name": "Dragon",
"age": 20,
"hobby": ["摩托车", "骑车"],
"other": {
"say": "hello",
"see": "beautiful girl",
}
}
json_dic = json.dumps(dic) # json序列化
print(type(json_dic), json_dic)
# <class 'str'> {"name": "Dragon", "age": 20, "hobby": ["\u6469\u6258\u8f66", "\u9a91\u8f66"], "other": {"say": "hello", "see": "beautiful girl"}}
loads_dic = json.loads(json_dic) # json 反序列化
print(type(loads_dic), loads_dic)
# <class 'dict'> {'name': 'Dragon', 'age': 20, 'hobby': ['摩托车', '骑车'], 'other': {'say': 'hello', 'see': 'beautiful girl'}}
os模块,集成了很多操作系统的方法,比如创建文件夹,拼接路径,删除文件,创建文件等等
import os
os.path.join("a","b") # 组合路径 a/b
os.system("ls") # 执行系统命令
os.sep() # 获取当前操作系统的路径分隔符
os.path.dirname(__file__) # 获取当前文件的所在目录
os补充:
import os
os.getcwd() # 获取当前工作目录,即当前python脚本工作的目录路径
os.chdir("dirname") # 改变当前脚本工作目录;相当于shell下cd
os.curdir() # 返回当前目录: ('.')
os.pardir() # 获取当前目录的父目录字符串名:('..')
os.makedirs('dir1/dir2') # 可生成多层递归目录
os.removedirs('dirname1') # 若目录为空,则删除,并递归到上一级目录,如若也为空,则删除,依此类推
os.mkdir('dirname') # 生成单级目录;相当于shell中mkdir dirname
os.rmdir('dirname') # 删除单级空目录,若目录不为空则无法删除,报错;相当于shell中rmdir dirname
os.listdir('dirname') # 列出指定目录下的所有文件和子目录,包括隐藏文件,并以列表方式打印
os.remove("file_name") # 删除一个文件
os.rename("oldname", "new") # 重命名文件/目录
os.stat('path/filename') # 获取文件/目录信息
os.sep() # 操作系统特定的路径分隔符,win下为"\\",Linux下为"/"
os.linesep() # 当前平台使用的行终止符,win下为"\t\n",Linux下为"\n"
os.pathsep() # 用于分割文件路径的字符串
os.name() # 字符串指示当前使用平台。win->'nt'; Linux->'posix'
os.system("bash command") # 运行shell命令,直接显示
os.environ() # 获取系统环境变量
os.path.abspath(path) # 返回path规范化的绝对路径
os.path.split(path) # 将path分割成目录和文件名二元组返回
os.path.dirname(path) # 返回path的目录。其实就是os.path.split(path)的第一个元素
os.path.basename(path) # 返回path最后的文件名。如何path以/或\结尾,那么就会返回空值。即os.path.split(path)的第二个元素
os.path.exists(path) # 如果path存在,返回True;如果path不存在,返回False
os.path.isabs(path) # 如果path是绝对路径,返回True
os.path.isfile(path) # 如果path是一个存在的文件,返回True。否则返回False
os.path.isdir(path) # 如果path是一个存在的目录,则返回True。否则返回False
os.path.join(path1[, path2[, ...]]) # 将多个路径组合后返回,第一个绝对路径之前的参数将被忽略
os.path.getatime(path) # 返回path所指向的文件或者目录的最后存取时间
os.path.getmtime(path) # 返回path所指向的文件或者目录的最后修改时间
4.文件操作
f = open("123.txt","rb") #打开文件句柄
print(f.read()) # 读取文件内容
f.close() # 关闭文件句柄
打开文件时,需要指定文件路径和以何等方式打开文件,打开后,即可获取该文件句柄,日后通过此文件句柄对该文件操作。
打开文件的模式有:
- r ,只读模式【默认】
- w,只写模式【不可读;不存在则创建;存在则清空内容;】
- x, 只写模式【不可读;不存在则创建,存在则报错】
- a, 追加模式【可读; 不存在则创建;存在则只追加内容;】
"+" 表示可以同时读写某个文件
- r+, 读写【可读,可写】
- w+,写读【可读,可写】
- x+ ,写读【可读,可写】
- a+, 写读【可读,可写】
"b"表示以字节的方式操作
- rb 或 r+b
- wb 或 w+b
- xb 或 w+b
- ab 或 a+b
注:以b方式打开时,读取到的内容是字节类型,写入时也需要提供字节类型
# 文件上下文操作
with open("123.txt","rb") as f: # 文件句柄f 自动打开关闭文件句柄
f.read() # 读取文件内容(全部)
with open("123.txt","rb") as f:
f.read() #读取文件内容(全部)
f.readline() # 读取文件中一行文件
f.readlines() # 读取文件中所有行 ["1","2"]
f.write("666") # 写入文件内容
f.writelines("666") # 写入一行文件
f.flush()# 刷新文件
f.seek(10) # 移动光标到10位置
f.truncate(6) # 从光标当前位置截取6位
f.tell() # 获取当前光标位置
人工智能底层的择取
预备环境:
1.FFmpeg:
链接:https://pan.baidu.com/s/1jonSAa_TG2XuaJEy3iTmHg
密码:w6hk
2.baidu-aip:
pip install baidu-aip
此篇是人工智能应用的重点,只用现成的技术不做底层算法,也是让初级程序员快速进入人工智能行业的捷径
目前失眠上主流的AI技术提供公司有很多,BAT和只能问答的图灵机器人等,另外提一点:主做语音的科大讯飞是佼佼者但它是有偿使用
这里我们采用百度的完全免费接口
开启人工智能技术的大门 : http://ai.baidu.com/
首先进入控制台,注册一个百度的账号(百度账号通用)
开通一下我们百度AI开放平台的授权
然后找到已开通服务中的百度语音
这里省去自行创建应用过程
进入管理应用,牢记下述3个值,后面实例接口时会用上
二、 百度的人工智能SDK:
1.安装SDK与测试
首先咱们要 pip install baidu-aip 安装一个百度人工智能开放平台的Python SDK实在是太方便了,这也是为什么我们选择百度人工智能的最大原因
在工程目录下,就可以看到s1.mp3这个文件了,可用播放器试听效果
上面咱们测试了一个语音合成的例子,那么就从语音合成开始入手
2.语音合成
#!/usr/bin/env python
# -*- coding: utf-8 -*-
# @Time : 2018/08/25 18:28
# @Author : MJay_Lee
# @File : ai.py
# @Contact : limengjiejj@hotmail.com
from aip import AipSpeech
""" 你的 APPID AK SK """
APP_ID = '11721488'
API_KEY = 'RSs9MrcwhhdndG6vLHN9Q9dC'
SECRET_KEY = 'RpQwPMiPUYXYNOFb0bmFIHORNj4t6Nb0'
client = AipSpeech(APP_ID, API_KEY, SECRET_KEY)
res = client.synthesis(
"智能语音的第一个示例", # text,合成的文本,使用UTF-8编码,请注意文本长度必须小于1024字节
"zh", # lang,语言,中文:zh 英文:en
1, # ctp,客户端信息这里就写1
{ # 这是一个dict类型的参数,里面的kv是关键,如下:
"vol":5, # 合成音频文件的准音量
"spd":4, # 语速,0~9,默认为5,中语速
"pit":8, # 语调音调,0~9,默认为5,中语调
"per":4, # 发音人选择,0为女声,1为1男声,3为度逍遥,4为度丫丫,默认为普通女声
}
)
if not isinstance(res,dict):
with open("audio.mp3","wb")as f:
f.write(res)
else:
print(res)
'''
# 错误返回示例:
{
'err_detail': 'Params error.',
'err_msg': 'parameter error.',
'err_no': 501,
'err_subcode': 29,
'tts_logid': 3204603220
}
'''
技术上,代码上的任何疑虑都可以从官方文档中得到答案
baidu-aip Python SDK 语音合成技术文档 : https://ai.baidu.com/docs#/TTS-Online-Python-SDK/top
刚才我们做了一个语音合成的例子,借此可继续展开说明
这里与百度进行一次加密校验,认证你是合法用户,合法的应用
AipSpeech 是百度语音的客户端,认证成功之后,客户端都将被开启,这里的client就是已经开启的百度语音的客户端
res就是咱们音频文件的byte流
如果失败,res就会是个字典,如上图的 #错误返回示例。
用百度语音客户端中的synthesis方法,并提供相关参数
成功可以得到音频文件,失败则返回一段错误信息
重点看一下 synthesis 这个方法 , 从 https://ai.baidu.com/docs#/TTS-Online-Python-SDK/top 来获得答案吧
从参数入手分析:
至此,人工只能中的语音合成技术点到为止了。
3.语音识别
#!/usr/bin/env python
# -*- coding: utf-8 -*-
# @Time : 2018/08/25 18:28
# @Author : MJay_Lee
# @File : ai.py
# @Contact : limengjiejj@hotmail.com
from aip import AipSpeech
""" 你的 APPID AK SK """
APP_ID = '11721488'
API_KEY = 'RSs9MrcwhhdndG6vLHN9Q9dC'
SECRET_KEY = 'RpQwPMiPUYXYNOFb0bmFIHORNj4t6Nb0'
client = AipSpeech(APP_ID, API_KEY, SECRET_KEY)
# 读取文件
def get_file_content(filePath):
with open(filePath, 'rb') as fp:
return fp.read()
# 识别本地文件
res = client.asr(get_file_content('audio.pcm'), 'pcm', 16000, {
'dev_pid': 1536,
})
print(res)
'''
# res内容
{
'corpus_no': '6594294686519761176',
'err_msg': 'success.',
'err_no': 0,
'result': ['陈杰陈杰你好'],
'sn': '995932809701535353876'
}
'''
声音这个东西格式太多样化了,如果要想让百度的SDK识别咱们的音频文件,就要想办法转变成百度SDK可以识别的格式PCM
已知可以实现自动化转换格式并且屡试不爽的工具 : FFmpeg
FFmpeg 环境变量配置:
首先你要解压缩,然后找到bin目录,
我的目录是 C:\my_AI\ai_voice\ffmpeg-20180619-a990184-win64-shared\bin
以window10为例,配置环境变量
尝试一下是否配置成功
看到这个界面就算配置成功了
ffmpeg 这个工具可以将wav wma MP3 等音频文件转换为pcm无压缩音频文件,测试过程如下:
# 做一个测试,首先要打开windows的录音机,录制一段音频(说普通话)
# 现在假设录制的音频文件的名字为 audio.wav 放置在 c:\myaudio\
# 然后我们用命令行对这个 audio.wav 进行pcm格式的转换然后得到 audio.pcm
# 命令是 :
ffmpeg -y -i audio.wav -acodec pcm_s16le -f s16le -ac 1 -ar 16000 audio.pcm
在录音文件所在目录下,执行上述命令,然后打开目录,就可以看到pcm文件了
好了,换个环境
以mac为例,配置环境变量
自行安装brew,然后导入ffmpeg
brew install ffmpeg
切换root用户
su root
成功切换至root用户后,添加ffmpeg至环境变量
vim /etc/profile
# 进入profile文件,将ffmpeg绝对路径添加至export中,如下:
export "PATH=/usr/local/mysql/bin:/anaconda3/bin:/usr/local/bin:/usr/bin:/bin:/usr/sbin:/sbin:/tools/unrar:/usr/local/Cellar/ffmpeg/4.0.2/bin/ffmpeg"
最后重启服务即可
source /etc/profile
接下来步骤同windows一样,找到目标文件,执行事先制定好的pcm文件命令即可得到我们需要的pcm文件
那么, pcm文件已经得到了,进入正题
百度语音识别SDK的应用:
asr函数需要四个参数,第四个参数可以忽略,自有默认值,参照一下这些参数是做什么的
# 第一个参数: speech 音频文件流 建立包含语音内容的Buffer对象, 语音文件的格式,pcm 或者 wav 或者 amr。(虽说支持这么多格式,但是只有pcm的支持是最好的)
# 第二个参数: format 文件的格式,包括pcm(不压缩)、wav、amr (虽说支持这么多格式,但是只有pcm的支持是最好的)
# 第三个参数: rate 音频文件采样率 如果使用刚刚的FFmpeg的命令转换的,你的pcm文件就是16000
# 第四个参数: dev_pid 音频文件语言id 默认1537(普通话 输入法模型)
最后再看看返回结果:
成功的dict中 result 就是我们要的识别文本
失败的dict中 err_no 就是我们要的错误编码,错误编码代表什么呢?
如果err_no不是0的话,就参照一下错误码表
到此百度AI语音部分的调用就结束了。
补充:mac环境中,自动执行mp3文件,要改用指令:os.system("open xueshuohua.mp3")
#!/usr/bin/env python
# -*- coding: utf-8 -*-
# @Time : 2018/08/27 15:31
# @Author : MJay_Lee
# @File : ai_xueshuohua.py
# @Contact : limengjiejj@hotmail.com
import os
from aip import AipSpeech
""" 你的 APPID AK SK """
APP_ID = '11721488'
API_KEY = 'RSs9MrcwhhdndG6vLHN9Q9dC'
SECRET_KEY = 'RpQwPMiPUYXYNOFb0bmFIHORNj4t6Nb0'
client = AipSpeech(APP_ID, API_KEY, SECRET_KEY)
# 自动化交互将自己说的音频内容转换为pcm文件
file_name = "audio"
cmd_str = f"ffmpeg -y -i {file_name}.m4a -acodec pcm_s16le -f s16le -ac 1 -ar 16000 {file_name}.pcm"
os.system(cmd_str)
# 读取文件
def get_file_content(filePath):
with open(filePath, 'rb') as fp:
return fp.read()
# 识别本地文件
res = client.asr(get_file_content('audio.pcm'), 'pcm', 16000, {
'dev_pid': 1536,
})
# 提取自己说的内容
text = res['result'][0]
# 合成ai的音频文件对象
speech = client.synthesis(text,'zh',1,{
'spd': 4,
'vol': 8,
'pit': 8,
'per': 4
})
# 创建ai的音频文件
with open("xueshuohua.mp3","wb") as f:
f.write(speech)
os.system("xueshuohua.mp3")
三、 Pyaudio实现录音 自动化交互问答
Python 很强大其原因就是因为它庞大的三方库 , 资源是非常的丰富 , 当然也不会缺少关于音频的库
关于音频, PyAudio 这个库, 可以实现开启麦克风录音, 可以播放音频文件等等,此刻我们不去了解其他的功能,只了解一下它如何实现录音的
首先
pip install pyaudio
1.Pyaudio实现麦克风录音
(补充flask理论先)
来源:oschina
链接:https://my.oschina.net/u/4341165/blog/3851460