在https学习笔记二,已经弄清了数字证书的概念,组成和在https连接过程中,客户端是如何验证服务器端的证书的。这一章,主要介绍下如何使用openssl库来创建key file,以及生成root CA及签发子证书。学习主要参考官方文档:https://www.feistyduck.com/library/openssl-cookbook/online/ch-openssl.html#
一、openssl 简介
openssl 是目前最流行的 SSL 密码库工具,其提供了一个通用、健壮、功能完备的工具套件,用以支持SSL/TLS 协议的实现。官网:https://www.openssl.org/source/,其中有3个主要的用途:1、密码算法库(建立 RSA、DH、DSA key 参数,计算消息摘要,使用各种 Cipher加密/解密) 2、密钥和证书封装管理功能(建立 X.509 证书、证书签名请求(CSR)和CRLs(证书回收列表));3、SSL通信API接口(SSL/TLS 客户端以及服务器的测试,处理S/MIME 或者加密邮件)。
二、安装openssl(linux CentOS7 32位)
如果使用的是unix操作系统,可能安装系统的时候,这个库就已经有且存在了。但是在使用前,需要注意下当前openssl的库的版本。
openssl version OpenSSL 1.0.1 14 Mar 2012
因为版本1.0.1是一个很重要的风水岭版本。因为1.0.1是第一个支持TLS1.1和1.2的版本。支持新的协议。操作系统的选择也很重要,比如Ubuntu 12.04 LTS,客户端不支持SSL2。这里安装以CentOS7系统为例:
A、 下载openssl库文件:https://www.openssl.org/source/
B、将下载的压缩包放在根目录下,解压缩,进入解压缩文件(得到openssl-openssl-1.0.0文件夹)cd openssl-1.0.0
C、编译前配置openssl,执行命令:./config --prefix=/usr/local/openssl,其中 ( --prefix )参数为欲安装之目录,也就是安装后的档案会出现在该目录下。
D、编译openssl,执行命令: make install
小插曲:安装openssl报错1、问题描述:安装完成,查看版本信息的时候报错了,缺少一个库文件libssl.so.1.1。
[root@b6e4cbd27773 /usr/local/openssl/bin]# openssl version openssl: error while loading shared libraries: libssl.so.1.1: cannot open shared object file: No such file or directory2、解决方法:有依赖没装libssl。在/etc/ld.so.conf文件中写入openssl库文件的搜索路径,使用修改后的conf生效即可:
echo "/usr/local/lib64" >> /etc/ld.so.conf
ldconfig -v
三、使用openssl生成RSA密钥对
使用openssl的私钥产生公钥前,需要了解以下几点:
1、key算法:openssl 支持生成RSA,DSA,ECDSA的密钥对,但是RSA是目前使用最普遍的。
2、Key长度:RSA的2048是公认较比较安全的key长度。
3、密码(Passphrase):在key上使用密码是一个可选值,但是一般都是强烈建议的(官网这样写的,实际项目中很多都没有设置口令),这样每次使用key文件时,都需要输入这个密码才能使用,增强了其安全性,但是随之而来的易用性也会变差。
使用genrsa命令来生成RSA key( 产生DSA其他算法的key文件,可以直接参考学习官网教程,在此处以常用的为例),2步骤能完成:
A、生成私钥:
使用命令:openssl genrsa -aes128 -out fd.key 2048 。以下输入了为这个key值设置了密码,且密码使用aes128加密保存。
openssl genrsa -aes128 -out fd.key 2048 Generating RSA private key, 2048 bit long modulus ....+++ ...................................................................................+++ e is 65537 (0x10001) Enter pass phrase for fd.key: **************** Verifying - Enter pass phrase for fd.key: ****************
这个key文件就是私钥文件。可以查看下文件内容:
cat fd.key -----BEGIN RSA PRIVATE KEY----- Proc-Type: 4,ENCRYPTED DEK-Info: AES-128-CBC,01EC21976A463CE36E9DB59FF6AF689A vERmFJzsLeAEDqWdXX4rNwogJp+y95uTnw+bOjWRw1+O1qgGqxQXPtH3LWDUz1Ym mkpxmIwlSidVSUuUrrUzIL+V21EJ1W9iQ71SJoPOyzX7dYX5GCAwQm9Tsb40FhV/ [21 lines removed...] 4phGTprEnEwrffRnYrt7khQwrJhNsw6TTtthMhx/UCJdpQdaLW/TuylaJMWL1JRW i321s5me5ej6Pr4fGccNOe7lZK+563d7v5znAx+Wo1C+F7YgF+g8LOQ8emC+6AVV -----END RSA PRIVATE KEY-----
B、生成公钥:
使用命令:openssl rsa -in fd.key -pubout -out fd-public.key
openssl rsa -in fd.key -pubout -out fd-public.key Enter pass phrase for fd.key: ****************
查看这个key文件,就是公钥:
cat fd-public.key -----BEGIN PUBLIC KEY----- MIIBIjANBgkqhkiG9w0BAQEFAAOCAQ8AMIIBCgKCAQEAnlccwQ9FRyJYHM8sFNsY PUHJHJzhJdwcS7kBptutf/L6OvoEAzCVHi/m0qAA4QM5BziZgnvv+FNnE3sgE5pz iovEHJ3C959mNQmpvnedXwfcOIlbrNqdISJiP0js6mDCzYjSO1NCQoy3UpYwvwj7 0ryR1F+abARehlts/Xs/PtX3VamrljiJN6JNgFICy3ZvEhLZEKxR7oob7TnyZDrj IHxBbqPNzeiqLCFLFPGgJPa0cH8DdovBTesvu7wr/ecsf8CYyUCdEwGkZh9DKtdU HFa9H8tWW2mX6uwYeHCnf2HTw0E8vjtOb8oYQxlQxtL7dpFyMgrpPOoOVkZZW/P0 NQIDAQAB -----END PUBLIC KEY-----
四、获取权威机构颁发证书步骤
获取权威机构颁发的证书,需要先得到私钥的key文件(.key),然后使用私钥的key文件生成sign req 文件(.csr),最后把csr文件发给权威机构,等待权威机构认证,认证成功后,会返回证书文件(.crt)。
A:生成私钥key。
与第二节使用openssl生成RSA密钥对的步骤A一致。使用命令:openssl genrsa -aes128 -out fd.key 2048
B:私钥的key文件生成sign req 文件(.csr)
生成csr文件时,需要填写一些关于待签人或者公司的一些信息,比如国家名,省份名,组织机构名,主机名,email名,有些信息可以不填写,使用.标识。
使用命令:openssl req -new -key fd.key -out fd.csr。过程如下:
$ openssl req -new -key fd.key -out fd.csr Enter pass phrase for fd.key: **************** You are about to be asked to enter information that will be incorporated into your certificate request. What you are about to enter is what is called a Distinguished Name or a DN. There are quite a few fields but you can leave some blank For some fields there will be a default value, If you enter '.', the field will be left blank. ----- Country Name (2 letter code) [AU]:GB State or Province Name (full name) [Some-State]:. Locality Name (eg, city) []:London Organization Name (eg, company) [Internet Widgits Pty Ltd]:Feisty Duck Ltd Organizational Unit Name (eg, section) []: Common Name (e.g. server FQDN or YOUR name) []:www.feistyduck.com Email Address []:webmaster@feistyduck.com Please enter the following 'extra' attributes to be sent with your certificate request A challenge password []: An optional company name []:
C、把csr文件发给权威机构,等待权威机构认证,交费获取证书即可。
五、OpenSSL生成root CA及签发证书
有时候,使用SSL协议是自己内部服务器使用的,这时可以不必去找第三方权威的CA机构做证书,可以做自签证书(自己创建root CA(非权威))主要有以下三个步骤。
A:创建openssl.cnf在使用default-ca时需要使用的SSL的工作目录(第一次必须要设置)。
1、查看openssl的配置文件:
openssl version -a OpenSSL 1.0.1e-fips 17 Nov 2016 built on: Fri Nov 18 16:28:23 CST 2016 platform: linux-x86_64 options: bn(64,64) md2(int) rc4(16x,int) des(idx,cisc,16,int) idea(int) blowfish(idx) compiler: gcc -fPIC -DOPENSSL_PIC -DZLIB -DOPENSSL_THREADS -D_REENTRANT -DDSO_DLFCN -DHAVE_DLFCN_H -DKRB5_MIT -m64 -DL_ENDIAN -DTERMIO -Wall -O2 -g -pipe -Wall -Wp,-D_FORTIFY_SOURCE=2 -fexceptions -fstack-protector --param=ssp-buffer-size=4 -m64 -mtune=generic -Wa,--noexecstack -DPURIFY -DOPENSSL_IA32_SSE2 -DOPENSSL_BN_ASM_MONT -DOPENSSL_BN_ASM_MONT5 -DOPENSSL_BN_ASM_GF2m -DSHA1_ASM -DSHA256_ASM -DSHA512_ASM -DMD5_ASM -DAES_ASM -DVPAES_ASM -DBSAES_ASM -DWHIRLPOOL_ASM -DGHASH_ASM OPENSSLDIR: "/etc/pki/tls" engines: rdrand dynamic
2、找到OPENSSLDIR: "/etc/pki/tls"的配置文件openssl.cnf
根据配置文件下的[ CA_default ]节点默认值,创建对应文件夹和文件。
按顺序在/etc/pki/CA下执行以下命令创建文件夹和文件:
其中,certs:存放已颁发的证书;newcerts:存放CA指令生成的新证书;private:存放私钥;crl:存放已吊销的整数;index.txt:penSSL定义的已签发证书的文本数据库文件,这个文件通常在初始化的时候是空的;serial:证书签发时使用的序列号参考文件,该文件的序列号是以16进制格式进行存放的,该文件必须提供并且包含一个有效的序列号。
执行完后,当前目录为:
[tt@SWEBMYVMM000210 /etc/pki/CA]$ll total 20 drwxrwxrwx 2 root root 4096 Mar 12 11:08 certs drwxrwxrwx 2 root root 4096 Nov 18 2016 crl -rwxrwxrwx 1 root root 0 Mar 12 11:06 index.txt drwxrwxrwx 2 root root 4096 Nov 18 2016 newcerts drwxrwxrwx 2 root root 4096 Nov 18 2016 private -rwxrwxrwx 1 root root 33 Mar 12 11:12 serial
小插曲:使用自签证书签名用户证书时报错,文件不存在 1、问题描述: openssl ca -in server.csr -out server.crt -cert ca.crt -keyfile ca.key Using configuration from /etc/pki/tls/openssl.cnf /etc/pki/CA/serial: No such file or directory
139996157081440:error:02001002:system library:fopen:No such file or directory:bss_file.c:398:fopen('/etc/pki/CA/serial','r')
139996157081440:error:20074002:BIO routines:FILE_CTRL:system lib:bss_file.c:400:
2、问题解决: 如果不设置工作目录,后续第三步的最后一小步,使用openssl的ca命令产生用户的ca证书时会报错,创建openssl.cnf在使用default-ca时需要使用的SSL的工作目录即可。
B:生成CA根证书(root ca证书)。
步骤:生成CA私钥(.key)-->生成CA证书请求(.csr)-->自签名得到根证书(.crt)(CA给自已颁发的证书)。
# Generate CA private key --->ca.key
openssl genrsa -out ca.key 2048
# Generate CSR --->ca.csr
openssl req -new -key ca.key -out ca.csr
# Generate Self Signed certificate(CA 根证书) ---> ca.crt
openssl x509 -req -days 365 -in ca.csr -signkey ca.key -out ca.crt
小插曲:直接根据key文件获取CA根证书的命令方法:在得到key文件后,执行以下命令: openssl req -new -x509 -days 365 -key fd.key -out fd.crt 如果不想填写那些注册信息,执行以下命令: openssl req -new -x509 -days 365 -key fd.key -out fd.crt subj "/C=GB/L=London/O=Feisty Duck Ltd/CN=www.feistyduck.com
C:用自签根证书 ca.crt 给用户证书签名。
步骤:生成私钥(.key)-->生成证书请求(.csr)-->用CA根证书签名得到证书(.crt)
# private key --->server.keyopenssl genrsa -out server.key 1024
# generate csr --->server.csropenssl req -new -key server.key -out server.csr
# generate certificate --->server.crt
openssl ca -in server.csr -out server.crt -cert ca.crt -keyfile ca.key
小插曲:用CA根证书签名时报错,The mandatory stateOrProvinceName field was missing 1、问题描述: sudo openssl ca -in server.csr -out server.crt -cert ca.crt -keyfile ca.key Using configuration from /etc/pki/tls/openssl.cnf Check that the request matches the signature Signature ok The mandatory stateOrProvinceName field was missing 2、出现原因:openssl.cnf中CA policy有三个match,必须要填一样的,或者改成optional3、解决方法:修改配置文件,修改后为:
# For the CA policy
[ policy_match ]
countryName = optional
stateOrProvinceName = optional
organizationName = optional
organizationalUnitName = optional
commonName = supplied
emailAddress = optional
D:证书的简单使用。
把server.crt以及server.key保存在服务器端等待程序加载使用;把ca.key保存在客户端,如果客户端需要验证服务器端发的证书时使用。
六、遇到过的问题小结
问题1: 对服务器发送https请求失败,连上服务器之后,服务器返回为空。
需求:测试桩实现转发功能,可以按需求处理数据,或者把数据转发给真实的目标环境处理,实现透传转发数据功能,现需要向目标url:https://10.202.2.222:12336/preSvr转发数据。
测试后台服务器写的测试桩,更多的是写服务器端接收处理数据,因为现在桩需要实现透传功能,所以桩是客户端也是服务器端,于是引入了以前测试时使用的客户端,代码如下:
class HttpsClient(object): def __init__(self, target_ip, target_port,pem_path): self.ip = target_ip self.port = target_port self.pem_path = pem_path self.ssl_content =self.get_pem(self.pem_path) def get_pem(self,pem_path): ''' :return: 获取content_ssl ''' context = ssl.SSLContext(ssl.PROTOCOL_TLSv1) context.set_default_verify_paths() context.verify_mode = ssl.CERT_NONE # context.load_verify_locations(self.pem_path) context.load_verify_locations('C:/Users/Administrator/PycharmProjects/untitled/test/loleina/ca.pem') return context def https_send(self,data,timeout=30): ''' ''' package = self.__socket_send_recive( self.ssl_content ,data) return package # return self.__parse_response(package) def __socket_send_recive(self,ssl_content, data,timeout=30): ''' :param request: 需要发送的内容 :param type: 请求类型,https type=1 http type=0 :param timeout: 请求超时时间 :return: 收到的响应内容 ''' sock = socket.socket(socket.AF_INET, socket.SOCK_STREAM) sock.settimeout(timeout) connect_sock = ssl_content.wrap_socket(sock) connect_sock.connect((self.ip,int(self.port))) connect_sock.send(data) BUFLEN = 1024 package = '' while True: buf = connect_sock.recv(BUFLEN) package += buf # chunked if package.find('Transfer-Encoding: chunked') > 0: #print 'chunked' ls = package.strip().split('\r\n'); if ls[-1].strip() == '0': break; else: head, body, blength = self.__analyze_package(package); # 如果没有分解出head部分,说明返回的不是标准的http协议 if head is None: print 'header is None' if len(buf) < BUFLEN: break; # 100-continue elif head.find('Expect: 100-continue') > 0: print 'Expect: 100-continue' if len(body) >= blength: package = package.replace('Expect: 100-continue\r\n', ''); break; else: if len(buf) < BUFLEN: connect_sock.send('HTTP/1.1 100 Continue\r\n\r\n') else: pass; else: # 如果head中没有content-length, if blength == -1: if len(buf) < BUFLEN: break; else: if len(body) >= blength: break; return package def __analyze_package(self, package): ''' :param package: 收到的socket响应包 :return: 按照http协议解析出来的(head,body,body长度字段) ''' idx = package.find('\r\n\r\n'); # 如果没有发现分隔行,返回None if idx < 0: return (None, None, None); head = package[:idx]; body = package[idx + 4:]; blength = -1; # 分析body长度 for ln in head.split('\r\n'): if ln.find('Content-Length') == 0: blength = ln.replace('Content-Length:', '').strip(); break; return (head, body, int(blength))
调用后,就一直收不到真实环境的返回,抓包分析发现3次握手能建立,但是之后服务器端就断开了与客户端的连接。后面换了一个httplib库, httplib.HTTPSConnection获取httpClient后,调用 httpClient.request(method='POST', url=url.path, body=params, headers=headers)调用成功。对比了下2次调用的不同点,更多的不同在发包的时候request有写出资源路径/preSvr,而之前的没写。下面是关键代码段:
url = urlparse(url_str) httpClient = httplib.HTTPSConnection(url.hostname + ':' + str(url.port)) httpClient.host = url.hostname httpClient.port = url.port httpClient.key_file = '' httpClient.cert_file = '' sock = socket.create_connection((httpClient.host, httpClient.port)) httpClient.sock = ssl.wrap_socket(sock, httpClient.key_file, httpClient.cert_file,ssl_version=ssl.PROTOCOL_TLSv1_2) httpClient.request(method='POST', url=url.path, body=params, headers=headers) response = httpClient.getresponse().read()
问题2:服务器端返回报文乱码。双方约定好的编码格式就是utf-8,服务器端都正常返回了,客户端收到的数据就是乱码....
当时尝试了各种转码的方法一直都有问题,后面带着问题百度查了下尝试从其他角度来分析问题,后面果然问题是服务器端返回的数据是压缩的,客户端接收到数据后需要解压。
compressedstream = StringIO.StringIO(returnData) gziper = gzip.GzipFile(fileobj=compressedstream) returnData = gziper.read()
而之所以返回压缩格式是因为请求包的头文件里有设置Accept-Encoding: deflate, gzip,这条信息代表本地可以接收压缩格式的数据,而服务器在处理时就将大文件压缩再发回客户端。
来源:https://www.cnblogs.com/loleina/p/8418111.html