使用Nginx代理S3时，需要禁用URL解码。

问题来源

使用Nginx代理S3时，无法创建新文件（读取和删除正常）。

用fuse挂载s3

使用 s3fs (V1.79) 挂载

s3fs ceph-s3 /mnt/ceph -o sigv2 -o use_path_request_style -o passwd_file=/etc/passwd-s3fs -o url=http://s3.biliops.com

无法新建文件

错误日志 /var/log/radosgw/radosgw-node-6.log http-403：

7fe690eba7c0  0 ceph version 9.2.0 (bb2ecea240f3a1d525bcb35670cb07bd1f0ca299), process radosgw, pid 2332333
7fe690eba7c0  0 framework: civetweb
7fe690eba7c0  0 framework conf key: port, val: 2333
7fe690eba7c0  0 starting handler: civetweb
7fe60adfb700  1 civetweb: 0x7fe5f80008c0: 192.168.168.168 - - [14/Jan/2016:23:22:33 +0800] "HEAD /ceph-s3/name HTTP/1.0" 404 0 - -
7fe609df9700  1 civetweb: 0x7fe5ec0008c0: 192.168.168.168 - - [14/Jan/2016:23:22:33 +0800] "HEAD /ceph-s3/name/ HTTP/1.0" 404 0 - -
7fe60a5fa700  1 civetweb: 0x7fe5f00008c0: 192.168.168.168 - - [14/Jan/2016:23:22:33 +0800] "HEAD /ceph-s3/name_$folder$ HTTP/1.0" 403 0 - -

问题跟踪

为提高存储可用性，在civetweb提供的服务前加了一层Nginx。
后端upsteam到多台civetweb节点。
ceph对应的radosgw配置 /etc/ceph/ceph.conf ：

[client.rgw.node-6]
  host = node-6
  keyring = /var/lib/ceph/radosgw/ceph-rgw.node-6/keyring
  rgw socket path = /tmp/radosgw-node-6.sock
  log file = /var/log/radosgw/radosgw-node-6.log
  rgw data = /var/lib/ceph/radosgw/ceph-rgw.node-6
  rgw print continue = false
  rgw frontends = civetweb port=2333

然而，直接挂载 civetweb 却能正常使用

s3fs ceph-s3 /mnt/ceph -o sigv2 -o use_path_request_style -o passwd_file=/etc/passwd-s3fs -o url=http://node-6.biliops.com:2333

定位问题

使用 tcpflow 抓包，对比 Nginx 代理前后请求内容的区别，发现：

使用Civetweb时，新建文件时有个URI是 HEAD /ceph-s3/name_%24folder%24 ；
使用Nginx代理后，对应的URI变成了 HEAD /ceph-s3/name_$folder$ 。

验证和解决

居然是Nginx在proxy_pass阶段对URI进行了解码，导致S3协议出错！

验证方法

Nginx配置 /etc/nginx/sites-enabled/01-proxypass.biliops.com，关键部分：

server {
	listen       80 backlog=65535;
	server_name  proxypass.biliops.com;
	location / {
		proxy_ignore_client_abort on;
		proxy_set_header Host echo.biliops.com;
		proxy_redirect off;
		proxy_http_version 1.1;
		proxy_set_header Connection "keep-alive";
		proxy_pass $schema://127.0.0.1:80/;
	}
}
server {
	listen       80;
	server_name  echo.biliops.com;
	location / {
		add_header request $request;
	}
}