Varnish 3.x 安装配置调优及理论知识

Varnish是一款高性能的开源HTTP加速器，挪威最大的在线报纸 Verdens Gang (http://www.vg.no) 使用3台Varnish代替了原来的12台squid，性能居然比以前更好。

Varnish 的作者Poul-Henning Kamp是FreeBSD的内核开发者之一，他认为现在的计算机比起1975年已经复杂许多。在1975年时，储存媒介只有两种：内存与硬盘。但现在计算机系统的内存除了主存外，还包括了cpu内的L1、L2，甚至有L3快取。硬盘上也有自己的快取装置，因此squid cache自行处理物件替换的架构不可能得知这些情况而做到最佳化，但操作系统可以得知这些情况，所以这部份的工作应该交给操作系统处理，这就是 Varnish cache设计架构。

具体安装方法

安装 CentOS 5.x 的Varnish RPM仓库

rpm --nosignature -i http://repo.varnish-cache.org/redhat/varnish-3.0/el5/noarch/varnish-release/varnish-release-3.0-1.el5.centos.noarch.rpm

安装 CentOS 6.x 的Varnish RPM仓库

rpm --nosignature -i http://repo.varnish-cache.org/redhat/varnish-3.0/el6/noarch/varnish-release/varnish-release-3.0-1.el6.noarch.rpm

然后执行安装完毕

yum install varnish

修改启动参数：

vim /etc/sysconfig/varnish

默认HTTP端口：6081

默认管理端口：6082

默认缓存模式为file：file,/var/lib/varnish/varnish_storage.bin,1G

共三种模式file, malloc, persistent

(1)file：使用特定的文件存储全部的缓存数据，并通过操作系统的mmap()系统调用将整个缓存文件映射至内存区域(如果条件允许)；

(2)malloc：使用malloc()库调用在varnish启动时向操作系统申请指定大小的内存空间以存储缓存对象；

(3)persistent(experimental)：与file的功能相同，但可以持久存储数据(即重启varnish数据时不会被清除)；仍处于测试期；

修改varnish配置文件

vim /etc/varnish/default.vcl

VCL配置

############定义健康状态检测###############
probe healthcheck {
.url = "/";			#定义健康检查的页面
.interval = 6s;		#探测请求的发送周期，默认为5秒；
.timeout = 1s;	#每次探测请求的过期时长
.window = 8;		#设定在判定后端主机健康状态时基于最近多少次的探测进行
.threshold = 3;		#在.window中指定的次数中，至少有多少次是成功的才判定后端主机正健康运行
.initial = 3;		#Varnish启动时对后端主机至少需要多少次的成功探测，默认同.threshold
}

############## app 服务器组及集群策略 ################
backend app01 {
.host = "192.168.0.5";
.port = "80";
.probe = healthcheck; #健康状态检测
}

backend app02 {
.host = "192.168.0.6";
.port = "80";
.probe = healthcheck; #健康状态检测
}


# 定义集群，调用服务器
director app random {	#定义一个名为webserver的directory，由app01,app02，使用random算法，处理静态请求
	{.backend = app01;.weight = 5;}	#设置权重为
	{.backend = app02;.weight = 5;}
}

############## img 服务器 ################

backend img {
.host = "192.168.0.1";
.port = "80";
}

#######################################

#purge的acl规则
acl purge {
	"localhost";
	"127.0.0.1";
}

#vcl_recv函数段
sub vcl_recv
{
	# varnish内部有一个grace模式。当后端不可用，或者已经向后端发过更新请求的情况下，别的客户再请求这个对象时，会收到已经过期的版本，当然过期的时间在可接受的范围内。
	# 在收到用户请求时指定可以接受过期对象的过期时间范围

	if (!req.backend.healthy) {
		set req.grace = 5m;
	} else {
		set req.grace = 15s;
	}

	#定义清除缓存IP，调用上面的Acl
	if (req.request == "PURGE") { #使用PURGE命令清除缓存
		if (!client.ip ~ purge) { #非ACl定义的IP，则不能清除缓存
			error 405 "Not allowed.";
		}
		return (lookup);
	}

	if (req.restarts == 0) {
		if (req.http.x-forwarded-for) {
			set req.http.X-Forwarded-For =
			req.http.X-Forwarded-For + ", " + client.ip;
		} else {
			set req.http.X-Forwarded-For = client.ip;
		}
	}

	# 不正常的访问不缓存
	if (req.request != "GET" &&
		req.request != "HEAD" &&
		req.request != "PUT" &&
		req.request != "POST" &&
		req.request != "TRACE" &&
		req.request != "OPTIONS" &&
		req.request != "DELETE") {
		/* Non-RFC2616 or CONNECT which is weird. */
		return (pipe);
	}

	# 对图片及压缩文件的 Accept-Encoding 统一化 提高命中率
	if (req.http.Accept-Encoding) {
		if (req.url ~ "\.(jpg|png|gif|gz|tgz|bz2|tbz|mp3|ogg)$") {
			# No point in compressing these
			unset req.http.Accept-Encoding;
		} elsif (req.http.Accept-Encoding ~ "gzip") {
			set req.http.Accept-Encoding = "gzip";
		} elsif (req.http.Accept-Encoding ~ "deflate") {
			set req.http.Accept-Encoding = "deflate";
		} else {
			# unknown algorithm
			unset req.http.Accept-Encoding;
		}
	}

	############# 自定义主机规则开始 ############

	if (req.url ~ "^http://") {
		set req.url = regsub(req.url, "http://[^/]*", "");
	}

	if (req.http.host ~ "^img.test.com")
	{
		# 删除COOKIE 提高命中
		# unset req.http.Cookie;

		set req.backend = img;
	}
	elseif (req.http.host ~ "^www.test.com")
	{
		set req.backend = app;
	}
	else
	{
		error 200 "Unknown virtual host";
	}

	# 扩展名为 php|cgi|asp|jsp|do|aspx 脚本的不缓存
	if (req.url ~ "\.(php|cgi|asp|jsp|do|aspx)($|\?)")
	{
		return (pass);
	}

	############# 自定义主机规则结束 ############

	# 不缓存GET或HEAD以外的请求
	if (req.request != "GET" && req.request != "HEAD") {
		return (pass);
	}

	# 不缓存验证信息和Cookie
	if (req.http.Authorization || req.http.Cookie) {
		return (pass);
	}

	# 所有缓存控制为 no-cache 的不缓存
	if (req.http.Cache-Control ~ "no-cache") {
		return (pass);
	}

	return (lookup);
}

sub vcl_hit
{
	if (req.request == "PURGE")
	{
		set obj.ttl = 0s;
		error 200 "Purged.";
	}

	return (deliver);
}

sub vcl_miss
{
	if (req.request == "PURGE")
	{
		error 404 "Not in cache.";
	}
}

sub vcl_fetch
{
	# 设定默认缓存时长
	set beresp.ttl = 300s; #超时时长为300秒 

	# 定义缓存时长
	if (req.url ~ "\.(css|js|html|htm|xsl|xml)$") {
		set beresp.ttl = 300s; #超时时长为300秒 
	}

	# 图片/视频/音频/文档/压缩文件 缓存时常
	if (req.url ~ "\.(png|pdf|ppt|doc|docx|chm|rar|zip|bmp|jpeg|swf|ico|mp3|mp4|rmvb|ogg|mov|avi|wmv|swf|txt|png|gif|jpg)$") {
		set beresp.http.Pragma = "cache";
		set beresp.http.Cache-Control = "max-age=31536000, public";
		set beresp.ttl = 365d;
	}

	# 如果后端状态为 404 则缓存 600s
	if(beresp.status == 400 && beresp.status == 403 && beresp.status == 404) {
		set beresp.ttl = 600s;
	}

	# 如果后端服务器出现 500/501/502/503/504 错误时进入神圣模式 saintmode
	if (beresp.status == 500 || beresp.status == 501 || beresp.status == 502 || beresp.status == 503 || beresp.status == 504) {
		set beresp.saintmode = 20s;
		return (restart);
	}

	# grace时长，减少高并发下的穿透和争抢，设置缓存对象过期后还可以保留的时间
	set beresp.grace = 5m;

	return (deliver);
}

# 交付页面
sub vcl_deliver
{
	if (obj.hits > 0)
	{
		set resp.http.X-Cache = "HIT";
	}
	else
	{
		set resp.http.X-Cache = "MISS";
	}
	#去掉 varnish 中的一些头信息(如果你不想保留的话,建议保留 Age,方便查看)
	unset resp.http.X-Varnish;
	unset resp.http.Via;
	return (deliver);
}

# 自定义错误页面信息
sub vcl_error {
	set obj.http.Content-Type = "text/html; charset=utf-8";
	synthetic {"
<?xml version="1.0" encoding="utf-8"?><!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Strict//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd">
<html>
	<head>
		<title>"} + obj.status + " " + obj.response + {"</title>
	</head>
	<body>
		<p style='font-family:Tahoma; font-size:14px;'>
		<b>Status</b>: "} + obj.status + {"<br>
		<b>Info</b>: "} + obj.response + {"<br>
		<b>XID</b>: "} + req.xid + {"<br></p>
	</body>
</html>
	"};
	return (deliver);
}

启动服务

Usage: /etc/init.d/varnish {start|stop|status|restart|condrestart|try-restart|reload|force-reload}