squid配置

1.缓存概述 ​ 缓存是分布式系统中的重要组件，主要解决高并发，大数据场景下，热点数据访问的性能问题。提供高性能的数据快速访问。 1.1.缓存的原理 将数据写入/读取速度更快的存储（设备）； 将数据缓存到离应用最近的位置； 将数据缓存到离用户最近的位置; 1.2.缓存分类 在分布式系统中，缓存的应用非常广泛，从部署角度有以下几个方面的缓存应用： - CDN缓存； - 反向代理缓存； - 分布式Cache； - 本地应用缓存； 1.3.缓存媒介 常用中间件：Varnish，Ngnix，Squid，Memcache，Redis，Ehcache等； 缓存的内容：文件，数据，对象； 缓存的介质：CPU，内存（本地，分布式），磁盘（本地，分布式） 1.4.缓存设计 缓存设计需要解决以下几个问题： 1>缓存什么？哪些数据需要缓存：1.热点数据；2.静态资源。 2>缓存的位置？CDN，反向代理，分布式缓存服务器，本机（内存，硬盘） 3>如何缓存的问题？ - 过期策略 - 固定时间：比如指定缓存的时间是30分钟； - 相对时间：比如最近10分钟内没有访问的数据； - 同步机制 - 实时写入；（推） - 异步刷新；（推拉） 2.CDN缓存 ​ CDN主要解决将数据缓存到离用户最近的位置，一般缓存静态资源文件（页面，脚本，图片，视频，文件等）。国内网络异常复杂，跨运营商的网络访问会很慢

一、缓存概述 缓存是分布式系统中的重要组件，主要解决高并发，大数据场景下，热点数据访问的性能问题。提供高性能的数据快速访问。 1.1缓存的原理 （1） 将数据写入/读取速度更快的存储（设备）； （2） 将数据缓存到离应用最近的位置； （3） 将数据缓存到离用户最近的位置。 1.2缓存分类 在分布式系统中，缓存的应用非常广泛，从部署角度有以下几个方面的缓存应用。 （1） CDN缓存； （2） 反向代理缓存； （3） 分布式Cache； （4） 本地应用缓存； 1.3缓存媒介 常用中间件：Varnish，Ngnix，Squid，Memcache，Redis，Ehcache等； 缓存的内容：文件，数据，对象； 缓存的介质：CPU，内存（本地，分布式），磁盘（本地，分布式） 1.3缓存设计 缓存设计需要解决以下几个问题： （1） 缓存什么？ 哪些数据需要缓存：1.热点数据；2.静态资源； （2） 缓存的位置？ CDN，反向代理，分布式缓存服务器，本机（内存，硬盘） （3） 如何缓存的问题？ 过期策略 1.固定时间：比如指定缓存的时间是30分钟； 2.相对时间：比如最近10分钟内没有访问的数据； 同步机制 实时写入；（推） 异步刷新；（推拉） 二、CDN缓存 CDN主要解决将数据缓存到离用户最近的位置，一般缓存静态资源文件（页面，脚本，图片，视频，文件等）。国内网络异常复杂

更改squid错误页面时间不对的问题 解压源码包，进入此路径/usr/local/squid/share/errors/zh-cn（需要更改该目录下的所有文件find -type f |xargs sed -i 's#%T#%t#g'），编辑ERR_ACCESS_DENIED文件 Squid命令常用参数 /usr/local/squid/sbin/squid #启动squid /usr/local/squid/sbin/squid -k shutdown #停止squid /usr/local/squid/sbin/squid -z #初始化缓存空间 /usr/local/squid/sbin/squid -k reconfigure #重新载入配置文件 /usr/local/squid/sbin/squid -k rotate #轮循日志 /usr/local/squid/sbin/squid -k parse #检查语法 Squid的ACL元素，语法定义规则 acl aclname Acl_Type “string”|“file” Acl_Type为关键字，可以是（src、dst、proto、port、srcdomain、dstdomain、url_regex、urlpath_regex、maxconn、method、time） Acl_Type 说明： src：源地址 dst

squid常用命令： /usr/local/squid/sbin/squid -z 初始化缓存空间 /usr/local/squid/sbin/squid 启动 /usr/local/squid/sbin/squid -k shutdown 停止 /usr/local/squid/sbin/squid -k reconfigure 重新载入配置文件 /usr/local/squid/sbin/squid -k rotate 轮循日志 1，初始化你在 squid.conf 里配置的 cache 目录 #squid/sbin/squid -z //第一次启动squid服务时必须输入此命令 如果有错误提示，请检查你的 cache目录的权限。 2，对你的squid.conf 排错 ，即验证 squid.conf 的 语法和配置。 #squid/sbin/squid -k parse 如果squid.conf 有语法或配置错误，这里会返回提示你，如果没有返回，恭喜，可以尝试启动squid。 3，在前台启动squid，并输出启动过程。 #squid/sbin/squid -N -d1 如果有到 ready to server reques，恭喜，启动成功。 然后 ctrl + c，停止squid，并以后台运行的方式启动它。 4，启动squid在后台运行。 #squid/sbin/squid

squid代理分为两种方式： 一、正向代理（用于企业办公环境，员工上网需要通过squid代理上网） 客户端发送请求到代理服务器，代理服务器去向真实服务器请求结果，并将结果返回给客户端。 二、反向代理（常用于网站静态项（图片、html、流媒体、js、css等）缓存服务器） 客户端发送请求，代理服务器从缓存中找结果返回，或向服务器请求到结果缓存一份以便下次使用，并将结果返回给客户端。 正向代理 1.安装squid服务 #yum install squid -y 2.查看版本 #squid -v 3.配置squid #cp /etc/squid/squid.conf /etc/squid/squid.conf.bak vim /etc/squid/squid.conf 参考文档说明：https://blog.csdn.net/gengoo/article/details/5158238 #监听端口 http_port 3128 acl manager proto cache_object （重点说明：该类型指URI访问（或传输）协议。有效值：http, https (same as HTTP/TLS), ftp, gopher, urn, whois, 和cache_object。cache_object机制是squid的特性。它用于访问squid的缓存管理接口。默认的squid

其实之前配过一个squid，只是由于太懒，网上随便搜了一个教程，用了默认端口并且没有添加用户认证。某天不幸的被爬虫扫到，被用来发了半个月的垃圾邮件。。直到有一天登录邮箱，看到了一大坨警告邮件，才意识到问题的严重。惊了个呆之后，赶紧重配一遍-.- 我这里是用squid配置了一个带用户认证的普通代理。 安装 安装过程十分简便，只需要安装一下squid，一条命令搞定。我这里装的是squid3.3。 yum install squid rpm -qa | grep squid squid-3.3.8-12.el7_0.x86_64 配置 修改squid的配置文件 /etc/squid/squid.conf 主要就是配置一下端口，缓存，日志和访问规则。 http_port 3712 cache_mem 64 MB maximum_object_size 4 MB cache_dir ufs /var/spool/squid 100 16 256 access_log /var/log/squid/access.log http_access allow all visible_hostname squid.chao 初始化 在第一次启动之前或者修改了cache路径之后，需要重新初始化cache目录。 squid -z 启动 systemctl start squid 使用

其实之前配过一个squid，只是由于太懒，网上随便搜了一个教程，用了默认端口并且没有添加用户认证。某天不幸的被爬虫扫到，被用来发了半个月的垃圾邮件。。直到有一天登录邮箱，看到了一大坨警告邮件，才意识到问题的严重。惊了个呆之后，赶紧重配一遍-.- 我这里是用squid配置了一个带用户认证的普通代理。 安装 安装过程十分简便，只需要安装一下squid，一条命令搞定。我这里装的是squid3.3。 yum install squid rpm -qa | grep squid squid-3.3.8-12.el7_0.x86_64 配置 修改squid的配置文件 /etc/squid/squid.conf 主要就是配置一下端口，缓存，日志和访问规则。 http_port 3712 cache_mem 64 MB maximum_object_size 4 MB cache_dir ufs /var/spool/squid 100 16 256 access_log /var/log/squid/access.log http_access allow all visible_hostname squid.chao 初始化 在第一次启动之前或者修改了cache路径之后，需要重新初始化cache目录。 squid -z 启动 systemctl start squid 使用

透明代理提供的服务功能与传统代理时一致的，但是其“透明”的实现依赖于默认路由和防火墙的重定向策略，因此更适用于局域网主机服务，而不适合Internet中。 项目大概流程如下： 在Linux网关上，构建squid为客户机访问Internet提供代理服务。 在局域网所有的客户机上，只需有正确的IP地址、默认网关和DNS，不需要手动指定代理服务器的地址、端口等信息（若指定了反而易出错）。关于客户机的DNS解析工作，最好还是通过正常的DNS服务器来提供，不建议抛给代理服务器来处理。 开始配置透明代理服务器： squid服务的安装及传统代理的实施过程请参考博文： https://blog.51cto.com/14227204/2432301 配置squid支持透明代理： [root@localhost /]# vim /etc/squid.conf .................. http_port 192.168.1.1:3128 transparent #只在其中一个IP地址上提供服务，并支持透明模式 cache_effective_user squid cache_effective_group squid ...................... [root@localhost ~]# systemctl restart squid [root@localhost ~]#

squid 作为一款服务器代理工具，可以缓存网页对象，减少重复请求，从而达到加快网页访问速度，隐藏客户机真实IP，更为安全。 squid的工作机制： 当我们客户机通过squid代理去访问web页面时，指定的代理服务器会先检查自己的缓存，若是缓存中有我们客户机需要的页面，那么squid服务器将直接把缓存中的页面内容返回给客户机，如果缓存中没有客户端请求的页面，那么squid代理服务器就会向internet发送访问请求，获得返回的web页面后，将网页的数据保存到缓存中并发送给客户机。 由于客户机的web访问请求实际上是squid代理服务器来代替完成的，所以隐藏了用户的真实IP地址，从而起到一定的保护作用。 另一方面，squid也可以针对要访问的目标、客户机的地址、访问的时间段进行过滤控制。 根据实现的方式不同，基本可以分为传统代理和透明代理两种方式： 传统代理：也就是普通的代理服务，需要我们客户端在浏览器、聊天工具等一些程序中设置代理服务器的地址和端口，然后才能使用代理来访问网络，这种方式相比较而言比较麻烦，因为客户机还需手动指定代理服务器，所以一般用于Internet环境。 透明代理：与传统代理实现的功能是一样的，区别在于客户机不需要手动指定代理服务器的地址和端口，而是通过默认路由、防火墙策略将web访问重定向，实际上仍然交给代理服务器来处理

squid 作为一款服务器代理工具，可以缓存网页对象，减少重复请求，从而达到加快网页访问速度，隐藏客户机真实IP，更为安全。 squid的工作机制： 当我们客户机通过squid代理去访问web页面时，指定的代理服务器会先检查自己的缓存，若是缓存中有我们客户机需要的页面，那么squid服务器将直接把缓存中的页面内容返回给客户机，如果缓存中没有客户端请求的页面，那么squid代理服务器就会向internet发送访问请求，获得返回的web页面后，将网页的数据保存到缓存中并发送给客户机。 由于客户机的web访问请求实际上是squid代理服务器来代替完成的，所以隐藏了用户的真实IP地址，从而起到一定的保护作用。 另一方面，squid也可以针对要访问的目标、客户机的地址、访问的时间段进行过滤控制。 根据实现的方式不同，基本可以分为传统代理和透明代理两种方式： 传统代理：也就是普通的代理服务，需要我们客户端在浏览器、聊天工具等一些程序中设置代理服务器的地址和端口，然后才能使用代理来访问网络，这种方式相比较而言比较麻烦，因为客户机还需手动指定代理服务器，所以一般用于Internet环境。 透明代理：与传统代理实现的功能是一样的，区别在于客户机不需要手动指定代理服务器的地址和端口，而是通过默认路由、防火墙策略将web访问重定向，实际上仍然交给代理服务器来处理