cdn技术

先说结论：没经过技术运营团队评估，千万别随便搞促销活动。哪怕是靠公众号引流的一些小型促销活动，也可能引起网络流量暴涨，导致故障。 一、十点钟流量暴涨 有人说今天在搞活动，在抢购一个某某理财产品。赶紧找人了解入口url，火狐F12分析了下，发现有600多KB的js文件，如下： 这个域名没启用CDN，脚本查了下，再次验证了前面F12的数据，源站流量主要是被几个大js文件吃光了。 二、准备启用CDN 经分析，后端为php，已经做了动静分离，静态资源在一个项目，动态资源在另外一个项目，用的同一个域名。 只需对静态资源启动CDN，不能缓存动态接口，缓存策略如下： 第二天十点再观察，源站流量大幅下降，CDN挡住了绝大部分流量： 缓存命中率也在95%以上。 来源： 51CTO 作者： weikle 链接： https://blog.51cto.com/weikle/2334845

转自：https://yq.aliyun.com/articles/58967?spm=5176.100244.teamconlist.8.pxqewG 摘要： 移动互联网时代，如何优化你的网络 —— 域名解析篇 阿里云 移动服务 泠茗 域名(Domain Name)，是由一串用点分隔的名字组成的互联网上某台计算机或某组计算机的标识，它的目的是为了方便人们更简单便捷地访问互联网上的服务。在实际的系统实现中，域名通过DNS（Domain Nam 移动互联网时代，如何优化你的网络 —— 域名解析篇 阿里云 移动服务 泠茗 域名(Domain Name)，是由一串用点分隔的名字组成的互联网上某台计算机或某组计算机的标识，它的目的是为了方便人们更简单便捷地访问互联网上的服务。在实际的系统实现中，域名通过DNS（Domain Name System）系统转化为服务器的IP地址，以方便机器通过IP进行寻址和通信。上述行为，我们称之为域名解析。 作为一次网络通信最前置的环节，域名解析的重要性不言而喻。在传统的基于浏览器的网站访问场景下，域名解析环节由浏览器内核实现，网站开发者无需关心域名解析的细节。But there are always two sides to every coin，一旦域名解析环节发生异常，开发者面对这样的黑盒架构就会显得束手无策，一个很典型的例子即域名劫持问题

在天猫双11活动中，商品详情、店铺等浏览型系统，通常会承受超出日常数倍甚至数十倍的流量冲击。随着历年来双11流量的大幅增加，每年这些浏览型系统都要面临容量评估、硬件扩容、性能优化等各类技术挑战。因此，架构方面的重点在于，如何能够利用合理成本应对瞬间飙高的峰值请求，并确保活动完整周期中系统容量的可伸缩性、用户响应时间的稳定性，以及外部依赖系统出现问题时的高可用性。此外，作为最主要的页面流量承载体系，架构方面还需考虑防爬攻击、流控容灾等安全、稳定的需求，并综合衡量网络带宽、硬件成本、缓存效率等各方面要素，找准平衡点，从而达到以不变应万变的理想效果。 演进 为此，自2011年起，以天猫商品详情系统为代表，天猫浏览型系统在架构上的主要工作之一就是通过静态化技术实现了动静态信息分离、利用缓存技术存放静态化内容、利用少量动态数据异步加载填充。整个过程历经单机静态化、统一缓存接入，到2013年双11前彻底CDN化三个阶段（如图1所示），有效解决了缓存命中率、流量自然分布、系统扩容简化、用户端响应速度等关键问题。 图1 CDN化的三个阶段 目前，天猫浏览型系统最新使用的这套基于CDN的静态化架构，可以满足高可用持续伸缩的原始预期，并包含如下特性。 动静分离：HTML静态化和热点分离。 分布式缓存体系：利用CDN节点分布式缓存。 多级缓存机制：CDN两级+应用一级。 统一服务静态化集群。 一致性维持

日前，国际权威调研机构IDC发布《中国内容分发网络服务市场份额，2018》（下称“报告”）。报告指出，2018年中国CDN市场规模达25.2亿美元，同比增长31.6%，依然处于快速发展期。 其中，白山云科技（下称 “ 白山”）凭借领先的技术优势、过硬的服务品质和良好的市场表现，与网宿、阿里云、腾讯云、百度云等企业一同入选，位列前五。 此次入选， 再次印证了白山“专业CDN服务提供商第二”的市场地位。通过持续不断的创新，白山已形成多项优势核心技术。如四维流量调度技术，依托大数据和人工智能技术，结合深度学习算法，创新性实现事前调度。从传统二维调整为基于地理位置、访问质量、节点成本和节点容量的秒级四维调度。系统自动化实时调配资源，精细化运营，促进客户业务持续健康发展。目前，白山在全球已拥有400+高质量节点，CDN运营平台日处理用户总请求数超3000亿次，峰值每秒处理用户总请求数超700万次，为全球互联网用户提供高速、稳定、便捷的网络体验。 正如IDC中国公有云服务研究经理诸葛兰所言：“未来几年，CDN厂商需要把握住5G商用和边缘计算发展带来的业务增长机会，为企业提供真正有价值的增值服务，助力自身从竞争中胜出。”5G时代，CDN正逐步演进为集内容分发、计算能力、云安全防御能力于一体的智能计算应用网络。在这一大趋势下，白山提前布局云分发、云安全、数据应用集成三大领域，服务覆盖数据传输、存储

多级缓存的分层架构 前言 在互联网高速发展的今天，缓存技术被广泛地应用。无论业内还是业外，只要是提到性能问题，大家都会脱口而出“用缓存解决”。 这种说法带有片面性，甚至是一知半解，但是作为专业人士的我们，需要对缓存有更深、更广的了解。 缓存技术存在于应用场景的方方面面。从浏览器请求，到反向代理服务器，从进程内缓存到分布式缓存。其中缓存策略，算法也是层出不穷，今天就带大家走进缓存。 正文 缓存对于每个开发者来说是相当熟悉了，为了提高程序的性能我们会去加缓存，但是在什么地方加缓存，如何加缓存呢？ 假设一个网站，需要提高性能，缓存可以放在浏览器，可以放在反向代理服务器，还可以放在应用程序进程内，同时可以放在分布式缓存系统中。 从用户请求数据到数据返回，数据经过了浏览器，CDN，代理服务器，应用服务器，以及数据库各个环节。每个环节都可以运用缓存技术。 从浏览器/客户端开始请求数据，通过 HTTP 配合 CDN 获取数据的变更情况，到达代理服务器（Nginx）可以通过反向代理获取静态资源。 再往下来到应用服务器可以通过进程内（堆内）缓存，分布式缓存等递进的方式获取数据。如果以上所有缓存都没有命中数据，才会回源到数据库。 缓存的请求顺序是：用户请求 → HTTP 缓存 → CDN 缓存 → 代理服务器缓存 → 进程内缓存 → 分布式缓存 → 数据库。 看来在技术的架构每个环节都可以加入缓存

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。 本文链接：https://blog.csdn.net/sanyaoxu_2/article/details/78992113 1.应用和静态资源分离 刚开始的时候应用和静态资源是保存在一起的，当并发量达到一定程度的时候就需要将静态资源保存到专门的服务器中，静态资源主要包括图片、视频、js、css和一些资源文件等，这些文件因为没有状态所以分离比较简单，直接存放到响应的服务器就可以了，一般会使用专门的域名去访问。 通过不同的域名可以让浏览器直接访问资源服务器而不需要再访问应用服务器了。架构图如下： 2.页面缓存 页面缓存是将应用生成的页面缓存起来，这样就不需要每次都生成页面了，从而可以节省大量的CPU资源，如果将缓存的页面放到内存中速度就更快了。如果使用Nginx服务器就可以使用它自带的缓存功能，当然也可以使用专门的Squid 服务器。页面缓存的默认失效机制一班都是按缓存时间处理的，当然也可以在修改数据之后手动让相应的缓存失效。 页面缓存主要是使用在数据很少发生变化的页面，但是很多页面是大部分数据都很少发生变化，而其中很少一部分数据变化频率却非常高，比如说一个显示文章的页面，正常来说完全可以静态化，但是如果文章后面有“顶”和“踩”的功能而且显示的有响应的数量

CDN是网站加速，可以服务器负载能力过低，带宽过少等带来的网站打开速度慢等问题。一个网站的服务器性能比较差，负载能力有限，优势面临突发流量，招架不住，直接导致服务器奔溃，网站打不开。高防服务器主要是指独立单个硬防防御50G以上的服务器，可为单个客户提供安全维护，总的来说是属于服务器的一种。根据各个IDC机房的环境不同，有提供硬防或者软防。 高防cdn是通过在现有的Internet中增加一层新的网络架构，将网站的内容发布到最接近用户的网络"边缘"，使用户可以就近取得所需的内容，解决Internet网络拥挤的状况以及被同行DDOS攻击的困扰，提高用户访问网站的响应速度。从技术上全面解决由于网络带宽小、用户访问量大、节点分流不均等原因所造成的用户访问网站响应速度慢的问题。 高防服务器的防御方式，高防服务器采用单机防御或者集群防御，攻击直接打在源服务器上的。攻击可能会导致服务器的带宽 CPU 内存使用率跑到100%，甚至可能直接影响到源站，导致卡死或者网站打不开和访问不了等问题。 CDN的防御方式，CDN采用多节点分布，能解决各地区不同网络用户访问速度，解决并发量减轻网站服务器的压力，并且隐藏源站ip，从而让攻击者找不到源站ip,无法直接攻击到源服务器，使攻击打到CDN的节点上。 CDN每个节点都是单机防御，每个节点都有套餐防御的对应防御，除非是攻击超过套餐防御，不然网站是不会受到影响

CDN网络架构主要由两大部分，分为中心和边缘两部分，中心指CDN网管中心和DNS重定向解析中心，负责全局负载均衡，设备系统安装在管理中心机房，边缘主要指异地节点，CDN分发的载体，主要由Cache和负载均衡器等组成。 当用户访问加入CDN服务的网站时，域名解析请求将最终交给全局负载均衡DNS进行处理。全局负载均衡DNS通过一组预先定义好的策略，将当时最接近用户的节点地址提供给用户，使用户能够得到快速的服务。同时，它还与分布在世界各地的所有CDNC节点保持通信，搜集各节点的通信状态，确保不将用户的请求分配到不可用的CDN节点上，实际上是通过DNS做全局负载均衡。 对于普通的Internet用户来讲，每个CDN节点就相当于一个放置在它周围的WEB。通过全局负载均衡DNS的控制，用户的请求被透明地指向离他最近的节点，节点中CDN服务器会像网站的原始服务器一样，响应用户的请求。由于它离用户更近，因而响应时间必然更快。 每个CDN节点由两部分组成：负载均衡设备和高速缓存服务器 负载均衡设备负责每个节点中各个Cache的负载均衡，保证节点的工作效率；同时，负载均衡设备还负责收集节点与周围环境的信息，保持与全局负载DNS的通信，实现整个系统的负载均衡。 高速缓存服务器（Cache）负责存储客户网站的大量信息，就像一个靠近用户的网站服务器一样响应本地用户的访问请求。

随着直播行业的兴起，各种直播应用、平台和产品万花齐放，直播场景也越来越多元化，这就对视频技术的发展提出了“日新月异”的需求。那么，CDN技术是如何在直播上的应用的？。 ①直播平台突发性的流量增长成为常态，短时间内如何扩容扛过流量高峰，成为各大网络直播平台必须正视的问题。尤其是在移动直播领域，无线网络和移动宽带在稳定性方面无法与固定宽带比拟，CDN及云服务商的技术支持已经成为当下直播平台在内容传播层面最重要的保障，同时也为其拓展业务形态保驾护航。 ②直播对网络的要求十分高，一有问题就会出现卡顿、花屏或者掉线。而CDN作为内容分发网络，借助负载均衡系统将内容推送到接近用户的边缘节点，使得用户就近取得资源无疑大大增加了用户的访问速度以及访问的稳定性，这与直播的要求十分契合。 来源： https://my.oschina.net/u/4143265/blog/3103994

直播是一种新的通信方式，直播的优点是可以带来大量用户访问，在眼球就是财富的今天无疑会带来可观的收入。然而,在大的机遇的同时,广播的性质决定了站点将会有很多集中式的访问,所以广播以及对网络和服务器的高需求,和现有的网络结构的跨局限制了它的发展。这种情况下，流媒体直播方式就出现了，同时随着流媒体技术的提高，各种加速技术也逐渐完善，CDN加速就是流媒体直播中一种重要的加速服务。 所谓的流媒体加速服务就是源站大量的流媒体内容(视频、语音和数据,等等)通过传输连结到流式存储设备,以及通过CDN网络同步分发给遍布CDN网络的CDN节点服务器。这些服务器都位于省级和市级主要运营商的网络节点。CDN网络、智能网络分布技术为最终用户请求的网站指出应对效果最好的流媒体服务节点，通过流媒体服务节点为用户提供稳定可靠的随需应变的流媒体服务。 很多企业选择使用流媒体直播服务全国向用户提供一个稳定的直播服务。而CDN加速是将资源站流媒体内容分发到一个专门的流媒体在访问服务器,大大减少了负载的原始在线点播将服务器,节省带宽资源,并有效地绕过了各种各样的网络拥塞的节点。所以，不论您的站点属于门户资讯类网站、多媒体视音频类网站、游戏类网站或是移动应用类APP等等，CDN会智能分配调度域提供针对需求的业务支持，全面为您的站点提速。广泛的CDN流媒体集群的广泛分布保证了流媒体直播的质量，为直播的空间提供保障。 来源：