EMC存储平台Symmetrix DMX-3在淘宝网成功应用
作者：拖雷 | 【转载时请务必以超链接形式标明文章原始出处和作者信息及本声明】
地址：http://rdc.taobao.com/blog/dba/html/59_emc-dmx3-in-taobao.html
这是去年我跟EMC合作写的一个Case，其实很多地方都转贴过了，今天再把它永久记录到这里。
案例概要
淘宝网：亚洲最大网络购物平台，亚洲首选网络购物商圈
行业：互联网
地区：总部设在杭州
EMC Documentum产品：
?? EMC Symmetrix DMX-3
?? EMC CLARiiON CX-80
实施情况：
2007年上半年开始采用EMC Symmetrix DMX-3，使用效果良好。
合作伙伴：神州数码
作为亚洲最大的网络购物平台，淘宝网2007年上半年的总成交额突破157亿人民币，接近2006年全年成交额(169亿人民币)，和2006年同期相比，增长了近200%。跟传统卖场比较，2007年上半年，淘宝网的日均成交额相当于122个家乐福大卖场或者150家沃尔玛大卖场。
需求：解决原有平台的性能瓶颈
淘宝网巨大的交易量，是在比传统商城大得多的人流量的情况下完成的。
2007年上半年，每天登陆淘宝购物的不重复访问者超过600万;而根据新生代市场监测机构2006年的调查，像家乐福、联华这种大卖场，一个门店一天的平均客流量为1.1万人左右，也就是说淘宝网一天的人流量相当于近600个大卖场。
每天600万的不重复访问者，意味着巨大的信息流量，尤其是淘宝网的每个页面都包含大量多媒体内容，对后台的压力可想而知。根据用户上网习惯分析，一个用户从点击发出访问请求，到页面最终出现在屏幕上，整个时间不能超过6秒钟，否则用户将失去耐心。
因此，当淘宝网吸引了大量用户、交易额节节攀升之时，后台技术人员的工作却日益紧张。2006年上半年，淘宝网数据库经理陈吉平就发现，系统上运行的某公司高端存储平台在高峰时性能出现瓶颈。
陈吉平介绍说，“在压力升高的时候，系统响应时间突然变慢。跟厂商反映了几次，但问题一直没得到解决。”
方案：灵活、高效、创新的信息基础架构和数据挖掘分析方案
“不能因为技术平台的原因将用户赶跑。”当时，阿里巴巴集团刚刚完成存储平台采购。有了淘宝网的前车之鉴，阿里巴巴集团采购了EMC的Symmetrix DMX-3，经过系统运行，性能很不错。淘宝网在有了新的存储采购计划之后，向EMC的技术和销售人员详细咨询了EMC高端存储平台Symmetrix DMX-3的性能，此后还专程到北京跟EMC工程师一起进行性能测试。基于令人满意的测试结果，以及此前应用EMC中端存储产品CLARiiON的愉快经验，淘宝网最终选定EMC的Symmetrix DMX-3构建淘宝网交易平台的数据支撑系统。
EMC的Symmetrix DMX-3最多可以支持2000块硬盘，驱动器容量300GB。按照目前的数据量，淘宝网首期采购了240块硬盘，为今后的数据增加、平台扩展预留了足够的空间，同时避免了过大的一次性投入。
在使用Symmetrix DMX-3之前，淘宝网的数据库团队跟EMC工程师一起对DMX-3做了详细的测试与规划，存储上线以后，又对淘宝网的压力做了定量的分析，分析结果表明，DMX-3的性能表现相当不错，甚至在淘宝网的交易数据压力负载后依然表现优秀。在实际使用中，新平台的响应时间比原有平台几乎快了一倍，测试和使用过程中都没有发现性能瓶颈。
应用成效
“新平台的响应时间比原有平台几乎下降了一倍，测试和使用过程中都没有发现性能瓶颈。”
“DMX-3对淘宝网最大的作用，就是提高了淘宝网站的稳定性、可靠性，保证业务持续性发展。因为DMX-3使得系统的性能提高了，数据库不再承受以前那么大的压力，不再害怕系统因为存储故障而无法提供服务，提高了数据库的可用性。”
——淘宝网数据库经理 陈吉平
陈吉平说，Symmetrix DMX-3对淘宝网最大的作用就是提高了淘宝网站的稳定性、可靠性，同时提供了系统平台的灵活性，保证了业务的持续发展。此外，DMX-3提高了系统性能，降低了数据库承受的压力，IT人员不再担心系统因为存储故障而无法提供服务，提高了数据库的可用时间。
同时，因为EMC系统具有非常好的兼容性和开放性，由其它存储厂商提供的原有平台也派上了用场，被无缝地集成到新的系统中，而之前采购的EMC中端存储也得到了最大程度的利用。CLARiiON CX3-80作为EMC最新的4GB通道中端存储，吞吐量表现相当不错。
在EMC工程师的协助下，淘宝网开创性地使用Oracle 10g RAC数据仓库解决方案搭配EMC CLARiiON CX3-80存储平台，运行海量用户数据挖掘和分析应用。在测试过程中，这一解决方案击败了以数据仓库为特长的NCR Teradata，取得了极佳的使用效果。这种解决方案的成功应用在业界非常少见，主要得益于淘宝技术团队在Oracle方面强大的技术实力，同时EMC的CX3-80作为底层平台满足了数据仓库的高性能要求，是保障方案成功的有力因素。
EMC及其合作伙伴神州数码的服务团队在项目中的表现也得到了淘宝网的充分肯定。陈吉平介绍说，从磁盘与存储规划、性能测试、售后服务到上线操作，EMC工程师做得都很出色，希望能继续保持这种服务水平。
前景：智能数据存储潜力巨大
EMC解决方案的更大优势在于让客户可以智能地存储数据。当前，客户最大的难题就是如何跟上信息增长的步伐，平均而言，大多数数据中心在过去几年的信息增长率均达到了 50% 到 60%。让 CIO 们夜不能寐的难题，不是如何存储更多信息，不是简单的升级、扩容、平台扩展性的问题，而是找到更智能地存储信息的解决方案。
EMC很早就提出了信息生命周期管理的理念，并提供了包括硬件、软件和服务的全面解决方案，帮助客户智能地存储信息。EMC的解决方案包括：
· EMC 分类服务
· EMC存储平台Symmetrix或CLARiiON或Celerra
· EMC归档解决方案Centera、Xtender 系列、Celerra File Archiver、Infoscape
· EMC Avamar重复数据删除技术
· EMC 磁盘库和NetWorker软件
· EMC数据复制软件 TimeFinder/Snap、SnapView、SnapSure
· VMware服务器虚拟化技术和Rainfinity文件虚拟化技术
· EMC 虚拟化服务
如图所示，左边为典型的客户环境。生产数据大多存储在第 1 层，这意味着存储增长中最大一部分在最昂贵的存储层。
第一步，EMC先帮助客户对应用程序分类和存储分层。这样，就可以用适当的存储层、以适当的成本支持不同的应用程序服务级别，从而更有效地管理这一增长。
第二步，EMC利用归档的威力，将静态数据移到动态归档中，让它从生产环境中移出。这不仅能够提高主存储的利用率，还能减少复制的数据量，在实现业务连续性的同时减少系统开销。
第三步，EMC可以帮助客户消除冗余数据。一次次地备份同样的数据是一种低效率的做法。EMC Avamar可以实现单实例存储，在数据备份时消除重复，最高的情况下消除重复的比率可以达到300:1。一旦消除了冗余数据，就可以优化备份和恢复环境，不但可以减少备份窗口，还实现了更好的保护和恢复能力。另外，用于支持并行处理以及测试、开发环境的克隆可辅以节省空间的快照，以进一步减少容量需求。
最后一点，可以利用文件管理器和服务器虚拟化来提高服务器利用率、整合存储和简化管理。
经过以上四个步骤之后，用“大禹治水”的方法解决信息增长的问题，信息量增长的压力将大大降低，信息存取的效率大幅度提高，不仅可以使系统轻装前进，还可以节省大量的投资。
此外，EMC Symmetrix DMX还加入了Enginuity 安全控制，实现了以信息为中心的安全保护，给Symmetrix带来了关键的竞争优势。新推出的 Enginuity 5772 代码中将提供三项新功能：
· 它通过审核日志提供了不可篡改的管理和支持操作视图。
· 它还通过由 RSA 加强安全保护的 “Symmetrix 维修凭证”， 以验证用户身份，防止未经授权的维修操作。
· Enginuity 提供了法规遵从性机制，以便通过 EMC 鉴定磁盘擦除服务安全地更换磁盘。
· 另外，EMC 现在已将业界领先的 RSA 技术构建到 Symmetrix 中，防止未经授权的维修操作。
· “针对 Symmetrix 的 EMC 鉴定数据擦除” 功能，该功能可擦除系统中出故障的驱动器上的数据，消除了将敏感数据带出公司的风险。
对淘宝网这样的客户，数据增长速度惊人，EMC的Symmetrix DMX-3的容量再大、性能再高，也有满载的时候。智能地存储数据，将彻底解除淘宝网的后顾之忧。
--EOF--
本文转自
http://rdc.taobao.com/blog/dba/html/59_emc-dmx3-in-taobao.html
作者：拖雷 | 【转载时请务必以超链接形式标明文章原始出处和作者信息及本声明】
地址：http://rdc.taobao.com/blog/dba/html/59_emc-dmx3-in-taobao.html
这是去年我跟EMC合作写的一个Case，其实很多地方都转贴过了，今天再把它永久记录到这里。
案例概要
淘宝网：亚洲最大网络购物平台，亚洲首选网络购物商圈
行业：互联网
地区：总部设在杭州
EMC Documentum产品：
?? EMC Symmetrix DMX-3
?? EMC CLARiiON CX-80
实施情况：
2007年上半年开始采用EMC Symmetrix DMX-3，使用效果良好。
合作伙伴：神州数码
作为亚洲最大的网络购物平台，淘宝网2007年上半年的总成交额突破157亿人民币，接近2006年全年成交额(169亿人民币)，和2006年同期相比，增长了近200%。跟传统卖场比较，2007年上半年，淘宝网的日均成交额相当于122个家乐福大卖场或者150家沃尔玛大卖场。
需求：解决原有平台的性能瓶颈
淘宝网巨大的交易量，是在比传统商城大得多的人流量的情况下完成的。
2007年上半年，每天登陆淘宝购物的不重复访问者超过600万;而根据新生代市场监测机构2006年的调查，像家乐福、联华这种大卖场，一个门店一天的平均客流量为1.1万人左右，也就是说淘宝网一天的人流量相当于近600个大卖场。
每天600万的不重复访问者，意味着巨大的信息流量，尤其是淘宝网的每个页面都包含大量多媒体内容，对后台的压力可想而知。根据用户上网习惯分析，一个用户从点击发出访问请求，到页面最终出现在屏幕上，整个时间不能超过6秒钟，否则用户将失去耐心。
因此，当淘宝网吸引了大量用户、交易额节节攀升之时，后台技术人员的工作却日益紧张。2006年上半年，淘宝网数据库经理陈吉平就发现，系统上运行的某公司高端存储平台在高峰时性能出现瓶颈。
陈吉平介绍说，“在压力升高的时候，系统响应时间突然变慢。跟厂商反映了几次，但问题一直没得到解决。”
方案：灵活、高效、创新的信息基础架构和数据挖掘分析方案
“不能因为技术平台的原因将用户赶跑。”当时，阿里巴巴集团刚刚完成存储平台采购。有了淘宝网的前车之鉴，阿里巴巴集团采购了EMC的Symmetrix DMX-3，经过系统运行，性能很不错。淘宝网在有了新的存储采购计划之后，向EMC的技术和销售人员详细咨询了EMC高端存储平台Symmetrix DMX-3的性能，此后还专程到北京跟EMC工程师一起进行性能测试。基于令人满意的测试结果，以及此前应用EMC中端存储产品CLARiiON的愉快经验，淘宝网最终选定EMC的Symmetrix DMX-3构建淘宝网交易平台的数据支撑系统。
EMC的Symmetrix DMX-3最多可以支持2000块硬盘，驱动器容量300GB。按照目前的数据量，淘宝网首期采购了240块硬盘，为今后的数据增加、平台扩展预留了足够的空间，同时避免了过大的一次性投入。
在使用Symmetrix DMX-3之前，淘宝网的数据库团队跟EMC工程师一起对DMX-3做了详细的测试与规划，存储上线以后，又对淘宝网的压力做了定量的分析，分析结果表明，DMX-3的性能表现相当不错，甚至在淘宝网的交易数据压力负载后依然表现优秀。在实际使用中，新平台的响应时间比原有平台几乎快了一倍，测试和使用过程中都没有发现性能瓶颈。
应用成效
“新平台的响应时间比原有平台几乎下降了一倍，测试和使用过程中都没有发现性能瓶颈。”
“DMX-3对淘宝网最大的作用，就是提高了淘宝网站的稳定性、可靠性，保证业务持续性发展。因为DMX-3使得系统的性能提高了，数据库不再承受以前那么大的压力，不再害怕系统因为存储故障而无法提供服务，提高了数据库的可用性。”
——淘宝网数据库经理 陈吉平
陈吉平说，Symmetrix DMX-3对淘宝网最大的作用就是提高了淘宝网站的稳定性、可靠性，同时提供了系统平台的灵活性，保证了业务的持续发展。此外，DMX-3提高了系统性能，降低了数据库承受的压力，IT人员不再担心系统因为存储故障而无法提供服务，提高了数据库的可用时间。
同时，因为EMC系统具有非常好的兼容性和开放性，由其它存储厂商提供的原有平台也派上了用场，被无缝地集成到新的系统中，而之前采购的EMC中端存储也得到了最大程度的利用。CLARiiON CX3-80作为EMC最新的4GB通道中端存储，吞吐量表现相当不错。
在EMC工程师的协助下，淘宝网开创性地使用Oracle 10g RAC数据仓库解决方案搭配EMC CLARiiON CX3-80存储平台，运行海量用户数据挖掘和分析应用。在测试过程中，这一解决方案击败了以数据仓库为特长的NCR Teradata，取得了极佳的使用效果。这种解决方案的成功应用在业界非常少见，主要得益于淘宝技术团队在Oracle方面强大的技术实力，同时EMC的CX3-80作为底层平台满足了数据仓库的高性能要求，是保障方案成功的有力因素。
EMC及其合作伙伴神州数码的服务团队在项目中的表现也得到了淘宝网的充分肯定。陈吉平介绍说，从磁盘与存储规划、性能测试、售后服务到上线操作，EMC工程师做得都很出色，希望能继续保持这种服务水平。
前景：智能数据存储潜力巨大
EMC解决方案的更大优势在于让客户可以智能地存储数据。当前，客户最大的难题就是如何跟上信息增长的步伐，平均而言，大多数数据中心在过去几年的信息增长率均达到了 50% 到 60%。让 CIO 们夜不能寐的难题，不是如何存储更多信息，不是简单的升级、扩容、平台扩展性的问题，而是找到更智能地存储信息的解决方案。
EMC很早就提出了信息生命周期管理的理念，并提供了包括硬件、软件和服务的全面解决方案，帮助客户智能地存储信息。EMC的解决方案包括：
· EMC 分类服务
· EMC存储平台Symmetrix或CLARiiON或Celerra
· EMC归档解决方案Centera、Xtender 系列、Celerra File Archiver、Infoscape
· EMC Avamar重复数据删除技术
· EMC 磁盘库和NetWorker软件
· EMC数据复制软件 TimeFinder/Snap、SnapView、SnapSure
· VMware服务器虚拟化技术和Rainfinity文件虚拟化技术
· EMC 虚拟化服务
如图所示，左边为典型的客户环境。生产数据大多存储在第 1 层，这意味着存储增长中最大一部分在最昂贵的存储层。
第一步，EMC先帮助客户对应用程序分类和存储分层。这样，就可以用适当的存储层、以适当的成本支持不同的应用程序服务级别，从而更有效地管理这一增长。
第二步，EMC利用归档的威力，将静态数据移到动态归档中，让它从生产环境中移出。这不仅能够提高主存储的利用率，还能减少复制的数据量，在实现业务连续性的同时减少系统开销。
第三步，EMC可以帮助客户消除冗余数据。一次次地备份同样的数据是一种低效率的做法。EMC Avamar可以实现单实例存储，在数据备份时消除重复，最高的情况下消除重复的比率可以达到300:1。一旦消除了冗余数据，就可以优化备份和恢复环境，不但可以减少备份窗口，还实现了更好的保护和恢复能力。另外，用于支持并行处理以及测试、开发环境的克隆可辅以节省空间的快照，以进一步减少容量需求。
最后一点，可以利用文件管理器和服务器虚拟化来提高服务器利用率、整合存储和简化管理。
经过以上四个步骤之后，用“大禹治水”的方法解决信息增长的问题，信息量增长的压力将大大降低，信息存取的效率大幅度提高，不仅可以使系统轻装前进，还可以节省大量的投资。
此外，EMC Symmetrix DMX还加入了Enginuity 安全控制，实现了以信息为中心的安全保护，给Symmetrix带来了关键的竞争优势。新推出的 Enginuity 5772 代码中将提供三项新功能：
· 它通过审核日志提供了不可篡改的管理和支持操作视图。
· 它还通过由 RSA 加强安全保护的 “Symmetrix 维修凭证”， 以验证用户身份，防止未经授权的维修操作。
· Enginuity 提供了法规遵从性机制，以便通过 EMC 鉴定磁盘擦除服务安全地更换磁盘。
· 另外，EMC 现在已将业界领先的 RSA 技术构建到 Symmetrix 中，防止未经授权的维修操作。
· “针对 Symmetrix 的 EMC 鉴定数据擦除” 功能，该功能可擦除系统中出故障的驱动器上的数据，消除了将敏感数据带出公司的风险。
对淘宝网这样的客户，数据增长速度惊人，EMC的Symmetrix DMX-3的容量再大、性能再高，也有满载的时候。智能地存储数据，将彻底解除淘宝网的后顾之忧。
--EOF--
本文转自
http://rdc.taobao.com/blog/dba/html/59_emc-dmx3-in-taobao.html
来源：CSDN
作者：xviewee
链接：https://blog.csdn.net/Xviewee/article/details/2874211