使用MPP数据库解决农行海量数据复杂运算处理
农业银行以国产数据库GBase 8a为基础的国内最大的金融大数据平台采用混搭融合架构、双活数据仓库、超大规模数据库集群这些先进技术全部应用其中。56是生产环境，现在实现了56环境的双活!5.2PB数据量、236个节点、每天6000多个复杂的分析任务。 项目背景 随着互联网+时代的到来，金融大数据呈指数增长。结构化数据增长基本可控，它随着业务的增长是一个线性关系；而对非结构化数据，尤其语音、图像，优酷上的视频，增长巨大。现在精准营销、风险控制、运营等对大数据的应用提出更高的要求。随着大数据时代到来，处理大数据的技术手段和成本的下降都提供了对大数据的可能，在技术上它也是成长最快的一部分。 中国农业银行数据仓库项目最初是基于Sybase IQ建设的，主要应用于统计报表。随着数据量的不断增大、接入的系统越来越多，Sybase IQ由于性能的限制，已经很难在指定的时间窗口中完成统计，也无法继续接入其它的业务系统数据，无法满足银行内部数据分析和监管机构的监管数据要求。系统架构的障碍影响了客户从宝贵的数据资源中挖掘价值，寻找新的、更先进的产品成为客户不得不考虑的问题。 着眼未来，为更好地利用大数据领域新兴技术构造大数据平台，应对市场变幻、带动业务模式创新，寻求新的技术方向已成为必然选择。同时近年来信息安全问题越来越受中国政府和企业的关注，关键领域信息系统的国产化逐步开展。基于信息安全