分布式数据库

本文筛选了近几年在大数据领域具有独特建树的10家企业，涵盖云计算、数据可视化、数据分析应用、商业智能等不同范畴。在大数据领域虽然国外的优秀企业占众多数，但是国内也有不少企业在国数据应用市场创造了不可磨灭的贡献。所以，这10家企业中也列举了一些在某领域具有突出贡献的国内公司，给大家借鉴。（排名不分先后） 国外 IT项目——IBM IBM是世界三大IT巨头之一，很多公司在考虑到一些大型的IT项目是会想到IBM、SAP这类公司，其成熟的方案得到世界的广泛认同。在大数据领域，IBM是Hadoop项目的主要参与者之一，服务的客户很多都是PB级的数据。IBM在网格计算、全球数据中心和企业大数据项目实施等众多领域有着丰富的经验。“IBM计划继续整合SPSS分析、高性能计算、BI工具、数据管理和建模、应对高性能计算的工作负载管理等众多技术。” 数据架构——Microsoft 微软除了windows长期占据桌面办公的90%以上的份额，windows在企业应用上也有大量的布局。尤其是在开源工具方面，微软的Windows Azure HDInsight、Hortonworks Data Platform for Windows一直很低调，通过和Hadoop的合作，微软在大数据领域基础架构上有整套的布局，这些开源工具将大数据解决方案良好地集成到企业中，为企业提供内部存储、管理、分析和共享大数据的服务。

转载自 http://blog.jobbole.com/98523/ 一、前言 随着传统的数据库技术日趋成熟、计算机网络技术的飞速发展和应用范围的扩充，数据库应用已经普遍建立于计算机网络之上。这时集中式数据库系统表现出它的不足：数据按实际需要已在网络上分布存储，再采用集中式处理，势必造成通信开销大；应用程序集中在一台计算机上运行，一旦该计算机发生故障，则整个系统受到影响，可靠性不高；集中式处理引起系统的规模和配置都不够灵活，系统的可扩充性差。在这种形势下，集中式DB的“集中计算”概念向“分布计算”概念发展。分布计算主要体现在客户机/服务器模式和分布式数据库体系结构两个方面。 二、分布式数据库系统概述 随着传统的数据库技术日趋成熟、计算机网络技术的飞速发展和应用范围的扩大，以分布式为主要特征的数据库系统的研究与开发受到人们的注意。分布式数据库是数据库技术与网络技术相结合的产物，在数据库领域已形成一个分支。分布式数据库的研究始于20世纪70年代中期。世界上第一个分布式数据库系统SDD-1是由美国计算机公司（CCA）于1979年在DEC计算机上实现。20世纪90年代以来，分布式数据库系统进入商品化应用阶段，传统的关系数据库产品均发展成以计算机网络及多任务操作系统为核心的分布式数据库产品，同时分布式数据库逐步向客户机/服务器模式发展。 三、DDBS(Distributed Database

课程背景和规划介绍 巨杉大学的学习和认证包括SCDA（巨杉数据库认证技术专员），SCDP（巨杉数据库中级工程师认证），SCDE（巨杉数据库高级工程师认证)，SCDD（巨杉数据库认证开发者）等计划，未来还将持续推出针对行业用户、数据库运维、开发者和开源社区爱好者更多学习计划，共同拓展行业广度和技术深度。 巨杉大学的 SCDP（巨杉数据库中级工程师认证）计划，直接上手操作使用，直观体验分布式数据库功能技术。在线交互学习测试，根据代码验证测试结果，帮助大家快速掌握分布式数据库运维管理。 Talk is cheap，show your code！ 分布式数据库进阶：在线动手操作分布式数据库，代码交互和学习测试，快速掌握分布式数据库使用 全功能快速掌握：内容覆盖分布式数据库所有功能亮点，无需复杂部署配置，在线交互快速掌握 分布式数据库进阶：进阶技术课程，突出分布式数据库优势点，操作场景结合应用实践，快速成为分布式数据库DBA 丰富学习支持：学习认证采用小班指导，辅助材料帮助学习，更多维度帮助用户学习 课程参与方式 目前 SCDP中级工程师认证 以学习班模式按批次进行学习考试，每期40人，添加小助手报名，我们会根据班次安排进行课程通知。 报名参与方式： 注册并登录巨杉数据库官网，在 SCDP 课程页面点击考试申请 添加小助手“杉杉”or“快乐的杉杉” 备注（“SCDP”，或“中级认证”）

课程背景和规划介绍 巨杉大学的学习和认证包括SCDA（巨杉数据库认证技术专员），SCDP（巨杉数据库中级工程师认证），SCDE（巨杉数据库高级工程师认证)，SCDD（巨杉数据库认证开发者）等计划，未来还将持续推出针对行业用户、数据库运维、开发者和开源社区爱好者更多学习计划，共同拓展行业广度和技术深度。 巨杉大学的 SCDP（巨杉数据库中级工程师认证）计划，直接上手操作使用，直观体验分布式数据库功能技术。在线交互学习测试，根据代码验证测试结果，帮助大家快速掌握分布式数据库运维管理。 Talk is cheap，show your code！ 分布式数据库进阶：在线动手操作分布式数据库，代码交互和学习测试，快速掌握分布式数据库使用 全功能快速掌握：内容覆盖分布式数据库所有功能亮点，无需复杂部署配置，在线交互快速掌握 分布式数据库进阶：进阶技术课程，突出分布式数据库优势点，操作场景结合应用实践，快速成为分布式数据库DBA 丰富学习支持：学习认证采用小班指导，辅助材料帮助学习，更多维度帮助用户学习 课程参与方式 目前 SCDP中级工程师认证 以学习班模式按批次进行学习考试，每期40人，添加小助手报名，我们会根据班次安排进行课程通知。 报名参与方式： 注册并登录巨杉数据库官网，在 SCDP 课程页面点击考试申请 添加小助手“杉杉”or“快乐的杉杉” 备注（“SCDP”，或“中级认证”）

3 月，跳不动了？>>> 课程背景和规划介绍 巨杉大学的学习和认证包括SCDA（巨杉数据库认证技术专员），SCDP（巨杉数据库中级工程师认证），SCDE（巨杉数据库高级工程师认证)，SCDD（巨杉数据库认证开发者）等计划，未来还将持续推出针对行业用户、数据库运维、开发者和开源社区爱好者更多学习计划，共同拓展行业广度和技术深度。 巨杉大学的 SCDP（巨杉数据库中级工程师认证）计划，直接上手操作使用，直观体验分布式数据库功能技术。在线交互学习测试，根据代码验证测试结果，帮助大家快速掌握分布式数据库运维管理。 Talk is cheap，show your code！ 分布式数据库进阶： 在线动手操作分布式数据库，代码交互和学习测试，快速掌握分布式数据库使用 全功能快速掌握： 内容覆盖分布式数据库所有功能亮点，无需复杂部署配置，在线交互快速掌握 分布式数据库进阶： 进阶技术课程，突出分布式数据库优势点，操作场景结合应用实践，快速成为分布式数据库DBA 丰富学习支持： 学习认证采用小班指导，辅助材料帮助学习，更多维度帮助用户学习 课程参与方式 目前 SCDP中级工程师认证 以学习班模式按批次进行学习考试，每期40人，添加小助手报名，我们会根据班次安排进行课程通知。 报名参与方式： 注册并登录巨杉数据库官网，在 SCDP 课程页面点击考试申请 添加小助手“杉杉”or“快乐的杉杉” 备注（

3 月，跳不动了？>>> 2019年中国人民银行发布《金融科技(FinTech)发展规划(2019-2021年)》，提出要持续加强分布式数据库领域底层和前沿技术研究，有计划、分步骤地稳步推动分布式数据库产品先行先试，形成可借鉴、能推广的典型案例和解决方案，为分布式数据库在金融领域的全面应用探明路径。 ​ 近期，神州信息再次打造分布式“应用+数据库”典型案例，助推金融信创。其为北京某城商行建设的分布式网贷平台与TiDB分布式数据库完成适配并平稳运行，实现授信客户数近千万，日均渠道数据处理超百万笔，账务交易日处理量数十万笔，日批处理量达百万笔，满足其未来五到十年线上网贷业务发展需求。双方基于分布式技术，携手构建了“分布式应用+分布式数据库”的全行级分布式应用体系，推进该行IT系统由“集中”向“分布”转型，为新形势下业务创新夯实基础，保证金融服务行稳致远。至此，继百信银行分布式核心、天津银行分布式核心、吉林亿联分布式核心等项目后，神州信息金融分布式应用系统基本完成与平凯星辰TiDB、华为GaussDB、阿里OceanBase、百度数据库等国内主流分布式数据库的适配，为国内各商业银行结合自身实际选型、落地分布式数据库提供了有力支撑。 ​神州信息金融科技分布式架构专家薛春雨介绍：“神州信息早在2015年启动分布式应用研发，制定了‘先应用、后架构、再存储’的分布式应用路径，助力银行由‘集中式

作者：李小翀 链接： https://www.zhihu.com/question/22764869/answer/31277656 来源：知乎 1.初始 初始阶段 的小型系统 应用程序、数据库、文件等所有的资源都在一台服务器上通俗称为LAMP特征：应用程序、数据库、文件等所有的资源都在一台服务器上。描述：通常服务器操作系统使用linux，应用程序使用JSP/PHP/ASP开发，然后部署在Apache上，数据库使用Mysql，汇集各种免费开源软件以及一台廉价服务器就可以开始系统的发展之路了。 特征： 应用程序、数据库、文件等所有的资源都在一台服务器上。 描述： 通常服务器操作系统使用linux，应用程序使用PHP开发，然后部署在Apache上，数据库使用Mysql，汇集各种免费开源软件以及一台廉价服务器就可以开始系统的发展之路了 2.应用服务和数据服务分离 好景不长，发现随着系统访问量的再度增加，webserver机器的压力在高峰期会上升到比较高，这个时候开始考虑增加一台webserver 特征： 应用程序、数据库、文件分别部署在独立的资源上。 描述： 数据量增加，单台服务器性能及存储空间不足，需要将应用和数据分离，并发处理能力和数据存储空间得到了很大改善。 3.使用缓存提高性能 特征： 数据库中访问较集中的一小部分数据存储在缓存服务器中，减少数据库的访问次数，降低数据库的访问压力

一、分布式系统遵循几个基本原则 1. CAP原理 CAP Theorem，CAP原理中，有三个要素： 一致性(Consistency) 可用性(Availability) 分区容忍性(Partition tolerance) CAP原理指的是，在分布式系统中这三个要素最多只能同时实现两点，不可能三者兼顾。因此在进行分布式架构设计时，必须做出取舍。而对于分布式数据系统，分区容忍性是基本要求，否则就失去了价值。因此设计分布式数据系统，就是在一致性和可用性之间取一个平衡。对于大多数web应用，其实并不需要强一致性，因此牺牲一致性而换取高可用性，是目前多数分布式数据库产品的方向。 从客户端角度，多进程并发访问时，更新过的数据在不同进程如何获取的不同策略，决定了不同的一致性。对于关系型数据库，要求更新过的数据能被后续的访问都能看到，这是 强一致性 。如果能容忍后续的部分或者全部访问不到，则是 弱一致性 。如果经过一段时间后要求能访问到更新后的数据，则是 最终一致性 。 但web应用也有例外，比如支付宝系统，就要求数据（银行账户）的强一致性，而且面对大量淘宝用户，可用性要求很高，因此只能牺牲数据的分区冗余。这一点也曾在和支付宝工程师交流时，得到验证。 2. C10K问题 分布式系统另一个理论是C10K问题，即系统的并发用户增加1万（customer ten thousand

DBLE 是企业级开源分布式中间件，江湖人送外号 “MyCat Plus”；以其简单稳定，持续维护，良好的社区环境和广大的群众基础得到了社区的大力支持； DBLE官方网站：https://opensource.actionsky.com 可以详细了解DBLE的背景和应用场景，本文不涉及到的细节都可在官方文档获得更细节都信息；对于刚了解到同学，可以以本文为快速入门基础 DBLE官方项目：https://github.com/actiontech/dble 如对源码有兴趣或者需要定制的功能的可以通过源码编译 DBLE下载地址：https://github.com/actiontech/dble/releases 建议下载最新的releases版本，下载tar压缩包即可，如有源码编译需求的，可以下载源码包 DBLE社区交流：669663113 来源： https://www.cnblogs.com/qiumingcheng/p/10976540.html

位于 M87 中心的特大质量黑洞示意图（© EHT Collaboration） 今天的文章我想从这张模糊的照片说起。 相信很多小伙伴对这张照片并不陌生，这是去年人类第一次拍摄的 M87 中心黑洞的照片，从1915年，爱因斯坦提出相对论预言黑洞的存在到 2019 年我们终于第一次「 看到 」了黑洞的样子，中间整整相隔了 100 多年，这对于人类认识黑洞乃至认识宇宙都是一个里程碑式的事件。人类是一个感性的动物，所谓「 一图胜千言 」很多时候一张图传达的信息超过千言万语。 关于黑洞我不想展开太多，今天我们聊聊「 望远镜 」。 前几天，在 TiDB 4.0 的开发分支中，我们引入了一个新功能叫做：Key Visualizer（下面简称 KeyViz），说起来这个小工具也并不复杂，就是用不同颜色的方框来显示整个数据库的不同位置数据访问频度和流量。一开始我们只是仅仅将它定位为一个给 DBA 用来解决数据库热点问题的调优辅助小工具，但是从昨晚开始我就一直在把玩这个小东西，突然觉得它对于分布式数据库来说背后的意义远不及此。 在 CNCF 对 Cloud Native 的定义中，有一条叫做「Observability」，通用的翻译叫系统的「可观测性」。过去我一直苦于寻找一个例子说明什么叫做一个「可观测」的系统，在 KeyViz 这个项目上，我找到了对这点绝佳的体现。 举几个直观的小例子。你知道