数据同步

20多天后，我们将步入2020年。在即将过去的2019年，人工智能、5G、数字货币等技术不断冲击着传统的数据治理模式，你所在的企业是否同样感受到了冲击？在这些难以言说的痛中间，又有多少是传统数据集成所带来的？ 今年，随着数据驱动决策的理念逐渐深入人心，越来越多的企业开始逐步对存量的数据资产进行消费，在数据消费过程中引入各种数据集成的工具，来解决数据打通的问题，并用于后端数据消费：如分析报表、数据查询、和数据挖掘等工作。 大数据时代的到来，不仅意味着数据来源更加广泛，数据存储量增加，同时对于数据及时性要求也越来越高，传统数据集成工具的瓶颈越发明显。其中主要表现在以下几点，看完后，你正在经历哪几种？ 一、数据及时性 各行各业的业务部门对于数据时效性的看法是：希望越快越好。金融行业的客户经理希望第一时间得到客户的动账通知；客户在申请贷款时，希望能够秒批秒贷；数字化营销部门的负责人希望能根据渠道投放的实时反馈及时调整投放策略；连锁零售门店也希望能实时掌握各个门店的库存，避免外卖的骑手取货时才发现货品已经售罄，而客户不得不提出退款；而在互联网行业，任何用户的行为分析都需要实时，以便在客户短暂的上线时间段能抓住客户的需求点。业务追求的是增长，快对于业务的改变不仅仅是减少低效的投入，及时止损，快速试错，更重要的是能加快业务的微创新，提升客户的体验，在更短的周期内快速迭代，应对千变万化的市场。

场景概述 产品主数据同步 所涉系统名称 产品管理系统、SAP系统 人工操作（时间/次） 35分钟 所涉人工数量 3 操作频率 不定时 场景流程1、登录收购品牌产品管理系统 2、根据时间、产品分类等选择条件获取产品主数据、导出至Excel 3、登录SAP系统 4、根据不同维度选择条件获取已有产品主数据，导出至Excel 5、在Excel中对数据编辑与处理，核对匹配并扩展相关视图如基本视图、销售视图等 6、登录SAP系统录入或者更新相关产品主数据 7、主数据导入成功后，扩展至相关工厂维度 归属行业 电商 效率提升ROI 每日节省105分钟 文章来源： http://rpazj.com 作者：RPA之家 来源： https://www.cnblogs.com/The-day-of-the-wind/p/11891494.html

加sync.WaitGroup 会等待WaitGroup内的线程执行完毕后再执行后面的代码，例如 var fmtMap sync.Map func producer(ch chan<- int) { defer waitGroup.Done() for i := 0; i < 10; i++ { ch <- i } close(ch) fmtMap.Store("A","A") } func consumer(ch <-chan int){ defer waitGroup.Done() for { select { case _, ok:=<-ch: if ok == false { goto done } } } done: fmtMap.Store("B","B") } var waitGroup = new(sync.WaitGroup) func waitTest() { ch := make(chan int, 5) waitGroup.Add(2) go producer(ch) go consumer(ch) waitGroup.Wait() fmt.Println(fmtMap) } func main() { go waitTest() router := gin.Default() router.Run(":8031") } 会输出 如果没加sync

MGR 一．MGR基础篇 ①MGR特性 ②集群建构 .single primary .multi master ③集群数据同步 ④集群管理 ⑤状态监控 ⑥限制 1. MGR特性 MGR是一个分布式的集群，真正意义上是基于paxos来管理整个集群，以及同步数据的，在每个节点它有全量的数据，因此是一个share-nothing的架构。 MGR是以多节点写入著称的，在每个节点都可以写入数据，集群本身可以检测数据的冲突，然后做回滚；同时也支持single-primary这样单节点写入的。 MGR不同于异步复制、本同步复制，它是一个准同步复制的架构， 只有当数据在多个节点里面都收到或反馈，数据才能真正的落地，为了保证所有的数据在每个节点的一致性，它有流控的机制，来保证整个数据的安全，这会牺牲一部分性能，但是保证了数据的安全性。 MGR是内建高可用的，在single primary模式下，如果说master节点宕掉了，他能非常快速的选举出新的master，并且做切换，整个过程是不会丢任何数据的。 Mysql版本要求：mysql5.7.17+以上版本 、8.0 2.MGR集群架构 2.1 multi master 2.2 single primary 2.3集群节点的状态 3.MGR数据同步 3.1mysql数据同步/异步复制 来源： https://www.cnblogs.com

#Otter-入门篇2(Manager安装配置)# ##前言## 上一节已经简单介绍了Otter的基本信息,本节我们就来开准备搭建一个我们自己的Otter环境,因为一个Otter需要Manage+node+数据库还有很多的依赖,本节我们先来搭建Otter的管理服务器Manager. 附上: 喵了个咪的博客: w-blog.cn Otter项目地址: https://github.com/alibaba/otter Otter文档地址: https://github.com/alibaba/otter/wiki ##1. 环境安装包说明 笔者这边使用的服务器配置为: 2核心4G云服务器 Centos6.5(64位) 所需的软件包可以访问如下连接进行下载: 百度网盘 我们把下载好的文件存放到/app/install目录下: 推荐使用OneinStack进行环境配置(默认会更新GCC,cmake等减少依赖出现的问题) oneinstack官网地址 wget http://mirrors.linuxeye.com/oneinstack-full.tar.gz tar xzf oneinstack-full.tar.gz cd oneinstack ./install.sh 按照如下选项配置安装mysql5.6,密码为otter**(初始化manager需要mysql的支持)*

摘要： 大数据计算服务（MaxCompute，原名ODPS）是阿里云提供的一种快速、完全托管的EB级数据仓库解决方案。本文章中阿里云MaxCompute公有云技术支持人员刘力夺通过一个实验向大家介绍了阿里云关系型数据库产品RDS中的MySQL数据如何同步到MaxCompute，帮助用户大体了解MaxCompute产品以及其数据同步过程。 直播视频回顾： MySQL/RDS数据如何同步到MaxCompute 以下内容根据演讲视频以及PPT整理而成。 实验方案概述 本实验是对RDS同步数据到MaxCompute的一个初步讲解。当企业需要利用MaxCompute进行数据开发时，如果数据不在MaxCompute而在RDS中，首先需要将RDS中的数据同步到MaxCompute。本实验将以RDS(MySQL)为例，具体讲解此过程的操作步骤以及一些容易遇到的问题，为企业的数据同步过程提供一些指导与帮助。 本次同步过程的方案分为以下两个链路：1）通过DataWorks中的数据集成功能进行同步；2）通过DTS(数据传输服务)进行同步。 方案1需要在DataWorks中新建RDS和MaxCompute的数据源，利用抽象化的数据抽取插件(Reader)，数据写入插件(Writer)进行数据传输，达到数据同步的目的； 方案2利用DTS服务确定同步的数据来源及数据去向进行同步。 下图是同步的方案流程图

#Otter-入门篇1(阿里开源项目Otter介绍)# ##前言## 呜啦啦啦啦!今天笔者又来开坑了,这次开坑的对象呢是阿里的一个开源项目Otter,Otter它是一个数据同步解决方案,可以解决本地跨网络跨机房跨地域的数据同步问题,并且拥有可观的效率,web管理工具等特点,而且背景也很优秀,据说阿里B2B内部的本地/异地机房的同步需求基本全上了otter。 附上: 喵了个咪的博客: w-blog.cn Otter项目地址: https://github.com/alibaba/otter Otter文档地址: https://github.com/alibaba/otter/wiki ##1. Otter是什么## Ottter是由阿里 爸爸 开源的一个数据同步产品,它的最初的目的是为了解决跨国异地机房双A架构,两边可写的场景,开发时间从2011年7月份一直持续到现在，目前阿里巴巴B2B内部的本地/异地机房的同步需求基本全上了Otter。 Otter基于数据库增量日志解析，支持mysql/oracle数据库进行同步,在最新的v4.2.13已经支持mysql5.7以及阿里云提供的RDS数据库(使用RDS童鞋的福音) ###工作原理 下图是关于Otter运行原理图: 更具上图里面关键几个元素进行介绍 db : 数据源以及需要同步到的库 Canal : 用户获取数据库增量日志

转自： https://blog.csdn.net/pengjunlee/article/details/86517935 1998年，加州大学的计算机科学家 Eric Brewer 提出了分布式系统的三个指标： C：Consistency，一致性。在分布式系统中的所有数据备份，在同一时刻具有同样的值，所有节点在同一时刻读取的数据都是最新的数据副本（all nodes see the same data at the same time）。 A：Availability ，可用性，好的响应性能。完全的可用性指的是在任何故障模型下，服务都会在有限的时间内处理完成并进行响应（Reads and writes always succeed）。 P：Partition Tolerance ，分区容错性，即分布式系统在遇到某些节点或网络分区故障的时候，仍然能够对外提供满足一致性或可用性的服务。分区容错性要求一个分布式系统中有某一个或者几个节点故障时，其他剩下的节点还能够正常运转并对外提供服务，对于用户而言并没有什么体验上的影响。 Eric Brewer 指出任何分布式系统只可同时满足CAP三个指标中的两个，无法三者兼顾，这个结论就叫做 CAP 定理。 　　 定理解读 分布式的服务化系统都需要满足分区容忍性，那么我们必须在一致性（C）和可用性（A）之间进行权衡。在网络分区故障发生时

一、为了解决数据同步汇聚，数据分发，数据转换，数据维护需求，TreeSoft推出了数据同步，数据处理等丰富功能 。 TreeSoft作为中间传输载体负责连接各种数据源，为各种异构数据库之间架起沟通的桥梁，可实现一对多，多对多， 多对一等 复杂场景的数据同步。 支持多字段合并，字段截取，字段脱敏，数据转换，自定义函数等个性化操作。 TreeSoft已被广泛应用，每日处理大量大数据的数据维护、数据同步、数据汇聚、数据转换业务。 支持MySQL, MariaDB, Oracle, PostgreSQL, SQL Server, DB2, MongoDB, Hive, SAP HANA, Sybase, Caché, Informix, 达梦DM, 金仓Kinbase, 神通, 南大GBase等数据库。 二、兼具数据同步与数据维护管理功能，具备适应性广，灵活性强等特点。 1、支持主流RDBMS、NOSQL数据库间同步交换数据。 2、支持单节点或集群布署,可应对庞杂的业务环境。 3、支持百万级以上数据量同步。 4、企业级定时任务框架，稳定高效。 5、支持多数据源向多目标数据汇聚或数据分发。 6、支持定时数据清洗转换等后处理。 7、支持window, Linux，mac等操作系统。 8、基于JAVA开发，WEB网页管理，快速布署，到处使用。 9、基于网页灵活配置及管理，详细记录同步日志。 10

redis嘛，主要问题就是关乎数据的问题；分布式嘛，主要问题就是C（一致性）A（可用性）P（分区容错性）。 在这里考虑两个问题： 数据不一致，数据丢失。 数据不一致： 　　 有时候master会挂那么十几秒钟或者几秒钟然后又恢复正常，然后redis的调用者就觉得redis的master是没问题的，他就接着使用这玩意，但是哨兵在这段时间内已经把这个master淘汰出去，不但如此还选了一个新的master供redis集群内部共享数据。这样子就带来了一个问题，新的master会很自以为是的同步它的数据给他的slave，但是redis的调用者并不向这个新的master发送任何数据，也就是他的数据压根就不更新，导致他的slave数据也无法更新，最后实际对外提供服务的是那个被哨兵淘汰的master。 　　这就是传说中的 redis脑裂 倘若集群部署的相对完善的话，新选举的master还应向被哨兵淘汰的master同步数据，并且将被哨兵淘汰的master置为新master的一个slave，那就更有意思了，master在被淘汰之前还在工作，也就是还在接收数据并且试图将数据写入自己的缓存中，直到新的master开始向它同步数据，为了同步数据，旧的master会将自己的数据同步成新的master一样，带来的问题就是旧的master数据丢失