数据迁移

最近在做项目时，有需求需要用到 postgresql 数据库，而原本项目用的是 mysql 数据库，由于刚刚参加工作，这方面的经验就比较少，所以只得在网上查阅了各种资料。网上大多介绍的是直接手动迁移的方式，感觉这种方式的弊端是 sql 文件较大时，很容易出错，且工作量大。当然网上也有对应的迁移工具，如mysql2psql等，但是时间仓促，不可能花时间去研究，再去使用。最后，在朋友的指导下，使用达梦数据交换平台（简称DMETL）实现了mysql数据库向postgresql数据库的自动化迁移。下面就介绍下迁移的详细过程。 注意：迁移是对数据库数据的迁移，数据表要存在。 1． 首先你的电脑得装了 pg 数据库、 mysql 数据库和达梦数据交换平台软件，后文达梦数据交换平台软件都使用 DMETL 简称代替。 DMETL 安装好后可以在开始菜单中看到如下结构： 2． 启动 DMETL 服务，即 启动成功后如下图所示： 按任意键继续，然后启动达梦数据交换设计器 使用默认的配置登录服务，密码为 admin 。 登录成功之后如下图所示。在界面上我们可以看到‘工程’、‘工具箱’等窗口。 DMETL 软件功能强大，不仅可以实现多种数据库的数据迁移，也可以做数据库数据的转换，以及多种格式文件的转换。总之功能强大，请读者自行研究。 3． 首先，我们需要在工程窗口创建一个工程。 在看到的‘转换

SQL 中新建数据库 DataSystem 1.web.config 数据库连接字符串： <add name="APPDataConnection" connectionString="Data Source=.;Initial Catalog=DataSystem;integrated security=True" providerName="System.Data.SqlClient" /> 2.初始化数据库 Enable-Migrations -ContextTypeName MVCAppData.Models.DatabaseContext 成功后，你会看到 数据库中 MVC 数据库默认的自动创建的表;此外 ，项目中多了 Migrations 文件夹 Configuration.cs 文件 3.Configuration.cs 文件 设置：AutomaticMigrationsEnabled = true; 4. 如何更新字段 A.删除_MigrationHistory B.VS 中 “工具”=》NuGet 程序包管理器=》程序包管理器控制台=》PM> update-database 借鉴： http://www.cnblogs.com/youring2/archive/2013/07/24/mvc-5-adding-a-new-field.html http://blog

DTS（Data Transmission Service）提供数据迁移、数据同步、数据订阅于一体的数据库数据传输服务，在业务不停服的前提下轻松完成数据库迁移，利用实时同步通道轻松构建异地容灾的高可用数据库架构。 数据迁移 迁移类型 结构迁移：结构对象定义语法的迁移，包括表、视图等结构对象的语法迁移。异构数据库迁移时可以实现数据类型的映射，将源库语法调整为目标库对应的语法。 全量数据迁移：将源库中的所有数据迁移到目标库中，不包含结构对象定义的语法。如果迁移过程中源库有新增数据，且迁移类型只选择了全量迁移，则新增数据不会迁移到目标库。 增量数据迁移：将源库迁移过程中新增的数据同步到目标库中，主要用于源库和目标库的增量数据实时同步。如果创建数据迁移任务时，同时选择了全量数据迁移和增量数据迁移，则迁移过程中会先将源库中静态数据迁移到目标库，然后将增量数据同步到目标库。增量数据迁移不会自动结束，如果需要结束实时同步，需要在控制台手动结束该迁移任务。 迁移限制 源端必须存在主键，否则目标端将可能出现重复数据 目前不支持存储过程、存储函数、触发器和外键的迁移，需要用户手动迁移 源端binlog_format必须为row 源端binlog_row_image必须为full 迁移权限要求 当源端为公网自建数据库或BCC自建数据库时，用户需要提供一个满足权限要求的迁移账号。

ADMT(Active Directory Migration Tool)是一套向导接口，集成多种功能的迁移工具。它提供将某域的AD数据库的用户帐户、组、计算机、服务帐户、信任关系等数据，迁移到另一个新域。但这个工具比较复杂，若要成功使用这套工具，会牵涉到许多细节，现在我们详细地讲一下这个工具的使用要求与方法。 一、ADMT使用前的注意事项 AD迁移是将旧域的某部分AD数据，迁移到目标域（新域）的AD数据库中。些操作有相当高的危险性，使用ADMT工具之闪，请务必了解以上注意事项： 1、备份AD数据库：为防ADMT迁移工具发生意外状况，无法恢复被迁移的AD数据，请使用ADMT之前，对现有AD做好备份； 2、迁移AD的顺序：先迁移不太重要的数据，万一发生问题时，损失较少。 3、提升域模式为Window 2000/3纯模式：为了让ADMT迁移工具能够运行正常，最好将原域与目标域的域模式都转到Windows 2000/3的纯模式。 4、利用ADMT工具所提供的测试选项，预先测试迁移步骤； 5、要留意迁移项目的想依性：先迁移组，再迁移用户 二、ADMT使用前的环境设置 如果要将来源域Deng.com的AD数据，迁移到目标域Tech.com，除了要安装ADMT工具之外，还需进行如下的环境设置： 1、建立来源域与目标域之间的信任关系 2、设置审核策略 分别在来源域与目标域中，使用

数据迁移工具 两个数据之间，或是数据在升级的时候、生产环境到测试环境的数据移动 逻辑导出导入工具: exp----逻辑导出工具 imp----逻辑导入工具 1、数据导出模式： （1）全库导出 mkdir -p /home/oracle/backup/exp 首先创建好我们要导出的目录 cd /home/oracle/backup/exp 打开目录 exp system/oracle file=full.dmp log=full-exp.log full=y 全库导出，生成名为full.dmp的数据文件，和名为full-exp.log的日志文件 警告的解决： EXP-00091: Exporting questionable statistics. SQL> select userenv(‘language’) from dual; 在用户的参数脚本加入：/home/oracle/.bash_profile export NLS_LANG=AMERICAN_AMERICA.AL32UTF8 （2）导出用户 select username from dba_users; 查询数据库系统中有哪些用户 当前用户： exp hr/hr file=hr2.dmp log=hr2-exp.log 导出hr用户，生成名为hr2.dmp的数据文件，和名为hr2-exp.log的日志文件 多个用户：

前提 一、安装JDK java环境 1、Kettle是纯Java编写的ETL开源工具，目前Kettle7和Kettle8都需要Java8或者以上才能正常运行。所以开运行Kettle前先检查Java环境是否正确配置。 很明显当前环境没有安装java JDK环境，那么接下来我们去java官网下载JDK安装包。 JDK下载网址： https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html 根据自己的系统环境下载对应的JDK版本，这里是windows 64位的操作系统。 安装流程： 1）下载完安装，这里选择是的默认安装，可以根据自己的习惯安装到相应的位置，这个安装到哪个路径是可选的。 2）这里是Java安装，也可以点击更改更改到别的盘符下面去（我在此默认安装）： 3）等Java安装完成之后整个JDK的安装就到此结束了，点击关闭就可以。 测试java是否安装成功，还明显还是没有安装成功，原因是没有添加JAVA环境变量。 二、接下来添加java环境变量计算机——>属性——>高级系统设置——>环境变量。 JAVA_HOME环境变量 现在需要新建系统变量，点击系统变量下的新建：变量名可以自命名，一般使用JAVA_HOME，变量值是你的JDK安装的目录（全路径），我的是默认在C盘下安装的：

原文推荐!点我点我！ 添加Migrations文件夹，并生成类文件Configuration.cs PM> Enable-Migrations -EnableAutomaticMigrations 在Migrations文件夹中新增类文件201309201556388_InitialCreate.cs Add-Migration InitialCreate //后面的名字是随便写的 执行结果生成与上面一致的数据库 Update-Database -Verbose 数据库模型中添加City类，执行程序包管理器控制台语句，Migrations文件夹中新增类文件201309201643300_AddCity.cs Add-Migration AddCity //后面的名字是随便写的 执行程序包管理器控制台语句，进行数据库版本回溯 Update-Database –TargetMigration:"201309201643300_AddCity" 生成数据库版本之间的Sql脚本 Update-Database -Script -SourceMigration:"201309201643300_AddCity" -TargetMigration:"201309201708043_ModifyCity" 执行Sql脚本 Update-Database -Script Enable

参考：https://www.cnblogs.com/libingql/p/3330880.html 1，在nuget控制台上执行命令， 允许迁移 PM> Enable-Migrations -EnableAutomaticMigrations, 2，然后，添加迁移，相当于备份当前的数据库结构，InitialCreate 表示的迁移名称 PM> Add-Migration InitialCreate PM> Update-Database -Verbose 【确保备份数据库结构与实际数据库一致】 3，接着，修改c#文件中的模型，比如增加表，增减字段 4，再添加迁移，相当于将当前修改过的数据结构进行快照，AddCity表示迁移名称 PM> Add-Migration AddCity 5，进行更新数据库命令，修改的内容，就同步到数据库了 PM> Update-Database -Verbose 6，如果需要再更改，重复3,4,5步骤，【修改模型】【增加迁移】【更新数据库】 来源： https://www.cnblogs.com/xuelixue/p/10980678.html

分布式系统与高并发高可用 浅析分布式系统中的一致性哈希算法 通过本文将了解到以下内容： 分布式系统的简单概念和基本作用 分布式系统常用负载均衡策略 普通哈希取模策略优缺点 一致性哈希算法的定义和思想 一致性哈希的基本过程 Redis集群中一致性哈希的实现 1.分布式系统的基本概念 分布式系统与高并发高可用 当今高并发和海量数据处理等场景越来越多，实现服务应用的高可用、易扩展、短延时等成为必然。 在此情况下分布式系统应运而生，互联网的场景无外乎存储和计算，因此分布式系统可以简单地分为： 分布式存储 分布式计算 所谓分布式系统就是一批计算机组合起来共同对外提供服务，对于用户来说具体有多少规模的计算机完成了这次请求，完全是无感知的。分布式系统中的计算机越多，意味着计算和存储资源等也就越多，能够处理的并发访问量也就越大，响应速度也越快。 如图为简单整体架构图： 大前端 主要实现了服务应用对应的所有流量的接入，比如xyz域名下可能有N个子服务，这一层涉及很多网络流量的处理，也很有挑战，像百度的BFE(百度统一前端)接入了百度的大部分流量，每日转发1万亿次，峰值QPS1000w。 中间层 完成了各个服务的调度和分发，粒度相比大前端接入层更细致一些，这一层实现了用户的无感知体验，可以简单理解为反向代理层。 业务层 完成了数据存储、数据计算、数据缓存等，各个业务环节高度解耦，并且基于集群化来实现。

redis数据迁移操作 实际生产场景中，有可能迁移机房或者更换物理机等因素，redis数据会在生产环境迁移。 遇到这种情况应该如何处理，下面就谈谈：　 　　　redis客户端连接命令,分别连接旧环境中的主从redis Src目录下./redis-cli -h IP -p PORT 使用info replication 命令找出主redis 使用客户端命令连接主redis 之后,执行 BGSAVE 命令,会返回 Background saving started (保存redis中最新的key值) 然后执行LASTSAVE 命令 ,会返回一个时间戳 (返回最近一次 Redis 成功将数据保存到磁盘上的时间，以 UNIX 时间戳格式表示),检查主redis src目录下的dump.rdb生成时间,与当前时间相同. 关闭客户端,进入主redis的src目录下,拷贝此目录下的dump.rdb 文件 将拷贝的dump.rdb文件替换新环境下 src目录下的配置文件 启动新环境的redis ,完成数据迁移. 实际生产场景中，有可能迁移机房或者更换物理机等因素，redis数据会在生产环境迁移。 遇到这种情况应该如何处理，下面就谈谈：　 　　　redis客户端连接命令,分别连接旧环境中的主从redis Src目录下./redis-cli -h IP -p PORT 使用info