数据迁移

数据迁移的工具有很多，基本SSMA团队已经考虑到其他数据库到SQL Server迁移的需求了，所以已经开发了相关的迁移工具来支持。 此博客主要介绍MySQL到SQL Server数据迁移的工具： SQL Server Migration Assistant for MySQL 的使用. 从上面链接的官网下载安装. 第一步：创建一个迁移工程 需要注意的是你需要选择迁移到的SQL Server数据库的版本，目前支持：SQL Azure,SQL Server 2005,SQL Server2008,SQL Server 2012,SQL Server2014,根据实际需要选择你要迁移到目标数据库的版本。 第二步：连接源数据库和目标数据库 上面的是源：MySql，下面的是目标：SQL Server 第三步:选择需要迁移的数据库创建迁移分析报告 此报告会分析当前需要迁移的数据库中的所有表结构并会生成一个可行性报告 生成的报告如下：分析需要转换的对象，表，数据库有多少个，是否存在不可转换的对象等信息，如有检查错误会下下面输出 第四步： 转换schema 也就是数据库结构 迁移分两步：1.转换数据库结构，2.迁移数据 第五步：在源数据库转换完schema之后记得在目标数据库上执行同步schema操作 否则转换的数据库结构是不会到目标数据库的 点击同步之后同样会有一个同步的报告：

ceph迁移有很多种方案。最简单的就是上一台新的，拆一台旧的。但是这样的方法不安全，有可能在数据迁移到一半的时候出现异常而老的数据在迁移回去费时费力而且又可能出现新的问题。所以今天分享一个比较安全的迁移方案。 1 设计方案 1.1 准备硬件 硬件准备包括安装操作系统，防火墙关闭，插入磁盘，分配网络，安装ceph软件。 1.2 迁移规划 迁移前： 主机 IP 组件 ceph-admin 172.18.0.131 mon,osd ceph-node1 172.18.0.132 mon,osd ceph-node2 172.18.0.133 mon,osd 迁移后： 主机 IP 组件 ceph-admin 172.18.0.131 mon ceph-node1 172.18.0.132 mon ceph-node2 172.18.0.133 mon transfer01 172.18.0.135 osd transfer02 172.18.0.34 osd transfer03 172.18.0.51 osd 2 迁移原理 迁移原理基于ceph 的crush 伪随机原理。简单的说就是当副本数增加的时候原来bucket中的数据不迁移，只是拷贝一份副本到新的bucket中。当副本数减少的时候 也是把指定的bucket中的数据删除，其他bucket中的数据不会迁移。 2.1

在使用数据库的过程中，经常会遇到数据库迁移或者数据迁移的问题，或者有突然的数据库损坏，这时需要从数据库的备份中直接恢复。但是，此时会出现问题，这里说明几种常见问题的解决方法。 一、孤立用户的问题 比如，以前的数据库的很多表是用户test建立的，但是当我们恢复数据库后，test用户此时就成了孤立用户，没有与之对应的登陆用户名，哪怕你建立了一个test登录用户名，而且是以前的用户密码，用该用户登录后同样没办法操作以前属于test的用户表。 这个问题有两种办法解决。 先说解决的前提条件。 首先，要用备份文件还原数据库，我们这里的数据库名为testdb，里面有属于用户test的用户表。这个很容易了操作了，不多讲了，在企业管理器中很方便可以恢复。恢复后，就产生了孤立用户test。 然后，用sa用户或者具有DBA权限的用户登录，创建一个test数据库登录用户，密码随便设置了，也可以和以前的保持一致。我们用它来对应孤立的test用户。 下面就有两种操作方法了，第一种就是改变对象的属主，第二种就是使登录用户和数据库的孤立用户对应起来。先说第一种方法。 1、修改对象属主 就是将原本属于数据库用户test的用户表，修改为属于dbo的用户表；然后修改test登录用户的数据库为testdb,就可以直接使用test登录用户登录后对该数据库进行操作了。 使用的存储过程 sp_changeobjectowner

Amazon Redshift数据迁移到MaxCompute Amazon Redshift 中的数据迁移到MaxCompute中经常需要先卸载到S3中，再到阿里云对象存储OSS中，大数据计算服务MaxCompute然后再通过外部表的方式直接读取OSS中的数据。 如下示意图： 前提条件 本文以SQL Workbench/J工具来连接Reshift进行案例演示，其中用了Reshift官方的Query editor发现经常报一些奇怪的错误。建议使用SQL Workbench/J。 下载Amazon Redshift JDBC驱动程序，推荐4.2 https://s3.amazonaws.com/redshift-downloads/drivers/jdbc/1.2.16.1027/RedshiftJDBC42-1.2.16.1027.jar 在SQL Workbench/J中新建Drivers，选择下载的驱动程序jar，并填写Classname为 com.amazon.redshift.jdbc42.Driver。 配置新连接，选择新建的Driver，并复制JDBC url地址、数据库用户名和密码并勾选Autocommit。 如果在配置过程中发现一只connection time out，需要在ecs的vpc安全组中配置安全策略。具体详见： https://docs.aws

3 月，跳不动了？>>> 本次分享的内容主要包括五个大部分： Redis、RedisCluster和Codis; 我们更爱一致性; Codis在生产环境中的使用的经验和坑们; 对于分布式数据库和分布式架构的一些看法; Q & A环节。   Codis是一个分布式Redis解决方案，与官方的纯P2P的模式不同，Codis采用的是Proxy-based的方案。今天我们介绍一下Codis及下一个大版本RebornDB的设计，同时会介绍一些Codis在实际应用场景中的tips。最后抛砖引玉，会介绍一下我对分布式存储的一些观点和看法，望各位首席们雅正。 一、 Redis，RedisCluster和Codis    Redis ：想必大家的架构中，Redis已经是一个必不可少的部件，丰富的数据结构和超高的性能以及简单的协议，让Redis能够很好的作为数据库的上游缓存层。但是我们会比较担心Redis的单点问题，单点Redis容量大小总受限于内存，在业务对性能要求比较高的情况下，理想情况下我们希望所有的数据都能在内存里面，不要打到数据库上，所以很自然的就会寻求其他方案。 比如，SSD将内存换成了磁盘，以换取更大的容量。更自然的想法是将Redis变成一个可以水平扩展的分布式缓存服务，在Codis之前，业界只有Twemproxy，但是Twemproxy本身是一个静态的分布式Redis方案，进行扩容

参照文档： http://www.cnblogs.com/farb/p/ABPAdvancedTheoryContent.html 案例： http://pan.baidu.com/s/1c1Qgg28 一、领域建模和管理实体关系 二、 使用LINQ to Entities操作实体 三、预加载 四、CURD 五、EF使用视图 六、EF使用存储过程 七、异步API 八、管理并发 九、事务 十、数据库迁移 十一、应用迁移 十二、EF的其他功能 一、领域建模和管理实体关系 1，流利地配置领域类到数据库模式的映射 namespace FirstCodeFirstApp { public class Context:DbContext { public Context() : base("name=FirstCodeFirstApp") { } public DbSet<Donator> Donators { get; set; } public DbSet<PayWay> PayWays { get; set; } protected override void OnModelCreating(DbModelBuilder modelBuilder) { modelBuilder.Entity<Donator>().ToTable("Donators").HasKey(m => m

lpl = (DESCRIPTION = (ADDRESS = (PROTOCOL = TCP)(HOST = 192.168.1.1)(PORT = 1521)) (CONNECT_DATA = (SERVER = DEDICATED) (SERVICE_NAME = test1) ) ) msi = (DESCRIPTION = (ADDRESS = (PROTOCOL = TCP)(HOST = 192.168.1.2)(PORT = 1521)) (CONNECT_DATA = (SERVER = DEDICATED) (SERVICE_NAME = test2) ) ) tnsping lpl tnsping msi create public database link jd connect to test identified by "112233" using 'msi'; test/112233 select * from test.test1@jd; create table xxx as select * from xxx@DBLINK名称 来实现的 revoke dba from test; grant select any dictionary to test; select * from session_privs; 来源： https://www

进行数据迁移时： 第一步： 命令：python manage.py makemigrations 在对应的应用里面的 migrations文件夹中产生了一个0001_initial.py文件 第二步： 执行 sqlmigrate命令查看生成的文件本质 命令： python manage.py sqlmigrate 应用名 文件名前缀 例如：python manage.py sqlmigrate myblog 0001 第三步： 执行 migrate命令真正生成数据库表文件 命令 :python manage.py migrate 现在出现一个问题：当执行第三步，同步数据库的时候，报错： 经过网上搜索，原因是： django2.1 版本不再支持mysql5.5 没办法，我的解决办法是：更换了Django版本号，或者mysql版本号。 来源： https://www.cnblogs.com/aidenzdly/p/11002506.html

http://www.cnblogs.com/haogj/archive/2012/02/17/2356537.html 1.安装 最新 NuGet 2.安装EntityFramework：在程序包管理器控制台中命令 Install-Package EntityFramework。 安装的将是最新版本。本人是VS2010，只能安装上最新的EF6.X时才能正常使用Migration数据迁移功能。 NuGet没找到办法安装老版本的EF5，如遇大神，请指点。 项目中手动引用老版本的EF5[4.4.0.0]，可以正常使用CodeFirst，但没办法在NuGet使用Migration功能。 3.开启Migration功能：Enable-Migrations 4.更新Code中模型，运行程序，报错后：Add-Migration XXX [XXX为更新标示，如：更新User表Name字段] 5.Update-Database -verbose 或 Update-Database -script 注：命令帮助 get-help entityframework 来源： https://www.cnblogs.com/i-blog/p/3511835.html

参考 https://www.elastic.co/guide/en/elasticsearch/reference/5.0/modules-snapshots.html https://www.elastic.co/guide/en/elasticsearch/guide/current/_rolling_restarts.html https://blog.csdn.net/u014431852/article/details/52905821 环境 阿里云elasticsearch集群5.0版本 微软云elasticsearch集群5.6版本 需求 需要把阿里云elasticsearch集群新老数据迁移到微软云elasticsearch集群 解决 新数据比较好弄数据源输出到新的微软云kafka集群然后微软云logstash消费新数据到新elasticsearch集群即可，关于老数据迁移比较麻烦，但官网也给了成熟的解决方案既是快照备份与还原，下面实施过程既是对实施过程的记录 实施 阿里云elasticsearch集群操作 一，先关闭数据平衡，注意一个一个的来，关一个节点的进程none,all循环一次，否则最后集群切片变动，恢复时间很长 1、修改elasticsearch.yml配置，添加如下 path.repo: /storage/esdata 设置索引备份快照路径