DynamoDB

日常工具用法---主要记录linux下一些工具的简单基本用法,方便自己查阅

我的梦境 提交于 2019-11-30 18:06:18
vim 对数字-1 ctrl+x 对数字+1 ctrl+a 统计多少个匹配字符 :%s/< match_word >//gn git 查看提交记录 git log --pretty=oneline <文件名> 查看一次的提记录更改 git show <356f6def9d3fb7f3b9032ff5aa4b9110d4cca87e> 删除远端分支 git push origin --delete <branchName> 删除远端分支 git branch -r -d <branch_remote_name> 删除本地分支 git branch -d <branch_name> 强制删除本地分支 git branch -D <branch_name> 同步远端删除的分支 git remote prune origin 取消合并分支 git merge --abort awk 打印需要的字段 grep " not_revs " 20180105.err.log |grep type=0 |awk -F "rid=" '{print $2}'|awk -F "," '{print $1}' telnet 查看端口是否通 telnet 192.168.1.10 80 split 按行分割文件 split -l 10 date.file rename 批量修改文件名字 rename 's/

使用DynamoShake从dynamodb迁移到mongodb

让人想犯罪 __ 提交于 2019-11-29 07:26:53
去年和今年年初,我们开源了 MongoShake 和 RedisShake 分别用于MongoDB和Redis的迁移、同步、备份等多种需求。最近,我们的shake系列又进一步壮大,我们推出了一款dynamodb迁移的工具:dynamo-shake。目前支持从dynamodb迁移到MongoDB,后续我们还会考虑支持多种通道,比如直接文件备份、迁移至kafka,或者迁移到别的数据库如cassandra,redis等。 下载地址:目前暂时不对外,请联系烛昭。 DynamoShake基本功能 DynamoDB支持全量和增量的同步,进程启动后会先进行全量同步,全量同步结束后进入增量同步的阶段。 全量同步分为数据同步和索引同步两部分,数据同步用于同步数据,数据同步结束后将会进行索引的同步,索引同步会同步默认的primary key,用户自建的索引GSI如果MongoDB是副本集支持,集群版目前暂时不支持同步。 增量同步只同步数据,不同步增量同步过程中产生的索引。 此外,全量和增量同步阶段不支持对原来的库表进行DDL操作,比如删表,建表,建索引等。 断点续传 全量同步不支持断点续传功能,增量同步支持断点续传,也就是说如果增量断开了,一定时间内恢复是可以只进行增量的断点续传。但在某些情况下,比如断开的时间过久,或者之前的位点(参考下文)丢失,那么都会导致重新触发全量同步。 同步数据