pgloader 是一个不错的多种格式数据同步到pg 的工具,pgloader 使用postrgresql 的copy 协议进行高效的数据同步处理
csv、fixed 列、dbase、sqlte、ibm ixf、postgresql、mysql、sql server
在加载数据之前可以进行数据调整,清理
可以加载需要字段
zip、tar、gzip 导入数据
支持http 请求数据的加载
加载数据的时候,pgloader 会考虑现有列,并尽可能的猜测csv 格式
在部分情况下,可能是需要完整数据的pre
post
可以方便的在数据加载之前,以及之后进行一些sql 操作,比如索引、表,权限的创建管理
对于迁移可能只需要进行schema 的迁移,也可能只进行数据的迁移
可以在迁移的时候进行数据类型的转换
可以在迁移的时候将view 转化为table- 分发数据到citus
pgloader 可以帮助做这样的事情
可以让我们的数据库迁移类似持续集成一样,可以增强我们迁移的信心
https://pgloader.readthedocs.io/en/latest/
https://github.com/dimitri/pgloader