一、安装datax
下载地址:http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz
将其解压即可。
二、测试安装是否成功
1,打开cmd界面(同时按下Windows键+R键)
2,输入CHCP 65001 防止中文乱码
3,跳转到datax的bin目录下
命令行:d:
cd D:\BigDataTools\datax\datax\bin
4,查看模板
命令行: python datax.py -r streamreader -w streamwriter
5,使用datax
首先我们需要自定义好的json文件(从网上获取的,内容如下),命名为stream2stream.json
{ "job": { "content": [ { "reader": { "name": "streamreader", "parameter": { "sliceRecordCount": 10, "column": [ { "type": "String", "value": "helle DataX" }, { "type": "string", "value": "你吃完晚饭了吗?" }, { "type": "string", "value": "不要在写代码了,太累了" } ] } }, "writer": { "name": "streamwriter", "parameter": { "encoding": "GBK", "print": true } } } ], "setting": { "speed": { "channel": 5 } } } }
输入命令行:python datax.py +json文件的位置;如:python datax.py ./steam2stream.json
效果:
三,备注
如果你的python环境是python3.0以上的话,请到https://github.com/HxYyWw/DatatX_python3/tree/master下载对应的三个.py文件代替datax文件夹中bin目录下的三个.py文件即可。
来源:https://www.cnblogs.com/goubb/p/12403944.html