datax安装(Windows版)

杀马特。学长 韩版系。学妹 提交于 2020-03-03 19:38:58

一、安装datax

下载地址:http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz

 

 

 将其解压即可。

二、测试安装是否成功

   1,打开cmd界面(同时按下Windows键+R键)

  2,输入CHCP 65001 防止中文乱码

  3,跳转到datax的bin目录下

    命令行:d:

        cd D:\BigDataTools\datax\datax\bin

  

   4,查看模板

    命令行: python datax.py -r streamreader -w streamwriter

  5,使用datax

   首先我们需要自定义好的json文件(从网上获取的,内容如下),命名为stream2stream.json

{
  "job": {
    "content": [
      {
        "reader": {
          "name": "streamreader",
          "parameter": {
            "sliceRecordCount": 10,
            "column": [
              {
                "type": "String",
                "value": "helle DataX"
              },
              {
                "type": "string",
                "value": "你吃完晚饭了吗?"
              },
              {
                "type": "string",
                "value": "不要在写代码了,太累了"
              }
            ]
          }
        },
        "writer": {
          "name": "streamwriter",
          "parameter": {
            "encoding": "GBK",
            "print": true
          }
        }
      }
    ],
    "setting": {
      "speed": {
        "channel": 5
       }
    }
  }
}

  输入命令行:python datax.py  +json文件的位置;如:python datax.py ./steam2stream.json

 

   效果:

 

 

三,备注

  如果你的python环境是python3.0以上的话,请到https://github.com/HxYyWw/DatatX_python3/tree/master下载对应的三个.py文件代替datax文件夹中bin目录下的三个.py文件即可。

 

标签
易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!