datax 启动方式

datax 三种启动方式

  • 第一种使用python:

  • 第二种 java源码

  • 第三中 java命令启动 其实就是python启动最终攒出来的java命令

具体启动方式(暂时只测试了windows下)

  1. 第一步 配置 java环境

  2. 第二步 直接输入命令 (注意后面的参数按需修改执行的时候得把下面这一对放到一行) :

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    java 
    -server
    -Xms1g
    -Xmx1g
    -XX:+HeapDumpOnOutOfMemoryError
    -XX:HeapDumpPath=D:\DevelopSoftware\datax\DataX-new\DataX\target\datax\datax\heapdump
    -Dloglevel=info
    -Dfile.encoding=UTF-8
    -Dlogback.statusListenerClass=ch.qos.logback.core.status.NopStatusListener
    -Djava.security.egd=file:///dev/urandom
    -Ddatax.home=D:\DevelopSoftware\datax\DataX-new\DataX\target\datax\datax
    -Dlogback.configurationFile=D:\DevelopSoftware\datax\DataX-new\DataX\target\datax\datax\conf\logback.xml
    -classpath D:\DevelopSoftware\datax\DataX-new\DataX\target\datax\datax\lib\*
    -Dlog.file.name=log\joblog\job_log com.alibaba.datax.core.Engine
    -mode standalone
    -jobid -1
    -job D:\DevelopSoftware\datax\DataX-new\DataX\target\datax\datax\job\job.json

    如果需要远程debug 再加个jvm参数即可 -Xdebug -Xrunjdwp:transport=dt_socket,server=y,address=9999

  3. 第三步 回车你就会发现datax启动执行了

  4. 第四步 如果你想做增量同步 那就需要动态参数了 比如你配置中有${startTime}动态参数 只需要在命令中添加-DstartTime=20221202 这样就可以了 但是要注意 这个参数再命令中需要写在

    1
    com.alibaba.datax.core.Engine 这个全限定类名之前 否则是没法执行的。

datax 启动方式
https://flepeng.github.io/044-DataX-datax-启动方式/
作者
Lepeng
发布于
2021年3月6日
许可协议