前言:DMETL即达梦数据交换平台,是一个具备数据抽取(Extract)、清洗转换(Transform)和装载(Load)功能的通用的数据处理平台。DMETL在传统 ETL 工具的基础上,集成了数据同步、数据交换、数据整合功能,能够为基于数据集成的应用和日常的数据清洗转换工作提供了完整的支持,并具有高性能,可靠,易用,高拓展性的特点。
DMETL的使用通常可以分为五个主要步骤:创建数据源、创建工程、设计转换、设计作业和查看运行日志五个步骤。
一:创建数据源
切换到【数据源】选项卡,在【数据库】点击右键,选择【新建数据库数据源】菜单项,打开新建数据库数据源对话框,即可将数据源指向源数据库
在数据库节点上点击右键选择【添加表】,弹出添加表对话框,选择想要整合的表添加到系统中
之后可以用同样的操作来添加目的端数据库的数据源。在源 库下面的【SQL 查询】处,点击右键,选择【添加 SQL 查询】菜单项,即可添加SQL查询语句。
二:创建工程
工程是一个数据转换相关的对象的集合。逻辑上一个工程包括转换、作业、函数、变量以及调度五个子集合。在【工程】选项卡下,点击右键选择【新建工程】,弹出新建工程对话框,按下图输入工程名和工程描述后点击【确定】按钮后完成工程创建。
三:设计转换
DMETL通过转换来完成各种数据处理的任务。转换通常包括三种类型的节点:数据源节点、数据转换节点、数据目的节点,各节点之间通过连接线连接。节点的功能是处理(读取、转换以及装载)数据,连接线的功能是传递数据,DMETL中数据转换的过程可以看成是数据通过连线在不同的节点之间流动处理的过程,因此转换也被称作数据流。展开刚刚创建的工程,在【转换】节点上点击右键选择【新建转换】菜单项,弹出新建转换对话框,输入转换名和转换描述点击确定完成转换的创建。转换创建成功后系统会自动打开转换设计器。我们可以通过工具箱里的各种工具根据需求来设计各种各样的转换。
四:设计作业
DMETL中的作业的功能是控制转换以及其它任务运行的时间和顺序。作业由节点和连线组成。节点表示一个任务,而连线则表示任务的执行顺序和条件。转换和作业都可以设置调度,由服务器在后台自动执行。展开创建好的工程工程,在【作业】节点上点击右键选择【新建作业】菜单项,弹出新建转换对话框,输入作业名和作业描述点击确定即可完成作业的创建。
之后可以从从工具箱中把组件拖到流程设计器里来添加作业步骤,如把【脚本】标题下面把【SQL】组件拖到流程设计器中,然后双击 SQL 节点的图标,打开 SQL 节点的配置对话框,即可编写SQL语句作为作业步骤。如果要定期执行作业就要为作业设置调度,在工程下的【调度】节点上点击右键选择【新建调度】菜单项,弹出新建调度对话框,即可配置作业的调度。DMETL中的调度是由 DMETL引擎在后台运行的,默认状态下引擎是停止的。用户可以通过主界面工具栏上的启动引擎按钮来启动。
五:查看运行日志
DMETL会记录转换或者作业的执行日志,通过日志用户可以查看转换或者作业的执行状态。
来源:CSDN
作者:dmdba1
链接:https://blog.csdn.net/fengxiaozhenjay/article/details/104562777