标签: DataX

3 篇文章

【补档】DataX 实践(二)从 PostgreSQL 读数据库全量同步表到 PostgreSQL 写数据库
在开展 PostgreSQL 增量同步到 MongoDB 的工作之前,先尝试个简单点的全量同步,也能熟悉一下 DataX 的各个配置项和其作用。 附下 DataX 的工作原理: 官方文档中也给了一个 MySQL 同步到 HDFS 的例子,和上面的流程图一起看会更容易理解: DataX 本身作为离线数据同步框架,采用 Framework+plugin…
【补档】DataX 实践(三)从 PostgreSQL 读数据库增量同步表到 MongoDB 写数据库
对价格字段进行增量同步。 简单阐述全量同步和增量同步区别: 全量同步:就是每天定时(避开业务高峰期)或者周期性全量把数据从一个地方拷贝到另外一个地方,可以采用直接全部覆盖(使用新数据覆盖旧数据)或者走更新逻辑(覆盖前判断下,如果新旧不一致,就更新)。 增量同步:就是指抓取某个时刻(更新时间)或者检查点以后的数据来同步,不是无规律的全量同步。 1、基…
【补档】DataX 实践(一)构建 DataX 的 Docker 容器镜像并测试运行
需要从 PostgreSQL 同步数据到 MongoDB,看了一圈选择了 DataX 工具,阿里的开源项目还是蛮值得信赖的。 官方并未提供 Docker 镜像,但是考虑到我现在已经部署了 K3s 集群,所以决定折腾下,自己构建个镜像来用。 参考文章:Docker 运行 DataX 实现数据同步方案 我的 Dockerfile 文件:DataX-do…