在开展 PostgreSQL 增量同步到 MongoDB 的工作之前，先尝试个简单点的全量同步，也能熟悉一下 DataX 的各个配置项和其作用。 附下 DataX 的工作原理： 官方文档中也给了一个 MySQL 同步到 HDFS 的例子，和上面的流程图一起看会更容易理解： DataX 本身作为离线数据同步框架，采用 Framework+plugin…

对价格字段进行增量同步。 简单阐述全量同步和增量同步区别： 全量同步：就是每天定时（避开业务高峰期）或者周期性全量把数据从一个地方拷贝到另外一个地方，可以采用直接全部覆盖（使用新数据覆盖旧数据）或者走更新逻辑（覆盖前判断下，如果新旧不一致，就更新）。 增量同步：就是指抓取某个时刻（更新时间）或者检查点以后的数据来同步，不是无规律的全量同步。 1、基…

需要从 PostgreSQL 同步数据到 MongoDB，看了一圈选择了 DataX 工具，阿里的开源项目还是蛮值得信赖的。 官方并未提供 Docker 镜像，但是考虑到我现在已经部署了 K3s 集群，所以决定折腾下，自己构建个镜像来用。 参考文章：Docker 运行 DataX 实现数据同步方案 我的 Dockerfile 文件：DataX-do…