Flink CDC里earliest-offset:跳过快照阶段,从可读取的最早 binlog 位点开始读取
设置这个后,比如我保留七天的binlog,他是会从这七天最早的起点开始读取吗?可是老师,我遇到一个问题,我的结果表少了一批数据,我就设置这个参数去补,结果就读了几万条数据就开始增量同步了,然后丢的数据依然没有补回来,这是什么原因呢?因为在mysql有今天凌晨两点的数据,然后我的sink端却没有.老师这个怎么搞指导下呗,或者官网文档,难道会有数据库有数据,但是没有记录binlog的情况.
2000元阿里云代金券免费领取,2核4G云服务器仅664元/3年,新老用户都有优惠,立即抢购>>>
是这个意思,拿最早的binlog,但是cdc不知道是7天前,还是5天前?因为有些db会自动清理binlog.补数据推荐走单个表的snapshot方案.云上的rds mysql,有些不是你设置7天就保存7天,他们达到磁盘的临界值也会开始删除binlog.你不能确保binlog一定有你需要补数据的情况下, 走个batch就行。此回答来自钉群Flink CDC 社区。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。