Clickhouse-表引擎的一些应用心得-重命名能力

简介: Clickhouse-表引擎的一些应用心得-重命名能力

2000元阿里云代金券免费领取,2核4G云服务器仅664元/3年,新老用户都有优惠,立即抢购>>>


阿里云采购季(云主机223元/3年)活动入口:请点击进入>>>,


阿里云学生服务器(9.5元/月)购买入口:请点击进入>>>,

问题场景

(1)所有表使用:MergeTree
(2)用户对某表 table1 进行大量更新操作(1w+条UPDATE操作)
(3)查询页面部分数据异常
(4)运维侧定位到clickhouse故障,无法启动

问题排查

(1)初始版本上线未使用clickhouse Replicated功能,无法在从节点恢复数据。
(2)磁盘中可以看到 table1 下存在大量mutation文件。
(3)删除mutation文件文件,clickhouse重启成功。

问题总结

Mutation操作
(1)ClickHouse 提供了 DELETE 和 UPDATE 的能力,这类操作被称为 Mutation 查询。
(2)Mutation能最终实现修改和删除,是异步实现,没有事务控制。
(3)Mutation 语句是一种“很重”的操作,更适用于批量数据的修改和删除,单条数据的UPDATE 操作代价是高昂的。
副本引擎
(1)所有表使用:MergeTree 引擎,没有备份能力;后续调整为备份引擎:Replicated功能。

后续问题

(1)ReplicatedMergeTree引擎对数据无法去重,导致数据成倍增加,统计数值成倍累加。
(2)最后,重新定义表格引擎,采用副本去重引擎:ReplicatedReplacingMergeTree
(3)每次全量导出数据时,可能会先truncate表数据,存在一段时间查询空缺。
建议使用clickhouse表重命名能力,导出完成后,重命名临时表为新表。
重命名命令:

rename table db1.table1 to db1.table2;
相关文章
|
7月前
|
存储 SQL 大数据
大数据技术之Clickhouse---入门篇---数据类型、表引擎
大数据技术之Clickhouse---入门篇---数据类型、表引擎
|
20天前
|
存储 安全 Java
Clickhouse数据库应用
Clickhouse数据库应用
|
存储 关系型数据库 MySQL
ClickHouse 集成表的引擎说明
ClickHouse 集成表的引擎说明
215 0
ClickHouse 集成表的引擎说明
|
存储 SQL 消息中间件
ClickHouse表引擎到底怎么选
表引擎在ClickHouse中的作用十分关键,直接决定了数据如何存储和读取、是否支持并发读写、是否支持index、支持的query种类、是否支持主备复制等。
33928 2
|
10天前
|
存储 Cloud Native 大数据
国内独家|阿里云瑶池发布ClickHouse企业版:云原生Serverless新体验
全面升级为云原生架构,支持云原生按需弹性Serverless能力,解决了长期困扰用户的集群扩展效率和平滑性问题。
国内独家|阿里云瑶池发布ClickHouse企业版:云原生Serverless新体验
|
14天前
|
存储 容灾 Cloud Native
阿里云ClickHouse企业版正式商业化,为开发者提供容灾性更好、性价比更高的实时数仓
2024年4月23日,阿里云联合 ClickHouse Inc. 成功举办了企业版商业化发布会。阿里云 ClickHouse 企业版是阿里云和 ClickHouse 原厂 ClickHouse. Inc 独家合作的存算分离的云原生版本,支持资源按需弹性 Serverless,帮助企业降低成本的同时,为企业带来更多商业价值。
379 1
|
2月前
|
SQL 数据可视化 Apache
阿里云数据库内核 Apache Doris 兼容 Presto、Trino、ClickHouse、Hive 等近十种 SQL 方言,助力业务平滑迁移
阿里云数据库 SelectDB 内核 Doris 的 SQL 方言转换工具, Doris SQL Convertor 致力于提供高效、稳定的 SQL 迁移解决方案,满足用户多样化的业务需求。兼容 Presto、Trino、ClickHouse、Hive 等近十种 SQL 方言,助力业务平滑迁移。
阿里云数据库内核 Apache Doris 兼容 Presto、Trino、ClickHouse、Hive 等近十种 SQL 方言,助力业务平滑迁移
|
5月前
|
SQL 运维 关系型数据库
阿里云DTS踩坑经验分享系列|如何使用DTS进行MySQL->ClickHouse同步
在使用阿里云DTS 进行MySQL->ClickHouse同步时,从准备工作,到创建任务,再到后期运维处理,新手可能会感到茫然和不知所措。为了帮助新手顺利过渡,本文将介绍使用阿里云DTS在进行MySQL到ClickHouse迁移时的最佳实践以及常见踩坑问题, 我们希望通过这篇文章,让您能无忧使用阿里云DTS进行数据迁移,享受ClickHouse带来的高效数据分析体验。
98340 12
阿里云DTS踩坑经验分享系列|如何使用DTS进行MySQL->ClickHouse同步
|
8月前
|
存储 缓存 Cloud Native
阿里云 ClickHouse 企业版首发邀测&云原生 ClickHouse 技术揭秘
云数据库 ClickHouse 企业版是阿里云和 ClickHouse, Inc 战略合作打造的云原生ClickHouse 产品。企业版推出专属 SharedMergeTree 云原生引擎,支持存算分离,Serverless 秒级实时弹性,集群吞吐和查询效率线性扩展及 Lightweight update 实时更新能力。本文将详细揭秘 SharedMergeTree 实现机制,实时弹性扩展实现原理,lightweight update 技术实现原理,同时对企业版和开源版进行详细的性能测试对比。

热门文章

最新文章

http://www.vxiaotou.com