AutoMQ_个人页

AutoMQ

文章

问答

视频

个人介绍

暂无个人介绍

擅长的技术

获得更多能力

通用技术能力：

暂时未有相关通用技术能力~

云产品技术能力：

暂时未有相关云产品技术能力~

阿里云技能认证

详细说明

高分内容

最新动态

文章
问答
视频

暂无更多信息

2024年05月

05.11 17:59:10

发表了文章 2024-05-11 17:59:10

分层存储救不了Kafka

Apache Kafka，作为流处理领域的标杆，面临云环境下的挑战，如高存储成本、运维复杂性和性能瓶颈。传统的本地磁盘Shared Nothing架构导致这些问题，而分层存储仅部分缓解，未根本解决问题。直接写入S3虽降低成本，但牺牲了延迟。为解决这些痛点，提出了创新的共享存储架构，通过EBS+S3实现存算分离，保持低延迟并提高弹性，同时降低成本和运维复杂性。该架构将EBS视为共享存储，实现Broker与存储的解耦，确保在云时代引领流处理系统的发展。
05.09 18:17:22

发表了文章 2024-05-09 18:17:22

AutoMQ 如何基于裸设备实现高性能的 WAL

AutoMQ是基于S3 Stream的Apache Kafka云原生解决方案，利用云盘和对象存储实现低延迟、高吞吐、低成本流式存储。Delta WAL是其核心组件，作为持久化写入缓冲区，先在云盘上做高效持久化，再上传至对象存储。Delta WAL采用Direct IO在裸设备上读写，避免Page Cache污染，提高写入性能，加快宕机恢复速度。设计目标包括轮转写入、充分利用云盘性能和快速恢复。其写入和恢复流程涉及WALHeader、RecordHeader和SlidingWindow数据结构。基准测试显示，Delta WAL能充分利用云盘资源，实现高吞吐和低延迟。
05.09 18:13:41

发表了文章 2024-05-09 18:13:41

Kafka 线程模型痛点攻克：提升分区写入 2 倍性能

Apache Kafka的单分区写入性能在某些严格保序场景中至关重要，但其现有线程模型限制了性能发挥。本文分析了Kafka的串行处理模型，包括SocketServer、KafkaChannel、RequestChannel等组件，指出其通过KafkaChannel状态机确保请求顺序处理，导致处理效率低下。AutoMQ提出流水线处理模型，简化KafkaChannel状态机，实现网络解析、校验定序和持久化的阶段间并行化，提高处理效率。测试结果显示，AutoMQ的极限吞吐是Kafka的2倍，P99延迟降低至11ms。
05.06 14:57:00

发表了文章 2024-05-06 14:57:00

AutoMQ 系统测试体系揭秘

Apache Kafka 的系统测试框架包括1000+的集成和性能测试，使用ducktape框架，支持Docker、虚拟机和AWS EC2环境。AutoMQ基于此框架确保代码健壮性和与Kafka的兼容性。测试通过Docker环境运行，目录结构包含Docker、kafkatest等子目录，测试case位于kafkatest/tests中。运行测试使用`run_tests.sh`脚本，测试结果和日志会被保存。AutoMQ目前有543个系统测试案例，每日通过GitHub Action自动运行，保证与Kafka的兼容性和服务健壮性。
05.06 14:55:39

发表了文章 2024-05-06 14:55:39

Kafka Exactly Once 语义实现原理：幂等性与事务消息

Apache Kafka的Exactly-Once语义确保了消息处理的准确性和一致性。通过幂等性和事务消息，Kafka实现了要么全处理要么全不处理的原子性。文章详细解析了Kafka事务的工作流程，包括生产者的幂等性（通过序列号保证），以及事务消息的提交和回滚过程。Kafka事务提供了ACID保证，但存在性能限制，如额外的RPC请求和单生产者只能执行一个事务。此外，事务适用于同集群内的操作，跨集群时原子性无法保证。了解这些原理有助于开发者更好地利用Kafka事务构建可靠的数据处理系统。
05.06 14:54:25

发表了文章 2024-05-06 14:54:25

小红书黄章衡：AutoMQ Serverless 基石-秒级分区迁移

Apache Kafka的分区迁移通常需要大量数据同步，耗时较长，但在AutoMQ中，由于存算分离架构，迁移时间缩短至秒级。本文深入解析了AutoMQ秒级迁移的原理和源码，包括构建迁移命令、Broker同步变更、元数据持久化、数据上传、选主以及数据恢复等六个步骤。这种高效迁移能力适用于高峰期快速扩容和Serverless按需扩容场景，提升了系统的弹性和运维效率。AutoMQ由Apache RocketMQ和Linux LVS团队创建，旨在提供成本优化和高弹性消息队列服务。
05.06 14:48:11

发表了文章 2024-05-06 14:48:11

为什么公共云的弹性能力很难被发挥出来？

本文探讨了云计算的弹性能力与实际应用的差距，指出云厂商的包年包月策略与弹性需求相冲突。作者建议改进Spot实例回收机制和资源创建API的SLA，以促进更广泛的弹性使用。同时，文章强调程序员在资源回收上的挑战，类比于编程语言中内存管理的问题，提出需要更好的资源回收解决方案。此外，基础软件和应用层尚未充分准备好支持弹性，尤其是有状态应用。企业应利用Cloud Run等托管服务实现计算资源弹性，并选择支持弹性的基础软件。文章还介绍了AutoMQ如何利用弹性能力降低成本，并预告了一场相关 Meetup 活动。
05.06 14:46:23

发表了文章 2024-05-06 14:46:23

Kafka 迁移工具 MirrorMaker2 原理起底

MirrorMaker2 (MM2) 是 Kafka 从 2.4.0 开始提供的数据复制工具，用于集群间的数据同步和备份。MM2 有三种部署模式：dedicated mode、standalone mode 和 Kafka Connect mode。AutoMQ即将推出基于MM2的迁移产品，助力用户平滑迁移到AutoMQ平台。
05.06 14:43:24

发表了文章 2024-05-06 14:43:24

从 Redis 开源协议变更看开源软件与云计算巨头之间的竞争博弈

Redis将从BSD许可证转向RSALv2和SSPLv1的双重许可，以应对云时代挑战，保护开源精神，防止云厂商垄断。这一变化旨在确保开源软件的公平竞争，类似过去IE浏览器与操作系统绑定的情况。Redis的CEO指出，旧开源概念已不合时宜，云厂商应为使用开源项目做出贡献。AutoMQ作为云原生Kafka，采用BSL协议，旨在平衡开源与商业竞争，坚持可持续发展和开源初心。
05.06 14:36:27

发表了文章 2024-05-06 14:36:27

一文搞懂 Kafka consumer 与 broker 交互机制与原理

AutoMQ致力于打造下一代云原生Kafka系统，解决Kafka痛点。本文深入解析Kafka Consumer与Broker的交互机制，涉及消费者角色、核心组件及常用接口。消费者以group形式工作，包括leader和follower。交互流程涵盖FindCoordinator、JoinGroup、SyncGroup、拉取消息和退出过程。文章还探讨了broker的consumer group状态管理和rebalance原理。AutoMQ团队分享Kafka技术，感兴趣的话可以关注他们。
03.05 10:28:34

发表了文章 2024-03-05 10:28:34

活动报名｜AutoMQ x 阿里云云原生创新论坛（2024.03.09）见证“新一代云原生 Kafka ”重磅发布！

新一年， AutoMQ 首场线下活动重磅来袭！2024年3月9日，由 AutoMQ 与阿里云联合举办的云原生创新论坛将于杭州与大家见面，双方联合重磅发布新一代云原生 Kafka ——AutoMQ On-Prem 版本！现场将会分享如何通过云原生和存算分离架构实现 Kafka 产品的10倍成本优化，并保持秒级分区无损迁移。另外，活动现场还有来自得物的技术专家分享 AutoMQ 在生产场景中的应用实践，以及阿里云的资深专家为大家剖析多 AZ 块存储的原理。