Kafka 比 RocketMQ 吞吐率高的根本原因

• 核心技术差异
  • Kafka：使用 sendfile 函数进行零拷贝，以减少数据拷贝次数和系统内核切换次数，从而获得更高的性能。
  • RocketMQ：使用 mmap 技术进行零拷贝，应用层可以获取消息内容并进行一些逻辑处理，如将消费失败的消息重新投递到死信队列中，但这也在一定程度上影响了性能。
• 结构设计不同
  • Kafka：采用简单的日志存储模型，每个主题分区是一个连续的日志，消息追加到日志文件末尾且不可改变，极大地优化了磁盘 I/O。
  • RocketMQ：在存储层面采用了更为复杂的设计，支持多种存储和索引机制，以便支持定时消息和事务消息等功能，这些额外的逻辑可能影响基本的消息传递性能。
• 设计目的有别
  • Kafka：设计哲学是保持简单，尽量减少对消息的处理，直接使用文件系统和网络栈的高效功能，追求极致性能。
  • RocketMQ：提供了更多的灵活性和精细控制，尤其是在消息过滤和服务质量保证上，考虑了更多的企业级特性和复杂的消息处理需求，这可能在某些场合下牺牲了一部分吞吐量。
• 数据复制和一致性机制
  • Kafka：使用简化的 “leader-follower” 复制模型，所有写入操作先在 leader 上执行，然后异步复制到 follower，减少写操作的等待时间，提高数据写入吞吐量。
  • RocketMQ：复制机制类似，但消息路由和存储机制更复杂，支持更多级别的消息可靠性和复杂的事务管理，可能增加额外开销。
• 消费者模型区别
  • Kafka：采用拉（pull）模型，消费者根据自己的处理能力拉取数据，在处理大量数据时能更好地控制内存和资源使用。
  • RocketMQ：通常也使用拉模型，但提供更多推（push）模式配置选项，在非常高的吞吐量需求下，推模式可能导致消费者端压力增大。