登录 / 注册
IT168技术开发频道
IT168首页 > 技术开发 > 技术开发技术 > 正文

基于高可用配置的RabbitMQ集群实践

2016-10-19 10:55    it168网站 原创  作者: 赵金荣 编辑: 覃里

  【IT168 技术】本文将提供一个基于高可用配置的RabbitMQ集群方案。通过介绍RabbitMQ的基本概念、主要作用和使用场景,并搭建RabbitMQ单节点环境、用程序演示消息发送接收过程,以及搭建RabbitMQ高可用集群环境,来生动而完整地介绍整个集群方案。并结合自己的实践,分享一些在集群环境下的客户端开发优化经验。

  本文内容主要包括以下几个方面:

  1、RabbitMQ基础介绍

  2、RabbitMQ单节点环境的实践

  3、RabbitMQ高可用集群环境的实践

  4、总结

  一、 RabbitMQ基础介绍

  RabbitMQ是基于AMQP(Advanced Message Queuing Protocol,高级消息队列协议)实现的消息中间件。消息中间件主要用于组件之间的解耦,消息的发送者无需知道消息接收者的存在,反之亦然。RabbitMQ有很多优点:

  1、支持集群环境和高可用队列,鲁棒性强

  2、支持丰富的开发平台,如Java、.NET、Python、Perl、PHP、JavaScript等;

  3、可运行在大多数操作系统;

  4、开源、有活跃的社区、有丰富的插件。

  RabbitMQ作为消息代理(message broker),给我们提供了发送、接收消息的平台,并能在消息被接收之前保持其持久性。通常用于应用程序之间、以及程序内各组件之间的消息传递等场景。比如,用于实现Java程序与Perl程序之间的消息传递;又如在Java Web程序中用于后台功能模块与前台通知模块之间的消息传递,等等。

  在使用RabbitMQ进行客户端开发之前,我们需要了解下它的基本组件和概念:

  Broker: 消息队列服务器,是接受客户端连接,实现AMQP消息队列和路由功能的进程。

  1、Virtual Host: 是一个逻辑概念,一个Virtual Host里面可以有若干个Exchange和Queue,它是权限控制的最小单元。

  2、Queue: 消息队列载体,用于存储消息。

  3、Exchange: 路由,用于接收消息并根据Binding规则将消息路由给服务器中的队列。

  4、Binding: 绑定,用于把Exchange和Queue按照路由规则绑定起来。

  5、RoutingKey: 路由关键字,Exchange根据这个关键字进行消息投递。

  6、Connection: 连接,一个位于客户端和Broker之间的TCP连接。

  7、Channel: 消息通道,在客户端的每个Connection里可建立多个Channel,每个channel代表一个会话。之所以需要Channel,是因为TCP连接的建立和释放都是十分昂贵的。

  二、 RabbitMQ单节点环境的实践

  上面简单介绍了RabbitMQ的作用和优点,以及基本组件和概念。接下来,我们以Ubuntu 14.04 LTS 64bit的服务器为例,动手搭建一个RabbitMQ Server的单节点环境(当前最新版是rabbitmq-server_3.6.5),并编写java程序来测试RabbitMQ发送、接受消息的具体过程,具体步骤如下:

  1. 通过APT方式安装RabbitMQ服务

  1.1 添加APT库到本地软件更新的服务器地址列表中:

  echo 'deb http://www.rabbitmq.com/debian/ testing main' |sudo tee /etc/apt/sources.list.d/rabbitmq.list

  1.2 下载RabbitMQ的公钥并添加到本地trusted数据库中:

  wget -O- https://www.rabbitmq.com/rabbitmq-release-signing-key.asc |sudo apt-key add -

  1.3 更新APT库软件包列表:

  sudo apt-get update

  1.4 安装RabbitMQ软件包(安装之后默认启动):

  sudo apt-get install rabbitmq-server

  2. 启用常用插件,包括管理插件、web-stomp插件等

  rabbitmq-plugins enable rabbitmq_management rabbitmq_web_stomp rabbitmq_stomp

  3. 添加管理用户并授权

  RabbitMQ安装之后,会创建默认的Virtual Host(即“/”),以及默认的管理账户(guest/guest),但该guest账户只能以localhost方式连接到Broker。如果需要远程访问Broker, 我们可以通过配置新的管理员账户来实现。

  rabbitmqctl add_user admin admin

  rabbitmqctl set_user_tags admin administrator

  rabbitmqctl set_permissions -p / admin '.*' '.*' '.*'

  4. 重启服务

  service rabbitmq-server restart

基于高可用配置的RabbitMQ集群实践
RabbitMQ安装过程

  另外,通过service rabbitmq-server status 命令可以查看该服务是否正常运行

  5. 访问管理页面

  重启服务之后,在浏览器中输入http://{server_ip}:15672,并用上面新建的admin/admin账户来登录,即可监控RabbitMQ的运行情况。

  通过管理页面,我们可以管理Connection、Channel、Exchange、Queue等组件,并能够通过Admin模块来管理User、Virtual Host及Policy。

基于高可用配置的RabbitMQ集群实践
RabbitMQ管理页面(需启用管理插件)

  6. 使用Java程序发送、接收消息

  现在我们来通过java程序来实现一个简单的生产者-消费者模型。生产者(P)发送消息到Broker的Queue中,消费者(C)从Broker的Queue中获取消息。如下图:

基于高可用配置的RabbitMQ集群实践
▲基于消息队列的生产者消费者模型

  6.1 编写生产者java类:Send.java

基于高可用配置的RabbitMQ集群实践
▲Send.java

  6.2 编写消费者java类:Recv.java

基于高可用配置的RabbitMQ集群实践
▲Recv.java

  6.3 运行程序Send.java及Recv.java,查看消息发送、接收情况。

基于高可用配置的RabbitMQ集群实践
▲Send.java与Recv.java执行结果

  三、 RabbitMQ高可用集群环境的实践

  集群是保证服务可靠性的一种方式,同时可以通过水平扩展以提升消息吞吐能力。RabbitMQ是用分布式程序设计语言erlang开发的,所以天生就支持集群。接下来,将介绍RabbitMQ分布式消息处理方式、集群模式、节点类型,并动手搭建一个高可用集群环境,最后通过java程序来验证集群的高可用性。

  1. 三种分布式消息处理方式

  RabbitMQ分布式的消息处理方式有以下三种:

  1、Clustering:不支持跨网段,各节点需运行同版本的Erlang和RabbitMQ, 应用于同网段局域网。

  2、Federation:允许单台服务器上的Exchange或Queue接收发布到另一台服务器上Exchange或Queue的消息, 应用于广域网,。

  3、Shovel:与Federation类似,但工作在更低层次。

  RabbitMQ对网络延迟很敏感,在LAN环境建议使用clustering方式;在WAN环境中,则使用Federation或Shovel。我们平时说的RabbitMQ集群,说的就是clustering方式,它是RabbitMQ内嵌的一种消息处理方式,而Federation或Shovel则是以plugin形式存在。

  2. 两种集群模式

基于高可用配置的RabbitMQ集群实践
▲RabbitMQ集群结构

  2.1 普通模式(默认)

  图7是由3个节点(Node1,Node2,Node3)组成的RabbitMQ普通集群环境,Exchange A的元数据信息在所有节点上是一致的;而Queue的完整信息只有在创建它的节点上,各个节点仅有相同的元数据,即队列结构。

  当producer发送消息到Node1节点的Queue1中后,consumer从Node3节点拉取时,RabbitMQ会临时在Node1、Node3间进行消息传输,把Node1中的消息实体取出并经过Node3发送给consumer。

  该模式存在一个问题:当Node1节点发生故障后,Node3节点无法取到Node1节点中还未被消费的消息实体。如果消息没做持久化,那么消息将永久性丢失;如果做了持久化,那么只有等Node1节点故障恢复后,消息才能被其他节点消费。

  2.2 镜像模式(基于镜像队列)

  它是在普通模式的基础上,把需要的队列做成镜像队列,存在于多个节点来实现高可用(HA)。该模式解决了上述问题,Broker会主动地将消息实体在各镜像节点间同步,在consumer取数据时无需临时拉取。

  该模式带来的副作用也很明显,除了降低系统性能外,如果镜像队列数量过多,加之大量的消息进入,集群内部的网络带宽将会被大量消耗。通常地,对可靠性要求较高的场景建议采用镜像模式。

  3. 两种集群节点类型

  1、RAM Node(内存节点):将所有的Virtual Host、Queue、Exchange、Binding、User等的元数据存储在内存中,因此性能比较出色。

  2、DISC Node(磁盘节点): 将元数据存储在磁盘中。

  注:RabbitMQ单节点环境只允许是磁盘节点,防止重启RabbitMQ时丢失系统的配置信息。RabbitMQ集群环境至少要有一个磁盘节点,因为当节点加入或者离开集群时,必须要将该变更通知到至少一个磁盘节点。

  • IT168企业级IT168企业级
  • IT168文库IT168文库

扫一扫关注

行车视线文章推荐

首页 评论 返回顶部