你的位置:首页 > Java教程

[Java教程]ActiveMQ笔记:基于Networks of Brokers的HA方案


上一篇介绍了基于ZK的ActiveMQ HA方案,虽然理解起来比较容易,但是有二个不足:

1)  占用的节点数过多,1个zk集群至少3个节点,1个activemq集群也至少得3个节点,但其实正常运行时,只有一个master节点在对外响应,换句话说,花6个节点的成本只为了保证1个activemq master节点的高可用,太浪费资源了。

2)  性能下降太明显,比起单节点的activemq,性能下降了近1个数量级。

这一篇将介绍基于networks of brokers的HA方案,不需要借助zk等第3方组件,只需要2个activemq节点就能达到类似效果,进入正题之前,先来简单谈谈Broker这个概念。

Broker一词的原意是『经纪人、中间人』,用在ActiveMQ的构架中,即:Broker作为Producer与Consumer的中间人(或代理人),生产者不用知道消费者在哪里、如何消费这些细节,只要将消息扔给中间人Broker即可,类似的,消费者也不用关心消息是从哪个生产者过来的,它只知道这是从Broker那里拿来的,如果画一张图来描述,就是下面这样(引用自本文最后参考文章中的图片)

 

那么,当生产者将消息发给Broker时,会发生什么?下图描述的就是这个过程:

1) 生产者将消息发给Broker

2) Broker将消息落地存储

3) 然后给生产者反馈:事情我已经办妥了!

继续,再来看看消费者又是如何跟Broker打交道的:

1) Broker将接收到的消息,从db中取出

2) 然后发送给消费者

3) 如果消费者使用的是自动确认模式(即:Session.AUTO_ACKNOWLEDGE),则Consumer会马上告诉Broker:ok,消息我已经收到了。

4) 然后进行自己的业务处理

5) Broker一旦收到确认,将会马上更新消息的状态为已消费(或直接删除,取决于持久化的实现机制)(注:虽然图中步骤5排在步骤4之后,但是步骤4、5几乎是同时发生的)

在一些大型应用中,如果一个Broker出现性能瓶颈抗不住压力,可能会拆分成多个Broker,如下图所示:

(注:上图中箭头的方法并非数据流向,而应该理解成调用关系,即:Producer调用Broker1,Consumer调用Broker2...)

Producer将消息发送给Broker1,而Consumer从另一个Broker2接收消息,有点类似数据库读写分离的意思,这样系统的性能可以提升一定程度的提升,但是问题来了,Broker1上的消息,如何同步到Broker2呢,这就依赖networkConnector的配置。

 1 <beans 2     ="http://www.springframework.org/schema/beans" 3     ="http://www.w3.org/2001/ 4     xsi:schemaLocation="http://www.springframework.org/schema/beans http://www.springframework.org/schema/beans/spring-beans.xsd 5  http://activemq.apache.org/schema/core http://activemq.apache.org/schema/core/activemq-core.xsd"> 6  7  <bean class="org.springframework.beans.factory.config.PropertyPlaceholderConfigurer"> 8   <property name="locations"> 9    <value>file:${activemq.conf}/credentials.properties</value>10   </property>11  </bean>12 13  <broker ="http://activemq.apache.org/schema/core" brokerName="activemq-1">14   <networkConnectors>15    <networkConnector uri="static:(tcp://127.0.0.1:61626)"/>16   </networkConnectors>17   <persistenceAdapter>18    <kahaDB directory="${activemq.data}/kahadb"/>19   </persistenceAdapter>20   <transportConnectors>21    <transportConnector name="openwire"22              uri="tcp://0.0.0.0:61616?maximumConnections=1000&amp;wireFormat.maxFrameSize=104857600"/>23   </transportConnectors>24  </broker>25 26  <import resource="jetty./>27 </beans>

View Code

注意:14-16行及21-22行,该Broker对外暴露61616端口,同时"连接"到61626端口(即另1个broker),最终的效果相当于,如果有producer把消息发到61616(broker1),则从另一个broker(61626端口)上也能消费这条消息。

明白这些基本原理后,在61626对应的activemq上,也做类似的配置,只不过"连接方向"正好相反,参考以下配置:

 1 <beans 2     ="http://www.springframework.org/schema/beans" 3     ="http://www.w3.org/2001/ 4     xsi:schemaLocation="http://www.springframework.org/schema/beans http://www.springframework.org/schema/beans/spring-beans.xsd 5  http://activemq.apache.org/schema/core http://activemq.apache.org/schema/core/activemq-core.xsd"> 6  7   <bean class="org.springframework.beans.factory.config.PropertyPlaceholderConfigurer"> 8     <property name="locations"> 9       <value>file:${activemq.conf}/credentials.properties</value>10     </property>11   </bean>12 13   <broker ="http://activemq.apache.org/schema/core" brokerName="activemq-2">14     <networkConnectors>15       <networkConnector uri="static:(tcp://127.0.0.1:61616)"/>16     </networkConnectors>17     <persistenceAdapter>18       <kahaDB directory="${activemq.data}/kahadb"/>19     </persistenceAdapter>20     <transportConnectors>21       <transportConnector name="openwire"22                 uri="tcp://0.0.0.0:61626?maximumConnections=1000&amp;wireFormat.maxFrameSize=104857600"/>23     </transportConnectors>24   </broker>25 26   <import resource="jetty./>27 </beans>

View Code

(注:如果希望2个activemq上都能访问admin管理界面,jetty.

这样,activemq-1与activemq-2这二个broker就互为主备,发给你的消息会同步到我,发给我的消息也会同步到你,实现了HA,示意图如下:

Producer与Consumer连接到activemq时,配置文件可以这么写:

1 <bean id="jmsFactory" class="org.apache.activemq.pool.PooledConnectionFactory" destroy-method="stop">2   <property name="connectionFactory">3     <bean class="org.apache.activemq.ActiveMQConnectionFactory">4       <!--broker服务的地址-->5       <property name="brokerURL" value="failover:(tcp://localhost:61616,tcp://localhost:61626)"/>6       ...7     </bean>8   </property>9 </bean>

这种HA方案的优点是占用的节点数更少(只需要2个节点),而且2个broker都可以响应消息的接收与发送,性能比zookeeper方案要好一些。

 

参考文章:

http://www.jakubkorab.net/2011/11/understanding-activemq-broker-networks.html

http://activemq.apache.org/networks-of-brokers.html