Akka Cluster原理与应用

Akka集群原理

Akka集群支持去中心化的基于P2P的集群服务，没有单点故障（SPOF）问题，它主要是通过Gossip协议来实现。对于集群成员的状态，Akka提供了一种故障检测机制，能够自动发现出现故障而离开集群的成员节点，通过事件驱动的方式，将状态传播到整个集群的其它成员节点。

• 状态转移与故障检测

Akka内部为集群成员定义了一组有限状态（6种状态），并给出了一个状态转移矩阵，代码如下所示：

Akka集群中的每个成员节点，都有可能处于上面的一种状态，在发生某些事件以后，会发生状态转移。需要注意的是，除了Down和Removed状态以外，节点处于其它任何一个状态时都有可能变成Down状态，即节点故障而无法提供服务，而在变成Down状态之前有一个虚拟的Unreachable状态，因为在Gossip收敛过程中，是无法到达或者经由Unreachable状态的节点，这个状态是由Akka实现的故障探测器（Failure Detector）来检测到的。处于Down状态的节点如果想要再次加入Akka集群，需要重新启动，并进入Joining状态，然后才能进行后续状态的转移变化。Akka集群成员节点状态及其转移情况，如下图所示：

我们说明一下Akka中的故障检测机制。在Akka中，集群中每一个成员节点M会被集群中的其他另一组节点（默认是5个）G监控，这一组节点G并不是整个集群中的其他所有节点，只是整个集群全部节点的一个子集，组G中的节点会检测节点M是否处于Unreachable状态，这是通过发送心跳来确认节点M是否可达，如果不可达则组G中的节点会将节点M的Unreachable状态向集群中组G之外的其它节点传播，最终使得集群中的每个成员节点都知道节点M故障。

• Akka事件集合

节点状态发生转移会触发某个事件，我们可以根据不同类型的事件来进行相应的处理，为了能够详细捕获到各种事件，我们先看一下Akka定义的事件集合，如图所示：

通常，在基于Akka Cluster的应用中实现Actor时，可以重写Actor的preStart方法，通过Cluster来订阅集群事件，代码示例如下所示：

例如，对于MemberUp事件，我们可以获取到对应Actor的引用ActorRef，然后通过与其进行消息交换，一起协同完成特定任务。

• Akka成员角色（Node Role）

Akka支持在每个成员节点加入集群的时候，设置成员自己的角色。通过角色划分，可以将使用Akka集群处理业务的系统划分为多个处理逻辑独立的子系统，每个子系统处理自己的业务逻辑，而且，划分得到的多个子系统都处于一个统一的Akka集群中。因此，每个子系统也具备了Akka集群所具有的特性，如故障检测、状态转移、状态传播等等。

Akka集群应用实践

我们基于Akka实现了一个简单的模拟日志实时处理的集群系统，可以从任何数据源输入数据，如文件、消息中间件Kafka、数据库，还可以是一个远程调用请求，我们收集数据，然数据经过一个拦截器层，最后解析处理数据为特定格式，最后数据写入Kafka。具体实现逻辑如下图所示：

上图中，我们将日志实时处理系统分为3个子系统，通过Akka的Role来进行划分，3个角色分别为collector、interceptor、processor，3个子系统中的节点都是整个Akka集群的成员。整个集群系统中的数据流向是：collector接收数据（或者直接对接特定数据源而产生数据），我们这里模式发送Nginx日志记录行，将数据发送到interceptor；interceptor收到collector发送的日志记录行，解析出请求的真是IP地址，拦截在黑名单IP列表中的请求，如果IP地址不在黑名单，则发送给processor去处理；processor对整个日志记录行进行处理，最后保存到Kakfa中。
我们抽象出用来订阅集群事件相关的逻辑，实现抽象类为ClusterRoledWorker，代码如下所示：

另外，定义了一些case class作为消息，方便在各个Actor之间进行发送/接收，代码如下所示：

Akka Cluster使用一个配置文件，用来指定一些有关Actor的配置，我们使用的配置文件为application.conf，配置内容如下所示：

上述配置中，我们创建的Akka Cluster的名称为event-cluster-system，初始指定了3个seed节点，实际上这3个节点是我们实现的collector角色的节点，用来收集数据。
下面，我们依次说明collector、interceptor、processor这3中角色的集群节点的处理逻辑：

• collector实现

我们实现的collector实现类为EventCollector，它是一个Actor，该实现类继承自ClusterRoledWorker抽象类，具体实现代码如下所示：

上面代码中，EventClientActor并不是属于我们创建的Akka集群event-cluster-system，它是一个位于集群外部的节点，它模拟向各个collector角色的节点发送消息。

• interceptor实现

与编写collector类似，实现的interceptor的Actor实现类为EventInterceptor，代码如下所示：

上述代码中，解析出Nginx日志记录中的IP地址，查看其是否在IP黑名单列表中，如果在内名单中则直接丢掉该记录数据。

• processor实现

EventProcessor的实现代码，如下所示：

角色为processor的Actor的实现类为EventProcessor，我们在其伴生对象中创建了5个实例，分别对应不同的端口。解析的Nginx日志记录最后保存到Kafka，示例如下所示：

查看源代码打印帮助