storm 可靠性

我们知道Storm有一个很重要的特性，那就是Storm API能够保证它的一个Tuple能够被完全处理，这一点尤为重要，其实storm中的可靠性是由spout和bolt组件共同完成的，下面就从spout和bolt两个方便给大家介绍一下storm中的可靠性，最后会给出一个实现了可靠性的例子。 1.Spout的可靠性保证 在Storm中，消息处理可靠性从Spout开始的。storm为了保证数据能正确的被处理, 对于spout产生的每一个tuple,storm都能够进行跟踪,这里面涉及到了ack/fail的处理, 如果一个tuple被处理成功,那么spout便会调用其ack方法,如果失败,则会调用fail方法。而topology中处理tuple的每一个bolt都会通过OutputCollector来告知storm,当前bolt处理是否成功。 我们知道spout必须能够追踪它发射的所有tuples或其子tuples，并且在这些tuples处理失败时能够重发。那么spout如何追踪tuple呢？storm是通过一个简单的anchor机制来实现的（在下面的bolt可靠性中会讲到）。 spout发射根tuple，根tuple产生子tuples。这就形成一个TupleTree。在这个tree中，所有的bolt都会ack或fail一个tuple