JStorm 的窗口机制支持 Processsing time、Ingestion time、Event time、Watermark (late element) 和 Window early fire。JStorm 的 Bolt 分为 StatelessB bolt 和 StatefulB bolt 两种。实际上,每一个 batch 的处理和发送是可以并行的,只是 TM本身的 Checkpoi
JStorm是一个用于流处理的分布式框架,具有强大的性能、稳定性和可扩展性。它的整体架构如图所示,采用了最新的技术,例如窗口机制和 Beam 集成。JStorm 在阿里集团、蚂蚁、优酷、土豆和高德等公司都有广泛的应用。
JStorm 的窗口机制支持 Processsing time、Ingestion time、Event time、Watermark (late element) 和 Window early fire。这种机制使得 JStorm 能够在处理大量数据时保持高效的运行,同时还能适应各种处理延迟情况。
JStorm 还具有优秀的监控系统,可以自动聚合功能,帮助用户更好地了解应用程序的运行状况。该系统可以统计所有级别的 Metrics,并展示完整的历史曲线,而不仅仅是单点数据。
JStorm 的 Bolt 分为 StatelessB bolt 和 StatefulB bolt 两种。StatelessB bolt 比较简单,就是正常处理,继续往下游 Bolt 发。实际上,每一个 batch 的处理和发送是可以并行的,只是 TM本身的 Checkpoint 是串行的,这样就可以很好
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请通知我们,一经查实,本站将立刻删除。