手机版 收藏 导航
首页
生活
美食
科技
汽车
数码
快讯
生活问答
综合知识
精选百科

jstorm(# sae 技术分享#)

原创 作者:老铁  时间:2023-05-12 09:16:23 来源:生活问答
导语

JStorm 的窗口机制支持 Processsing time、Ingestion time、Event time、Watermark (late element) 和 Window early fire。JStorm 的 Bolt 分为 StatelessB bolt 和 StatefulB bolt 两种。实际上,每一个 batch 的处理和发送是可以并行的,只是 TM本身的 Checkpoi

jstorm

JStorm是一个用于流处理的分布式框架,具有强大的性能、稳定性和可扩展性。它的整体架构如图所示,采用了最新的技术,例如窗口机制和 Beam 集成。JStorm 在阿里集团、蚂蚁、优酷、土豆和高德等公司都有广泛的应用。

JStorm 的窗口机制支持 Processsing time、Ingestion time、Event time、Watermark (late element) 和 Window early fire。这种机制使得 JStorm 能够在处理大量数据时保持高效的运行,同时还能适应各种处理延迟情况。

JStorm 还具有优秀的监控系统,可以自动聚合功能,帮助用户更好地了解应用程序的运行状况。该系统可以统计所有级别的 Metrics,并展示完整的历史曲线,而不仅仅是单点数据。

JStorm 的 Bolt 分为 StatelessB bolt 和 StatefulB bolt 两种。StatelessB bolt 比较简单,就是正常处理,继续往下游 Bolt 发。实际上,每一个 batch 的处理和发送是可以并行的,只是 TM本身的 Checkpoint 是串行的,这样就可以很好

免责声明
    以上文章转载自互联网,文章内容仅供参考,不构成建议,也不代表天华易学赞同其观点。如有侵权请联系1657023496@qq.com,提供原文链接地址以及资料原创证明,本站将会立即删除
猜你喜欢

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请通知我们,一经查实,本站将立刻删除。

工业和信息化部ICP网站备案:渝ICP备20006072号 百度地图
Copyrights © 2012-2023 懂生活 superlaw.com.cn All rights reserved.