jstorm干货
admin
2023-03-07 06:21:17
0

工作需要接触到jstorm JStorm集群包含两类节点:主控节点(Nimbus)和工作节点(Suprvisor)

  1. 主控节点(Nimbus)上运行Nimbus Daemon。Nimbus负责接收Client提交的Topology,分发代码,分配任务给工作节点,监控集群中运行任务的状态等工作。Nimbus作用类似于Hadoop中JobTracker。
  2. 工作节点(Supervior)上运行Supervisor D。Supervior通过subscribe Zookeeper相关数据监听Nimbus分配过来任务,据此启动或停止Worker工作进程。每个Worker工作进程执行一个Topology任务的子集;单个Topology的任务由分布在多个工作节点上的Worker工作进程协同处理。
    https://blog.csdn.net/wwwxxdddx/article/details/49978311
    Nimbus和Supervisor节点之间的协调工作通过Zookeeper实现。此外,Nimbus和Supervisor本身均为无状态进程,支持Fail Fast;JStorm集群节点的状态信息或存储在Zookeeper,或持久化到本地,这意味着即使Nimbus/Supervisor宕机,重启后即可继续工作。这个设计使得JStorm集群具有非常好的稳定性

先了解他是干什么的
分布式实时计算引擎,就是你给他数据,按照你编写的规则,他处理完
标准解释:用户按照规定的变成规范实现一个任务,将任务放到jstorm上,jstorm就将任务7*24小时调度起来
优点:开发非常迅速,容易上手,就像有水龙头 -》污水池处理 --》下游
扩展性极好,一个worker坏了调度器nimbus会马上分配另外一个
准确性比较高,采用了acker机制,保证数据不丢失,
使用场景:日志分析,管道系统,消息转化,统计分析
这几个术语要知道
角色 作用
Nimbus 调度器 分配任务的
Supervisor Worker的代理角色,负责Kill掉Worker和运行Worker 污水池处理的
Worker Task的容器 工人
Task 任务的执行者 工人
ZooKeeper 系统的协调者 系统协调者
stream 流 流是一个无间断的连续的tuple元值,
spout 原始元祖的源头,就像是水龙头,这个可能是消息中间件如MQ,Kafka,TBNofity 不间断发出消息
有了源头,有了tuple,拿着这些数据的处理过程就是Bolt
Bolt 消费任意数量的输入流,污水池 ,
jstorm干货
你的spout打开了,想得到那种类型的水就打开那种类型的Bolt,处理完就会再进行下一步处理或者流向别的容器
Tuple value list 值列表
Topology 有向无环图即拓扑,一个拓扑就是一个数据流转图,途中标注每一个节点是一个spout还是bolt,把元祖数据发送到那个bolt,
worker和task
worker表示一个进程,tash表示一个线程,一个进程对应多个线程,
Supervisor是JStorm中的工作节点,类似于MR的TT,subscribe zookeeper的任务调度结果数据,根据任务调度情况启动/停止工作进程Worker。同时Supervisor需要定期向zookeeper写入活跃端口信息以便Nimbus监控。Supervisor不执行具体处理工作,所有的计算任务都交Worker完成。从整个架构上看,Supervisor处在整个JStorm三级管理架构的中间环节,辅助管理任务调度和资源管理工作。
Supervisor单节点架构如上图所示,初始化时启动进程Supervisor,根据Nimbus分配的任务情况触发启动/停用Worker JVM进程,其中每个Worker进程启动一个或多个Task线程,其中Task须同属单个Topology。从整个Supervisor节点来看运行多个JVM进程,包括一个Supervisor进程和一个或多个Worker进程。
不同角色状态通过不同的方式维护。其中Task通过hb直接将包括时间信息和当前Task的统计信息写到zookeeper;Worker定期将包括Topology id,端口,Task id集合及当前时间写入本地;Supervisor定期将包括时间及节点资源(端口集合)写到zookeeper,同时从zookeeper读取任务调度结果,根据结果启动/停用Worker进程。jstorm干货
jstorm干货

记住这个图片基本上没什么打的困难了入门了就,

了解这个也得知道一个流的概念,就是水龙头 -》污水池处理 --》下游

这个链接比较形象https://www.cnblogs.com/smartloli/p/4810362.html

相关内容

热门资讯

特朗普:俄乌将实行为期3天的停... △特朗普(资料图)当地时间5月8日,美国总统特朗普在其社交媒体“真实社交”发文表示,在俄罗斯与乌克兰...
《星球大战》男主角发“特朗普躺... 据英国广播公司(BBC)5月8日报道,《星球大战》演员马克·哈米尔在社交平台发布一张AI生成的图片,...
产业园区招商政府委托媒介选型指... 导语:产业园区招商需兼顾资源整合效率与项目落地精准度,尤其在互联网招商模式下,平台流量、技术团队与资...
“无废城市”建设 | 为新材料... 4月26日,在常山生态工业园区的利安隆科润(浙江)新材料有限公司实验室里,企业品控部负责人、科技副总...
既能防晒又能听歌,还自带AI小... 春夏出门运动,你是不是也常常纠结:到底是戴帽子防晒,还是戴耳机听歌?两个都戴上,耳朵被压得生疼,帽檐...
伊朗警告过往船只远离美军舰艇:... 据美国有线电视新闻网(CNN)5月8日报道,一段录音显示,美伊在霍尔木兹海峡发生冲突后,伊朗革命卫队...
事关汉坦病毒,大西洋小岛牵动多... 5月6日,荷兰“洪迪厄斯”号邮轮停留在佛得角首都普拉亚的近海海域。新华社发(埃尔顿·蒙泰罗摄)发生汉...
上海尼为取得供栈收栈机专利,实... 国家知识产权局信息显示,上海尼为智能科技有限公司取得一项名为“一种供栈收栈机”的专利,授权公告号CN...
Win11终于不卡了!让CPU... 快科技5月8日消息,微软正针对Windows11系统用户体验进行深度优化,内部代号为Project ...
2026户外出行与通勤旗舰手机... 对于经常需要通勤、热爱户外活动的朋友来说,选择一款合适的手机至关重要。它需要满足单手操作的便捷性、坚...