介绍:Azkaban是由LinkedIn公司推出的一个开源的任务调度系统,主要用于在一个工作流内按照特定的Azkaban是由LinkedIn公司推出的一个开源的任务调度系统,主要用于在一个工作流内按照特定的顺序运行一组工作和流程。它负责任务的调度运行,比如数据仓库调度,可以替代Linux中的crontab。
Azkaban的工作方式是通过job配置文件建立任务之间的依赖关系,这使得工作流的组织更为清晰和灵活。此外,Azkaban提供了一个易于使用的web用户界面,用户可以在此维护和跟踪自己的工作流。
在实际应用中,例如对于数据分析系统,由于这类系统通常由大量任务单元组成(如shell脚本程序,java程序,mapreduce程序、hive脚本等),各任务单元之间存在时间先后及前后依赖关系,因此需要有一个工作流调度系统来调度执行。而Azkaban正是此类系统的优秀选择。
网址:https://xiaoshuai.github.io/azkaban-gh-pages/
网址:https://blog.51cto.com/liugp/5437979
1、尚硅谷大数据Azkaban 3.x教程(全新发布)
网址:https://www.bilibili.com/video/BV1y54y18713/?spm_id_from=333.337.search-card.all.click&vd_source=849186cc0cbe77dd51dcd8d1dc63a69b
以上就是个人觉得不错的学习网站,希望能帮到学习大数据的人!