基于DolphinScheduler构建大数据调度平台课程

编程开发 梦琪 参与讨论
基于DolphinScheduler构建大数据调度平台课程
去学习 腾讯课堂提供服务
课程介绍
掌握某些知识点
学会某些技巧(或思路)
教学服务
1v1专属答疑服务
BAT专家面试辅导
课程详情
课程学习对象:
1.拥有理论基础扎实和想跳槽,且缺乏项目实战的学员
2.想了解和熟悉一些前沿技术在项目中的实践效果
3.不建议零基础购买课程。
一线在职架构师答疑,提供技术指导和支持,同时提供企业内训服务
Apache DolphinScheduler是一个新一代分布式大数据工作流任务调度系统,致力于“解决大数据任务之间错综复杂的依赖关系,整个数据处理开箱即用”。它以 DAG(有向无环图) 的方式将任务连接起来,可实时监控任务的运行状态,同时支持重试、从指定节点恢复失败、暂停及 Kill任务等操作。目前已经有像IBM、腾讯、美团、360等400多家公司生产上使用。
调度系统现在市面上的调度系统那么多,比如老牌的Airflow, Oozie,Kettle,xxl-job ,Spring Batch等等, 为什么要选DolphinScheduler ?
DolphinScheduler 的定位是大数据工作流调度。通过把大数据和工作流做了重点标注. 从而可以知道DolphinScheduler的定位是针对于大数据体系。
DolphinScheduler是非常强大的大数据调度工具,有以下一些特点:
1、通过拖拽以DAG 图的方式将 Task 按照任务的依赖关系关联起来,可实时可视化监控任务的运行状态;
2、支持丰富的任务类型;
3、支持工作流定时调度、依赖调度、手动调度、手动暂停/停止/恢复,同时支持失败重试/告警、从指定节点恢复失败、Kill 任务等操作;
4、支持工作流全局参数及节点自定义参数设置;
5、支持集群HA,通过 Zookeeper实现 Master 集群和 Worker 集群去中心化;
6、支持工作流运行历史树形/甘特图展示、支持任务状态统计、流程状态统计;
7、支持补数,并行或串行回填数据。
课程会带大家构建DolphinScheduler大数据调度平台,实战讲解多种任务调度配置,会基于案例讲解DolphinScheduler使用,让大家在实战中掌握DolphinScheduler。
DolphinScheduler 发展很快 很多公司调度都切换到了DolphinScheduler,掌握DolphinScheduler调度使用势在必行,抓住新技术机遇,为跳巢涨薪做好准备。
已经采用 DolphinScheduler 在生产环境使用的公司和机构,列举部分如下:
课程目录
01、基于DS构建大数据调度课程说明(1节)
02、大数据调度平台之Zookeeper环境安装(1节)
03、构建大数据调度平台之Hadoop环境构建(1节)
04、基于DS构建大数据调度平台之Kafka环境构建(1节)
05、大数据调度平台之Hbase环境构建(1节)
06、大数据调度平台之MySQL环境构建(1节)
07、大数据调度平台之Hive环境构建(1节)
08、DolphinScheduler环境构建(1节)
09、大数据调度平台之Shell任务初体验(1节)
10、SUBPROCESS任务以及定时管理实战讲解(1节)
11、大数据调度平台之存储过程任务实战讲解(1节)
12、大数据调度平台之SQL任务实战讲解(1节)
13、大数据调度平台之Spark任务实战讲解(1节)
14、大数据调度平台之Flink任务实战讲解(1节)
15、大数据调度平台之Flink任务实战补充讲解(1节)
16、大数据调度平台之推荐系统调度实战1(1节)
17、大数据调度平台之推荐系统调度实战2(1节)
18、大数据调度平台之推荐系统调度实战3(1节)
19、大数据调度平台之推荐系统调度实战4(1节)
20、大数据调度平台之推荐系统调度实战5(1节)
21、大数据调度平台之推荐系统调度实战6(1节)
22、DolphinScheduler2.x(4节)
23、DolphinScheduler3.x(4节)

声明:本文由代码号课堂注册/游客用户【梦琪】供稿发布,最终权属和售后归腾讯课堂所有。本站不对用户发布的基于DolphinScheduler构建大数据调度平台课程信息内容原创度和真实性等负责。如内容侵犯您的版权或其他权益,请留言并加以说明。站长审查之后若情况属实会及时为您删除。本文作者:梦琪» /dmh/5505.html

喜欢 ()or分享
留言与评论 (共有 条评论)
验证码: