莫方教程网

专业程序员编程教程与实战案例分享

大数据任务调度框架Oozie(大数据任务调度框架airflow)

Oozie(驯象人)是一个基于工作流引擎的开源框架,由Cloudera公司贡献给Apache,提供对Hadoop MapReduce、Pig Jobs的任务调度与协调。

Oozie需要部署到Java Servlet容器中运行。

Oozie的工作流必须是一个有向无环图,实际上Oozie就相当于Hadoop的一个客户端,当用户需要执行多个关联的MR任务时,只需要将MR执行顺序写入workflow.xml,然后使用Oozie提交本次任务,Oozie会托管此任务流。

Workflow 是一组 actions 集合(例如Hadoop MR作业,Pig作业),它被安排在一个控制依赖项DAG(Direct Acyclic Graph)中。“控制依赖”从一个action到另一个action,意味着第二个action不能运行,直到第一个action完成。

控制面板
您好,欢迎到访网站!
  查看权限
网站分类
最新留言