【大数据进阶第三阶段之Hue学习笔记】Hue简介和架构介绍

1、Hue简介

Hue 是一个开源的 Apache Hadoop UI 系统，由 Cloudera Desktop 演化而来，最后 Cloudera 公司将其贡献给 Apache 基金会的 Hadoop 社区，它是基于 Python Web 框架 Django 实现的。通过使用 Hue 我们可以在浏览器端的 Web 控制台上与 Hadoop 集群进行交互来分析处理数据，例如操作 HDFS 上的数据、运行 MapReduce Job、执行 Hive 的 SQL 语句和浏览 HBase 数据库等。

一个基于 Django 的数据分析和可视化平台，支持多种数据源和数据分析工具，适合用于实现大数据分析和可视化。

Hue官方网站：Hue - The open source SQL Assistant for Data Warehouses

GitHub：https://github.com/cloudera/hue?

2、Hue架构

Hue 是一个Web应用，用来简化用户和Hadoop集群的交互。Hue技术架构，如下图所示，从总体上来讲，Hue应用采用的是B/S架构，该web应用的后台采用python编程语言别写的。大体上可以分为三层，分别是前端view层、Web服务层和Backend服务层。Web服务层和Backend服务层之间使用RPC的方式调用。

3、Hue与其他技术的整合

? ? ? ?由于大数据框架很多，为了解决某个问题，一般来说会用到多个框架，但是每个框架又都有自己的web UI监控界面，对应着不同的端口号。比如HDFS(50070)、YARN(8088)、MapReduce(19888)等。这个时候有一个统一的web UI界面去管理各个大数据常用框架是非常方便的。这就使得对大数据的开发、监控和运维更加的方便。
?

从上图可以看出，Hue几乎可以支持所有大数据框架，包含有HDFS文件系统对的页面(调用HDFS API，进行增删改查的操作)，有HIVE UI界面(使用HiveServer2，JDBC方式连接，可以在页面上编写HQL语句，进行数据分析查询)，YARN监控及Oozie工作流任务调度页面等等。Hue通过把这些大数据技术栈整合在一起，通过统一的Web UI来访问和管理，极大地提高了大数据用户和管理员的工作效率。这里总结一下Hue支持哪些功能：

1. 默认基于轻量级sqlite数据库管理会话数据，用户认证和授权，可以自定义为MySQL、Postgresql，以及Oracle
2. 基于文件浏览器（File Browser）访问HDFS
3. 基于Hive编辑器来开发和运行Hive查询
4. 支持基于Solr进行搜索的应用，并提供可视化的数据视图，以及仪表板（Dashboard）
5. 支持基于Impala的应用进行交互式查询
6. 支持Spark编辑器和仪表板（Dashboard）
7. 支持Pig编辑器，并能够提交脚本任务
8. 支持Oozie编辑器，可以通过仪表板提交和监控Workflow、Coordinator和Bundle
9. 支持HBase浏览器，能够可视化数据、查询数据、修改HBase表
10. 支持Metastore浏览器，可以访问Hive的元数据，以及HCatalog
11. 支持Job浏览器，能够访问MapReduce Job（MR1/MR2-YARN）
12. 支持Job设计器，能够创建MapReduce/Streaming/Java Job
13. 支持Sqoop 2编辑器和仪表板（Dashboard）
14. 支持ZooKeeper浏览器和编辑器
15. 支持MySql、PostGresql、Sqlite和Oracle数据库查询编辑器
16. 使用sentry基于角色的授权以及多租户的管理.（Hue 2.x or 3.x）
    ?