开源元数据治理平台Datahub部署指南(小白版)

1.引言

datahub是做什么的，这里就不展开描述了， 如果想了解更多请自行阅读DataHub官网文档， 这里主要教大家如何一步一步安装然后100%部署完成。一般开源产品的文档都是被大家吐槽的最多的，部署步骤写的非常简单，重要关键的配置有时候基本都是不提的，很多人想入门， 但是安装部署就会把大多数人拒之门外，很多没耐心的同学一旦掉到坑里爬不出来， 立马就放弃了， 本篇文章的主要目的就在于帮助大家把这一步跨过去，文章对你有帮助，请点赞关注， 不喜勿喷~

2.软件版本要求

• CentOS == 7.6.18-x86-64
• datahub == 0.12.0
• python == 3.8.18
• docker == 24.0.7
• docker-compose == 2.20.3

3. 安装过程详解

3.1 Docker安装

请参考我之前的文章进行安装，传送门戳这里 docker的3种常用的安装部署方式介绍演示

考虑docker离线安装的问题， 后续写一篇docker离线部署的文章给大家。

3.2 docker-compose安装

下载并安装， 如果下载不下来， 可以先下载到本地再上传到服务器

curl -SL https://github.com/docker/compose/releases/download/v2.20.3/docker-compose-linux-x86_64 -o /usr/local/bin/docker-compose

修改脚本操作权限

chmod 755 /usr/local/bin/docker-compose

检查docker-compose是否安装成功

3.3 python3安装

因为datahub0.12.0安装依赖python3, 但是CentOS默认的python版本是python2.7.5,这里需要安装python3,我这里安装的python版本是3.8.18， 下面演示编译安装的整个过程：

1)安装系统依赖

yum install -y zlib-devel bzip2-devel openssl-devel ncurses-devel epel-release gcc gcc-c++ xz-devel readline-devel gdbm-devel sqlite-devel tk-devel db4-devel libpcap-devel libffi-devel

2)首先创建python3的安装目录：

mkdir -p /usr/local/python3

3)下载Python3.8.18的安装包

mkdir -p /opt/packages

cd /opt/packages

wget https://registry.npmmirror.com/-/binary/python/3.8.18/Python-3.8.18.tgz

4)解压安装包

tar -zxf /opt/packages/Python-3.8.18.tgz

5)编译安装

cd /opt/packages/Python-3.8.18

./configure --prefix=/usr/local/python3

make && make install

执行完毕, /usr/local/python3目录如下图：

6)配置系统环境变量

ln -s /usr/local/python3/bin/python3.8 /usr/local/bin/python3

ln -s /usr/local/python3/bin/pip3 /usr/local/bin/pip3

如下图：

检查系统环境变量是否生效， 如下图则成功。

python3 -m pip install --upgrade pip

3.4 datahub安装

执行安装命令， 如下

python3 -m pip install acryl-datahub==0.12.0 -i https://pypi.tuna.tsinghua.edu.cn/simple

检查datahub是否安装成功

python3 -m pip datahub version

出现如下报错:

解决方法：urllib3库版本太高了， 降版本， 重新安装urllib3的1.25.11版本

python3 -m pip install urllib3==1.25.11 -i https://pypi.tuna.tsinghua.edu.cn/simple

再次检查datahub是否安装成功，

python3 -m pip datahub version

如下图， 说明安装成功

3.4 datahub镜像下载安装

首先我们从github的datahub仓库下载DataHubv0.12.0版本源代码，解压找到一下docker-compose的编排脚本文件

将docker-compose-without-neo4j.quickstart.yml脚本上传到服务器的/usr/local/python3/datahub-docker-scripts目录下，如果没有这个路径请自行创建， 创建命令mkdir -p /usr/local/python3/datahub-docker-scripts

进入到/usr/local/python3/datahub-docker-scripts目录下， 执行以下命令：

python3 -m datahub docker quickstart --quickstart-compose-file ./docker-compose-without-neo4j.quickstart.yml

经过漫长的镜像下载拉取之后，容器运行成功之后， 整个安装流程完毕如下图：

访问http://10.10.3.14:9002，出现如下页面， 说明DataHub安装成功，默认的账号密码如下：

用户名：datahub  

密码：  datahub

4.服务管理及使用的常见指令

1)一键启动Datahub

docker-compose -p datahub -f ./docker-compose.consumers-without-neo4j.quickstart.yml up -

2)一键停止Datahub

docker-compose -p datahub -f ./docker-compose.consumers-without-neo4j.quickstart.yml stop

3)查看Datahub插件列表

python3 -m datahub check plugins --verbose

4)安装Datahub插件

pip3 install 'acryl-datahub[数据源]'

举例， 现在需要管理MySQL数据源的元数据， 需要先集成mysql的数据源插件

pip3 install acryl-datahub[mysql]

5.使用演示

配置元数据源集成

创建新的元数据源

选择数据源类型，配置数据源连接参数，设置采集任务调度， 然后保存即可。

点击"RUN"运行采集任务



好了，本篇文章到此结束，如果安装过程中遇到问题，欢迎留言讨论哈，最后点赞关注，送你一朵小红花，谢谢~~~。