目录
????????项目介绍-elasticSearch-业务数据源导入-离线指标开发-Flume实时采集-Nginx日志埋点数据-
????????结构化流实时指标 - 制作报表?
| 数仓开发 | 用户画像 | 实时开发 |
| hive-spark | 数据挖掘 | 结构化流-Flume-Kafka-Flink |
| 标签开发,挖掘类,统计类 规则类,标签可视化平台, 用户画像系统构建 |
? ? ? ? 1- 从公司角度出发:
? ? ? ? ????????1- 对客户进行分群,进行精准营销?
? ? ? ? ????????2- 对用户分群和统计,私域流量
? ? ? ? ????????3- 找到用户和商品之间的连接,对用户打标签并量化表示
? ? ? ? ? ? ? ? 4- 减少公司的获客成本
? ? ? ? 2- 从用户角度出发:
? ? ? ? ????????1- 从海量的产品和数据中,为客户推荐感兴趣的内容
? ? ? ? 白天: 电商行业的用户画像
?????????晚上:保险行业的用户画像
1- ElasticSearch是专门用来做搜索引擎的,一般用在JAVAEE的,它具有几个优点:
? ? ? ? ? ? ? ? 1- 分布式
? ? ? ? ? ? ? ? 2- 单挑数据快速的CRUD
? ? ? ? ? ? ? ? 3- 海量数据存储?
????????1.为什么画像数据接入选择ES？
????????????????es支持海量数据插入与更新 es支持与hadoop、hive、spark集成,方案成熟 es-hadoop可直接解决，
????????????????通过sql方式把数据从hive数仓中导入es中
????????2.为什么画像结果数据写入ES？
? ? ? ? ? ? ? ? 1. 结果数据写入es，es扩展性强，广泛支持hadoop生态圈技术，
? ? ? ? ? ? ? ? 2. es-sql支持sql化方式操作es索引数据，可视化非常方便，后期开发标签体系的搜索引擎或知识图谱系统是es可以直接作为数据源与其他组件集成。
? ? ? ? ? ? ? ? 3. es支持upsert语法，数据插入和更新可以使用upsert操作，根据主键或文档id判断该文档是否存在，存在就更新，
否则就插入，对于画像业务逻辑中新的标签和旧的标签数据合并非常实用。?
2- 为啥选择Spark SQL的DSL方案呢?
????????????????计算组件如 HIVE presto flink 都可以计算
????????????????1- Spark SQL是基于内存进行计算, 相对于HIVE来说, 计算效率更高
????????????????2- Spark 可以更好的和其他的组件进行集成工作, 比如和MySQL. hive, es ...
????????????????3- 在画像标签中, 有挖掘性标签, 此部分标签需要使用MLlib机器学习库, 采用相关的算法,????????????????????????而Hive并不支持, Flink相对成熟度没有Spark高
????????????????4- 在开发标签的过程中, 需要进行大量的规则匹配处理, 涉及到需要通过代码方式来处理, 此时DSL方案会更加的合适3- 为什么不用Hive做标签计算
????????????????完成挖掘类标签的时候使用Hive无法完成，标签调度不方便
????????????????Hive计算完画像结果存储在其他介质不方便
????????????????Hive 来计算标签不方便管理和维护
因此可以使用 Spark Job 的方式来计算.
????????????????Spark Job 的方式来计算.
????????????????每一个 Job 计算一个指标, 最终合并进一张画像表。
????????????????能够利用SparkMllib完成挖掘类标签的构建(SparkSQL+SparkMllib)
????????????????技术选型： 使用Spark完成指标计算，每个指标一个Job，合并画像表
?
????主要采用Apache原生版本方案构建整个画像项目, 整个项目主要涉及组件有: Hadoop HIVE Spark oozie persto ES等相关的大数据组件
?? ?其中基于HDFS完成基础数据的存储,通过ES来存储业务数据以及存储标签结果数据
?? ?通过Spark实现标签计算和实时用户行为统计分析工作, 并将相关结果导入到ES和MySQL中
?? ?最终基于FineBI实现报表展示工作, 整个项目是基于Oozie完成定时调度
? ? ? ? mysql业务数据表->datax ->数仓ods -> 确定业务场景 -> Sparksql开发 ->建立标签 ->? 使用ES标签搜索 -mysql标签规则 -> 提交定时任务 -> 作业提交?
数据流转:
?? ?整个画像的数据来源有二个方向, 一个是数仓平台的ODS层基础业务数据 一个是Nginx日志数据和埋点数据集
????????首先对于ODS层业务数据,主要是基于ES-HADOOP的方式将HIVE中数据导入到ES中, 对于Nginx日志数据和埋点数据集主要是基于Flume将数据采集到Kafka中,
????????完成基础数据存储后, 接着基于Spark进行标签统计和用户行为分析的工作这里面主要采用Spark SQL、SparkMLlib 和 structured Steaming实现的, 其中Spark SQL负责标签统计计算,SparkMLlib主要负责完成挖掘类标签计算, ?structured Streaming负责用户行为指标统计计算, 将整个结果结果导入到ES和MySQL中, 其中ES导入的标签结果数据, MySQL导入的是用户行为指标结果数据集,
????????完成整个统计计算后, 后续基于FINEBI进行画像报表展示, 由于数据源有多个, 引入了persto完成多源统一访问, 最终形成画像报表. 整个项目是基于标签管理平台, 进行标签管理, 对标签进行增删改查以及定时调度, 其底层调度采用Oozie处理的
埋点数据:
? ? ? ? 前端埋点: JavaEE/安卓/ios后端
? ? ? ? 后端埋点: Flume+Kafka
CRM:客户关系管理系统
ERP: 企业资源管理计划系统