【6725】-天善智能用户画像解决方案

课程大纲：

第一章：用户画像基础知识

1、开发用户画像需要掌握的能力

2、实际案例-用户画像及其应用规划说明

3、实际案例-用户标签应用实施方案说明

4、实际案例-工程开发代码

5、需要开发的表及表结构设计

第二章：用户标签指标体系

1、用户属性维度指标体系

2、用户行为维度指标体系

3、用户消费维度指标体系

4、用户风控维度指标体系

5、标签口径及数据调研分析

6、标签命名方式小结

第三章： 搭建开发环境

1、搭建虚拟机开发环境及节点间互信

2、HDFS的安装及应用场景

3、zookeeper的安装及应用场景

4、yarn的安装及应用场景

5、Hbase的安装及应用场景

6、MySQL的安装及应用场景

7、sqoop的安装及应用场景

8、kafka的安装及应用场景

9、Spark的安装及应用场景

第四章：标签数据存储

1、Hive存储及应用特点

2、MySQL存储及应用特点

3、Hbase存储数据及应用特点

4、为什么用不同数据库存储标签数据

第五章：标签数据开发

1、数据仓库基础知识

2、统计类标签开发案例

3、规则类别标签开发案例

4、挖掘类别标签开发案例

5、流式计算标签开发(1)-kafka介绍

6、流式计算标签开发(2)-streaming的Receiver模式与Direct模式

7、流式计算标签开发(3)-Spark Streaming集成kafka

8、流式计算标签开发(4)-记录消费的offset

9、流式计算标签开发(5)-Spark Streaming上线工程化

第六章：开发性能调优

1、数据倾斜调优

2、Spark读取小文件

3、使用Spark缓存(cache、persist、checkpoint)

4、开发中间表

第七章：作业流程调度

1、crontab命令调度

2、airflow调度-基础概念

3、airflow调度-安装

4、airflow调度-主要功能模块

5、airflow调度-工作流调度

6、airflow调度-工程案例

7、标签数据监控预警(Hive、MySQL、Hbase)

8、ETL异常问题排查及解决方案

第八章： 用户画像产品化

1、标签视图与标签查询

2、标签编辑管理

3、自定义查询与人群圈定

4、维透视分析功能

第九章：用户画像应用

1、业务数据分析

2、精准营销(短信、邮件)

3、推荐系统中应用