【7897】-Spark大型项目实战：电商用户行为分析大数据平台138讲
课件文档代码
001课程介绍.fiv
002.课程环境搭建-CentOS 6.4集群搭建（1）.fv
002.课程环境搭建-CentOS 6.4集群搭建（2）.fv
003.课程环境搭建-hadoop-2.5.0-dh5.3.6集群搭建.fv
004课程环境搭建-hive-0.13.1-cdh5.3.6安装.flv
005，课程环境搭建-z0okeeper-3.4.5-cdh5.3.6集群搭建.iv
006.课程环境搭建-kaka-2.9.2-0.8.1集群搭建_rec.fv
007，课程环境搭建-flume-ng-1.5.0-cdh5.3.6安装rec.flv
008.课程环境搭建-离线日志采集流程介绍_rec.flv
009，课程环境搭建-实时数据采集流程介绍rec.flv
010，课程环境搭建-Spark 1.5.1客户端安装以及基于YARN的提交模式rec.fvy
011.用户访问session分析-模块介绍rec.fiv
012.用户访问session分析基础数据结构以及大数据平台架构介绍_rec.fiv
013用户访问session分析-需求分析rec.fiv
014用户访问session分析技术方案设计_rec.fv
015用户访问session分析-数据表设计rec.fiv
016用户访问session分析-Eclipse工程搭建以及工具类说明_rec.fiv
017用户访问session分析-开发配置管理组件rec.flv
018用户访问session分析-JDBC原理介绍以及增删改查示范rec.flv
019用户访问session分析-数据库连接池原理rec.flv
020用户访问session分析-单例设计模式rec.fiv
021用户访问session分析-内部类以及匿名内部类rec.fiv
022.用户访问session分析-开发JDBC辅助组件（上）-rec.flv
023用户访问session分析-开发JDBC辅助组件（下）_rec.flv
024用户访问session分析-JavaBean概念讲解rec.flv
025用户访问session分析-DAO模式讲解以及TaskDAO开发_rec.flv
026用户访问session分析-工厂模式讲解以及DAOFactory开发_rec.flv
027，用户访问session分析-JSON数据格式讲解以及fastison介绍rec.flv
028，用户访问session分析-Spark上下文构建以及模拟数据生成rec.fv
029用户访问session分析按session粒度进行数据聚合_rec.flv
030用户访问session分析按筛选参数对session粒度聚合数据进行过滤rec.flv
031.用户访问session分析-session聚合统计之自定义Accumulatorrec.flv
032.用户访问session分析-session聚合统计之重构实现思路与重构session聚合_rec.flv
033用户访问session分析-session聚合统计之重构过滤进行统计_rec.flv
034用户访问session分析-session聚合统计之计算统计结果并写入MySQLrec.flv
035用户访问session分析-session聚合统计之本地测试_rec.flv
036用户访问session分析-session聚合统计之使用Scala实现自定义Accumulator-rec.flv
037，用户访问session分析-session随机抽取之实现思路分析_rec.lv
038用户访问session分析-session随机抽取之计算每天每小时session数量_rec.flv
039用户访问session分析-session随机抽取之按时间比例随机抽取算法实现_rec.flv
040用户访问session分析-session随机抽取之根据随机素引进行抽取_rec.filv
041，用户访问session分析-session随机抽取之获取抽取session的明细数据rec.fv
042.用户访问session分析-session随机抽取之本地测试rec.lv
043用户访问session分析-top10热门品类之需求回顾以及实现思路分析-rec.fiv
044用户访问session分析-top10热门品类之获取session访问过的所有品类rec.flv
045用户访问session分析-top10热门品类之计算各品类点击、下单和支付的次数rec.flv
046用户访问session分析-top10热门品类之join品类与点击下单支付次数rec.lv
047，用户访问session分析-top10热门品类之自定义二次排序key_rec.flv
048用户访问session分析-top10热门品类之进行二次排序_rec.flv
049用户访问session分析-top10热门品类之获取top10品类并写入MysQL_rec.fv
050用户访问session分析-top10热门品类之本地测试_rec.flv
051用户访问session分析-top10热门品类之使用Scala实现二次排序-rec.flv
052.用户访问session分析-top10活跃session之开发准备以及top10品类RDD生成rec.flv
053用户访问session分析-top10活跃session之计算top10品类被各sessoin点击的次数rec.flv
054用户访问session分析-top10活跃session之分组取TopN算法获取top10活跃session_rec.flv
055用户访问session分析-top10活跃session之本地测试以及阶段总结rec.flv
056用户访问session分析-性能调优之在实际项目中分配更多资源rec.fv
057用户访问session分析-性能调优之在实际项目中调节并行度rec.fv
058.用户访问session分析-性能调优之在实际项目中重构RDD架构以及RDD持久化rec.fv
059用户访问session分析-性能调优之在实际项目中广播大变量rec.fv
060用户访问session分析性能调优之在实际项目中使用Kryo序列化_rec.flv
061用户访问session分析-性能调优之在实际项目中使用fastutili优化数据格式_rec.fv
062用户访问session分析-性能调优之在实际项目中调节数据本地化等待时长_rec.fiv
063用户访问session分析-JVM调优之原理概述以及降低cache操作的内存占比rec.flv
064用户访问session分析JVM调优之调节executor堆外内存与连接等待时长rec.lv
065用户访问session分析-Shuffle调优之原理概述rec.fv
066，用户访问session分析-Shuffle调优之合并map，输出文件_rec.fv
067，用户访问session分析-Shuffli调优之调节map端内存缓中与reduce端内存占比_rec.flv
068用户访问session分析-Shuffle调优之HashShuffleManager与SortShuffleManager-rec.flv
069用户访问session分析算子调优之MapPartitions提升Map类操作性能_rec.flv
070用户访问session分析-算子调优之filter过后使用coalesce减少分区数量_rec.flv
071用户访问session分析-算子调优之使用foreachPartition优化写数据库性能rec.iv
072.用户访问session分析-算子调优之使用repartition解决Spark SQL低并行度的性能问题rec.flv
073用户访问session分析-算子调优之reduceBykey本地聚合介绍rec.flv
074用户访问session分析-troubleshooting之控制shuffle reduce端缓中大小以避免00M_rec.flv
075用户访问session分析-troubleshooting之解决JVM GC导致的shuffle文件拉取失败rec.fiv
076用户访问session分析-troubleshooting之解决YARN队列资源不足导致的application直接失败_rec.flv
077，用户访问session分析-troubleshooting之解决各种序列化导致的报错_rec.flv
078用户访问session分析-troubleshooting之解决算子函数返回NULL导致的问题_rec.fiv
079用户访问session分析-troubleshooting之解决yarn-client模式导致的网卡流量激增问题rec.fiv
080用户访问session分析-troubleshooting之解决yan-cluster模式的JVM栈内存溢出问题_rec.flv
081.用户访问session分析-troubleshooting之错误的持久化方式以及checkpoint的使用rec.fiv
082.用户访问session分析-数据倾斜解决方案之原理以及现象分析rec.fiv
083，用户访问session分析-数据倾斜解决方案之聚合源数据以及过滤导致倾斜的key_rec.fv
084，用户访问session分析数据倾斜解决方案之提高shuffle操作reduce并行度rec.flvy
085用户访问session分析-数据倾斜解决方案之使用随机key实现双重聚合rec.flv
086用户访问session分析数据倾斜解决方案之将reduce join转换为map join_rec.fiv
087用户访问session分析-数据倾斜解决方案之sample采样倾斜key单独进行ioin rec.fiv
088，用户访问session分析-数据倾斜解决方案之使用随机数以及扩容表进行join-rec.fiv
089.页面单跳转化率-模块介绍rec.fly
090.页面单跳转化率-需求分析、技术方案设计、数据表设计_rec.flv
091.页面单跳转化率-编写基础代码_rec.fv
092.页面单跳转化率-页面切片生成以及页面流匹配算法实现rec.lv
093.页面单跳转化率-计算页面流起始页面的pv rec.flv
094页面单跳转化率计算页面切片的转化率rec.flv
095页面单跳转化率将页面切片转化率写入MysQL_rec.fv
096页面单跳转化率-本地测试_rec.fvy
097.页面单跳转化生产环境测试rec.fly
098用户访问session分析-生产环境测试rec.flv
099，各区域热门商品统计模块介绍rec.flv
100，各区域热门商品统计-需求分析、技术方案设计以及数据设计_rec.fiv
101各区域热门商品统计-查询用户指定日期范围内的点击行为数据_rec.flv
102.各区域热门商品统计-异构数据源之从MySOL中查询城市数据rec.flv
103.各区域热门商品统计-关联城市信息以及RDD转换为DataFrame后注册临时表rec.flv
104各区域热门商品统计-开发自定义UDAF聚合函数之group.concat distinct）rec.flv
105.各区域热门商品统计查询各区域各商品的点击次数并拼接城市列表rec.flv
106.各区域热门商品统计-使用开窗函数统计各区域的top3热门商品_rec.fv
107.各区域热门商品统计使用内置case when函数给各个区域打上级别标记rec.lv
108.各区域热门商品统计-将结果数据写入MysQL中_rec.fv
109.各区域热门商品统计-Spark SQL数据倾斜解决方案rec.fv
110.各区域热门商品统计生产环境测试rec.fv
111.广告点击流量实时统计-需求分析、技术方案设计以及数据设计_rec.lv
112.广告点击流量实时统计-为动态黑名单实时计算每天各用户对各广告的点击次数rec.fv
113.广告点击流量实时统计-使用高性能方式将实时计算结果写入MySQL中rec.fv
114.广告点击流量实时统计-过滤出每个batch中的黑名单用户以生成动态黑名单_rec.fv
115，广告点击流量实时统计-基于动态黑名单进行点击行为过滤rec.fv
116广告点击流量实时统计-计算每天各省各城市各广告的点击量_rec.lv
117，广告点击流量实时统计计算每天各省的top3热门广告_rec.fiv
118.广告点击流量实时统计-计算每天各广告最近1小时滑动窗口内的点击趋势_rec.fv
119.广告点击流量实时统计-实现实时计算程序的HA高可用性_rec.fv
120广告点击流量实时统计-对实时计算程序进行性能调优（正确）_rec.flv
121.广告点击流量实时统计生产环境测试_rec.fv
122课程总结都学到了什么？ _ec.v
123.Spark 2.0-新特性介绍_rec.iv
124.Spark 2.0-易用性：标准化SQL支持以及更合理的APL_rec.flv
125.Spark 2.0-高性能：让Spark作为编译器来运行rec.fv
126.Spark 2.0-新特性介绍-智能化： Structured Streaming介绍_rec.flv
127.Spark 2.0-新特性介绍-Spark 1.x的Volcano Iterator Model深度剖析rec.fv
128.Spark 2.0-新特性介绍-whole-stage code generation技术和vectorization技术_rec.flv
129.Spark 2.0-5park 2.x与1.x对比以及分析、学习建议以及使用建议rec.fiv
130.Spark 2.0-课程环境搭建：虚拟机、CentOS.Hadoop. Spark等_rec.fv
131.Spark 2.0-开发环境搭建： Eclipse+Maven+Scala+Spark-rec.fv
132用户活跃度分析：模块介绍以及交互式用户行为分析系统的解释_rec.fiv
133用户活跃度分析：统计指定时间内访问次数最多的10个用户rec.flv
134统计指定时间内购买全额最多的10个用户_rec.flv
135.基于Spark 2.0的用户活跃度分析：统计最近一个周期相比上一个周期访问次数增长最多的10个用户_rec.fv
136，基于Spark 2.0的用户活跃度分析：统计最近一个周期相比上一个周期购买金额增长最多的10个用户_rec.flv
137，基于Spark 2.0的用户活跃度分析：统计指定注册时间范围内头7天访问次数最高的10个用户_rec.fiv
138基于Spark 2.0的用户活跃度分析：统计指定注册时间范围内头7天购买金额最高的10个用户rec.flv
加QQ群共同学习共同进步
