计算机毕业设计hadoop+spark+hive直播可视化分析大屏 直播推荐系统 数据仓库 大数据
2023-08-10 22:07:34
开发技术
selenium(Python爬虫)、spark、hadoop、scala、hive、sqoop、Flask、echarts、mysql
分析流程
(资料图)
python爬取直播数据存到.csv文件、mysql数据库(备份数据集)，上传CSV到hdfs分布式文件系统上，hive导入csv建模，一部分指标使用hive_sql分析后用sqoop导入mysql，一部分指标使用idea+spark+scala分析计算存入mysql。最终利用flask+echarts构建可视化大屏炫酷显摆！
创新点
可视化大屏；
spark+hive离线计算、实时计算全部实现；
Python爬虫采集真实直播数据(全网唯一！！！)
题目特色
比较冷门，就算有人给你撞题了我的系统你也可以分分钟吊打答辩现场！
如果还觉得辣鸡可以选装推荐系统(4种深度学习神经网络推荐)、预测系统(卷积神经)、知识图谱、后台管理
选装系统界面如下：
/video/BV1i14y1o76A/?spm_id_from=
/video/BV1Kg4y1P7aT/?spm_id_from=
