计算机毕业设计之基于Hadoop的网络舆情数据分析系统的设计与实现

在信息化时代社交媒体平台上的信息传播速度之快、影响范围之广使得对社交媒体数据的分析成为研究热点。微博作为中国最大的社交媒体平台之一其热搜榜上的内容往往反映了社会的热点和趋势。因此拟开发基于Hadoop的网络舆情数据分析系统对微博热搜博文进行爬取包括博文的内容、评论等数据然后对评论数据进行情感分析可以评估公众对某一话题的情感态度为舆情监控和危机应对提供支持。总的来看系统是一款基于B/S架构的web网站采用了多种技术手段进行开发包括Python爬虫技术、Hadoop大数据存储技术、Spark计算框架、Echarts可视化库以及Django后端框架等。通过这些技术的综合运用实现了对微博热搜评论数据的全方位分析和可视化展示。同时结合机器学习算法进行情感分析进一步提高数据的分析价值和精度。根据以上的功能需求情况整体的功能模块包括有前端vue项目模块后端django项目包括后端一般的功能模块和爬虫模块。前台vue的页面主要页面包括注册与登录页面数据可视化展示页面爬虫模块主要用来爬取新浪微博的相关数据信息通过使用hadoop进行数据的存储django后台用来提供前台所用的json数据以及给出情感评估的结果。用户进入本系统可查看系统主页信息系统首页展示的是热词统计热门词云热度趋势近30天热搜主题等可视化数据。主页中的图标数据主要是通过Echarts框架的功能只需要创建对应的实体类便可以获取对应的展示信息。