摘要： 运用python编程语言从选定的电影网站上爬取所需要的数据：用户名，评论等，通过模拟登陆进入所需网站界面，将爬取的数据储存到excel表格中，再使用结巴分词得到词汇数据，再进行词频统计，最后通过云图显示，并通过k近邻算法得出评分，最终完成电影评论的大众舆情分析系统的设计。

本系统可以直观的显示所选择的电影的关键词信息，对电影评论进行分析，有助于为想要看电影的人提供一个参考，也可以告诉影片方，当前观众对自己电影的情感倾向，来更好的预测未来电影界的发展。

关键词： 电影评论；舆情；网络爬虫；python

Design of mass public opinion analysis system based on film review

Abstract: Using the programming language of python to climb the required data: the user name, comments, etc. from the selected movie website, through simulation log in into the web interface, required to crawl the data storage to excel, then using stammer participle vocabulary data, then going to word frequency statistics, finally through the cloud pictures show, k neighbor algorithm scores have been determined, eventually completed movie reviews the mass public opinion analysis system design.

This system can directly display the selected movie keywords information, analyze the movie reviews, help for those who want to see a movie to provide a reference. It can also tell the film, the audience the film's emotional tendency to oneself, to predict the future development of movie industry. better

Keywords: movie review; public opinion; internet worm; python

目录

摘要 i

Abstract i

目录 ii

1 绪论 1

1.1 研究背景与研究 1

1.2 国内外研究现状 2

1.3 发展趋势 2

1.4 研究挑战 3

1.5 论文结构 4

2 设计方式 5

2.1 编程语言 5

2.2 开发环境 7

3 获取数据 8

3.1 网站的选取 8

3.2 用户代理 8

3.3 模拟登陆 9

3.4 抓取策略 10

3.5 爬取数据 11

4 分析处理 13

4.1 中文分词 13

4.2 词性标注 13

4.3 结巴分词 14

4.4 正则表达式 14

4.5 词频统计 14

4.6 停用词 15

4.7 词云图 15

5 分类算法 17

5.1 ROCCHIO算法 17

5.2 朴素贝叶斯算法 17

5.3 K近邻算法 18

6 总结 19

6.1 本文的主要内容 19

6.2 下一步的工作展望 20

6.3 商业价值 21

致谢 22

参考文献 23

附录 24

1 绪论

舆情是指在一定的社会空间内，围绕着某件特定事件或事物，个人或者其他组织对其产生和持有的看法或者态度，它是较多人群关于各种现象或者问题所表达出的看法的总和。通俗点来讲，舆情就是一种民意的反映。

随着网络的兴起，舆情从最初的街头巷尾口口之传变成了如今的网上传播，人们更愿意去通过网络表达自己的看法和观点。

随着生活品质的提高，人们开始注重自身的娱乐活动，电影行业也随之兴起，带给人们愉快的生活体验。以前只有少数人会选择在一些特殊的日子去看场电影表示庆祝，如今，每到周末，遇到想看的电影，便携三五好友一同前往电影院的情况已经习以为常，电影成了大众化的消遣方式。

1.1 研究背景

随着电影消费比重的提升，不少商家看中了眼前这块肥肉，暑期档，春节档的强势出击，不外乎的都想乘着假期好好的吸引顾客，从而导致影视界的竞争也日益激烈，除了电影的导演，演员，拍摄画面等因素，一部受大众喜爱的电影，往往都需要符合当下消费群体的口味。所以，了解观众的口味喜好，成了当下许多制片人不得不考虑或者说必须要考虑的一个关键因素。那么，如何去获取一个观众的口味呢，有个良好的方法就是去看某个时间段，在各大影评网站上人们对于不同类型的电影的看法或者态度，从而进行一个分析比较，再结合思考，自己的影片是否能在上映的时候迎合观众的口味，是否能抓住观众的眼球，是否能再其他影片之中脱颖而出，从而创造高票房的记录，并且还能提升制片公司在大众中的知名度，打下良好口碑。全面提高大众的消费需求，从而进一步提升电影的质量，满足人们高水平的需求，完美的推动电影行业的发展。