您的位置 首页 产业

用大数据分析大众情绪,靠谱吗?

前一阵某艺人离婚,大家都在看热闹(到目前为止平均全世界每个人都围观了两次了),虽然言语上看似挺同情,但是有些科技公司用大数据分析,居然得出围观者的情绪是快乐。你是不是觉得很奇怪。

最近和朋友聊天时谈到“用大数据分析来了解大众情绪或心态” 的相关问题,比如,如何通过大数据分析从新闻和社交媒体中了解大众情绪?哪些领域可以采用这种分析方法?

身边很多人也有类似的疑问。在这封信里,我尽我所知争取理出一个通俗易懂的答案。

首先讲讲这件事情的意义。用大数据分析大众情绪最有意义的应用在于了解民意(包括大众对政治事件和政策的看法),以及对于产品好坏的评价。美国一些咨询公司和民意调查公司,在几年前就开始利用这项技术了解大众对某个政客,或者一项法案的看法,比如大家对奥巴马健保法案的态度,对禁枪的态度等等。这些事情,过去是由民调公司向民众发放问卷进行调查的。但是,使用调查问卷的方法有诸多问题,比如能够收集的样本数有限,采样未必能完全具有代表性,以至于调查结果未必可靠。其次,调查者的主观性会导致问卷设计不合理,诱导被调查者按照问卷设计者的意愿来回答问题。比如美国一位学者设计了一个调查问卷,里面有这样两个问题:

问题一,如果有人做了一件什么事情,你是否会杀了他,受访的人中95%以上说不会。

但是如果他将问题稍作修改成:

问题二,如果有人做了一件什么事情(同样的事情),他是否该被杀,同一群受访的人中绝大多数(90%左右)会说应该。

出于避免引起种族和宗教方面的麻烦,我隐去了被调查的那件事是什么,被调查者是哪一个群体,不过我可以告诉你的是,那是那个群体颇为在意而敏感的一件事。但是,用不同问题会得到完全不同的统计结果。

除此之外,即便是匿名调查,被调查者有时出于面子或者道德约束的考虑,可能选择别人认为是对的结果,而非他们真实的想法。比如罗胖就说过,过去央视通过调查问卷统计出来的收视率很不准确,后来发现大牌主持人和高大上节目的收视率被严重高估了。

回到上面关于民众对奥巴马健保法案的态度,盖洛普问卷调查的结果(支持的声音较大)和统计学家通过社交媒体分析的结论(反对的声音较大)相差非常大。关于这一点,我在《智能时代》一书中作了更详细的分析。

那么怎么解决上述问题呢?统计学家们发现从互联网上海量的数据出发,利用大数据分析的方法得到结论,比传统问卷得到的结论更准确。在今年的美国大选中,两党的候选人希拉里和特朗普都表示不支持奥巴马的健保法案(希拉里的丈夫克林顿和女儿切尔西已经明确表明了这一点),也说明他们更多地看中大数据分析的结果,而非盖洛普的问卷调查。

等到希拉里和特朗普身上,大数据分析的结果和传统的问卷调查又出现了矛盾。在这两位美国总统候选人第一次电视辩论之后,7家主要媒体问卷调查的结果都是希拉里在辩论中获胜,但是根据推特对50多万使用者统计的结果,55%的人认为是特朗普获胜,差距还是非常大的。

除了了解民意之外,这项技术在商业上使用得更多,很多公司通过它来了解用户对自己产品的意见。比如苹果公司在增加了iPhone的一些功能后,它会通过社交网站的内容,来了解大家是否喜欢这些功能。美国大公司常常很看重顾客对自己产品的态度,早在2001年,IBM就希望我加盟他们公司,做用户情绪的分析。2011年,我帮助某风险投资公司评估一家提供用户情绪分析的小公司,那家小公司的主要客户就是耐克、可口可乐、麦当劳等大公司——它们希望通过大数据分析来了解用户对自己产品的意见。作为全球性的大公司,它们需要了解全世界各个国家不同人的感受,如果在上百个国家用传统的方式同时展开市场调查,成本非常之高,但是利用网络数据,它们就可以一次性地得到各个国家的用户反馈。

那么怎样通过对互联网上的数据,特别是社交网络上的数据(以下简称网络数据)分析大众的情绪或者心态呢?简单地讲,这是一个自动分类的问题,即把人的情绪分为若干类,然后把网络数据根据内容确定为其中的一类(或者几类)。具体实现的方法大致有两种,第一种是有监督的机器学习,大致步骤如下:

首先,从网络数据中选取一些样本(比如帖子,也称为训练样本),手工地对每个帖子打上一个情绪的标签(高兴、愤怒、焦虑等等),这就将它们各自分到所属的类别。

其次,根据每一类情绪对应的帖子,找到相应的特征,这些特征可以是简单的关键词、关键词的组合、表情符号,甚至是一些标点符号(比如问号和感叹号),也可以是表述时用的句式、语法结构等等,每一种情绪对应的特征是不同的。

最后,把大量收集来的网络数据拿来,从中抽取特征,和每一类情绪的特征做比对,就能大致确定大众在网络数据中所反映的情绪。

这种方法主要的缺点是手工标注出每一个样本所对应的情绪,工作量很大,为了克服这个问题,可以采用一种无监督的机器学习方法,也就是说,一开始随机地给样本设定一种情绪,当然这种情绪的初始设定大部分是不正确的,不过没有关系。接下来可以采用一种自适应的机器学习方法,通过多次迭代来修改最初的错误,一般来讲,每迭代一次,就能修正一部分错误,直到计算机找不到更多的错误为止。这样,前面那种算法的第一步就自动完成了,以后的步骤则相同。这种方法的好处是减少人工,缺点是计算量非常大,而且有时机器学习的算法找不出错误,不等于错误不存在。因此,可以讲两种方法各有千秋。

至于机器学习的算法,目前很热门的人工神经网络(也就是Google深度学习的算法基础)方法就非常适用,此外,很多其它机器学习的方法(比如贝耶斯网络或者最大熵模型)也都可以解决这个问题。它们的效果可能略有差别,但是总体来讲差别不大,甚至可以被认为是等价的,采用哪一种都可以。

通过大数据分析大众情绪的好处是,大家在社交网络或者网络媒体上发言时,通常不会刻意隐瞒自己的观点,因此分析的准确性要比问卷调查好很多。

关于这一问题,如果你有什么新的想法,欢迎回信与我交流。

热门文章

发表回复

您的电子邮箱地址不会被公开。 必填项已用*标注