快手软件
原标题：《残酷底层物语》是全部真相吗？从数据代表性角度
作者：燕园的燕子
来源：NSD高级计量经济学
先来说个故事：假设在一个家庭中，妻子受了重伤，丈夫立刻把她送去医院，悉心治疗，彻夜陪床。请问，这个丈夫是不是好丈夫？如果你想好了答案，那么我再告诉你：为什么这个妻子会受重伤呢？是因为这个丈夫家暴，她的伤全部是丈夫打的。再问，这个丈夫是不是好丈夫？再比如，我继续告诉你，为什么这个丈夫会家暴呢？是因为他有间歇性精神病，病情发作时，他以为他在跟敌人作战，所以打了妻子。我再问你，这个丈夫是不是好丈夫？也许你说这场景太夸张了，无从讨论。但其实，《美丽心灵》中描述诺贝尔奖经济学奖得主约翰·纳什一生中的一段时间发生的事，就类似于这么个故事。
换个角度：如果我只告诉你前半部分，或者只告诉你中间部分，或者只告诉你最后这个部分，而没有告诉你这个故事的全部；但是我告诉你的全是真实的，请问，我算不算说谎？
这故事当然是个比喻。但是数据分析中，值得关注的核心问题之一，就是数据反映的是全部真相，还是部分真相？如果我告诉你的部分真相，我有没有老老实实承认，这只是部分真相、并且是真相中，大致处于哪个部分？在统计分析中，我们对于统计量的基本要求，一是无偏（就是该不偏不倚呈现所有事实）；二是一致，就是说哪怕有限观察时有偏，但是随着数据量的增大，我们应该可以逼近全部的真相。这类统计分析问题，过去离普通大众很远，因此杀伤力和危害力也许还有限。但是在这个大数据时代，人们可以获取的数据忽然变成了海量，错误的、带着其他目的来误导人的分析，带来的影响就可能巨大了。
比如今天早晨我被一篇介绍农村底层残酷生活的文章刷屏。读完第一感觉：惭愧，生活在中国，我竟然不知道广大农村是这样的。第二感觉，且慢，为甚们觉得许多地方不对？是不是这其实是一篇广告文？这个疑问的第一条理由，就是文中提到的辍学率，跟我们对于农村教育水平的理解，差距太远。文字极尽夸张，离真相究竟多远？会不会不小心就落入了人家用统计数据来撒谎的圈套？
文章的开头首先说，其实这个软件是中国第一大短视频，给出了excel图和数据来源，看起来很专业。于是，如果你不知道这个软件，一个自然的推论就是，你不了解中国实际。但是，文中所述是否是事实？ 我找来2016年4月各软件活跃用户排行，将排名前100的软件活跃用户相加，得到71亿，再计算市场份额。该软件的活跃用户为2123万，占市场份额的0.29%。
作者计算。数据来源：http://www.bigdata-research.cn/apprank/
细看文中图表的标题（图2），发现选取的是2015年数据，选取的是GIF这样一个特别的市场。找到那篇文章的数据来源，可以看出些许端倪。我发现其实那只是其中一张图，而其他信息却没有汇报，比如图3。
图2
图3
数据来源：http://www.bigdata-research.cn/content/201505/141.html
图3表明，从活跃用户角度，该软件并非最高。但是运行次数确实在这个细分市场中更多的。回想自己看到gif图片的经验可以明白，gif动图速度快。很多时候还没有对它采取什么措施，就已经自行循环往复运行多次了。这显然和我主动点开某视频、一次次重复看，存在天壤之别。到这里，大致明白了：作者虽然选用了看起来真实的统计数据，单只选用对自己有利的那部分数据。让读者的注意力集中在总运行次数上，但是不告诉读者，gif天然具有自动运行多次的特征。至于活跃用户实际更少的事实，却被回避了。
报告部分事实是造假，但除此之外，文章直接造假。例如文章开始给出的一张表格说，该软件目前流量贡献排名第四，仅次于新浪。我不能找到文章数据来源，但是其中列出了月活跃用户这一指标，就大幅缩小新浪用户数（20343万变成不到一亿），目的是说明自己名列第四。在其他各种指标（如下图所示2016年3月总时长、人均次数等）中，都无法找到该软件的身影。
马克·吐温说，世界上有三种谎言：谎言，该死的谎言，和统计数据。大数据时代数据更多了，但是泥沙俱下。给一部分真实的数据，再掺杂直接编造的谎言，骗取了人们的信任，就可以植入概念—那些忧心农村底层的人，会下载这个软件，希望以此更了解中国；而那些原本就想猎奇的也因此好奇心被激起。
经济发展、不平等加剧，农村地区教育状况、儿童的精神状况等各方面的问题，确实是需要更多人关注的大问题。但是，只呈现部分事实，恐怕不是对于全部现状的真实呈现。比如在《逃离不平等》一书中的记载显示，全球贫困率的下降，主要是中国贫困率的下降。这也是事实的一部分。其实有偏的分析并非没有价值，只要警示读者：我的分析是存在偏差的，因为我只关注了这个部分。但是试图以偏概全，博取关注，这样的行为就要小心了。
但愿人们的爱心，不要被假借关注农村、背后很可能带着商业目的的虚假分析误导，以至于渐渐冷淡。也盼望读者对于读到的文字，也能多判断是否过于偏激而不能代表全部的真相。
责任编辑：王彦飞
