为什么人们的预测水平一直原地踏步

竹光侍
2014-01-23 看过
神算子、神奇小子、来自未来的人……只要数一下纳特西尔弗身上的头衔,你就会明白——人们对于预言家的狂热崇拜自古至今从来没有消退过。在原始巫术被科学的烛火驱逐出境之后,预言家们又披上了科学的外衣卷土重来——在普通人眼中,现代科技早已复杂到与巫术无异。
就拿两次命中美国大选结果,被媒体捧为"大数据时代先知"的西尔弗来说,人人都在谈论他的"神机妙算"如何不可思议,却几乎没有人知道他是如何做到的,也似乎没有人关心。这个"神话"正如同"大数据催生《纸牌屋》"一样,人人都挂在嘴上,人人都不明所以。
如果你把他这本《信号与噪声》当作现代版《周易》,想看看他的"宝葫芦"里面都装了什么,恐怕要大失所望。正好相反:作者只解释了为什么大多数的预测注定要失败,却没透露半点自己的成功秘诀。
西尔弗在书中盘点了政治、经济、气象、体育等各个领域在预测方面的"战果",真可谓是败绩累累,胜者寥寥。除了气象领域一枝独秀,预测准确率节节攀升以外,其他领域进步甚微,尤其是在政治、经济等社会领域,人们的预测还是和半个世纪之前一样不靠谱。
这也难怪"民间地震家"、"电视股评人"依然大行其道,拥簇者甚众了。既然专家手中并无水晶球,还不如择其顺耳者而听之呢。在这个众声喧哗、没有标准答案的"意见市场",专家的身份有时反而成为拖累。
为什么人们已经把人类送上了外太空,却依然没法把水晶球擦亮一点呢?在总结失败原因之前,我们不如先看一看气象预报的成功之道。
今天,虽然仍有“骗”我们做落汤鸡的危险,天气预报已经足以成为我们安排生活的指南。但是,在半个世纪之前,这一切都是不可想象的。只有在引入了超大型计算机之后,气象学家们才有可能模拟出大气中每一个分子的运动轨迹,设计出预测下一步风云变幻的模型。(但是由于那只没事乱扇翅膀的蝴蝶,有时候失之毫厘依然可能谬之千里)70年代气象卫星上天之后,人们可以24小时无死角监控云聚云散、洋流涌动、气温起伏,预测准确度进一步提高。
气象预测给人印象最深刻的进步大概就是飓风预测了,25 年前,美国国家飓风中心提前 3 天预测飓风登陆的位置时,平均误差将近 563 公里,对于人类来说,这种预测毫无意义。而现在的平均误差只有约 161 公里,正因如此,在新奥尔良飓风中气象预测立下了汗马功劳。
技术进步固然居功甚伟,但是为什么只在气象预报领域单兵突进呢?首先,预测的前提是对所预测对象的了解,了解程度越深,预测也就越容易接近事实。几千年来仰头观天,数十年来卫星俯瞰,人们自内而外已经积累了足够多的气象学知识,风雨雷电的发生原理已经成为人人皆知的常识。无知者常常质问"地震预测为什么不能像天气预报一样准",殊不知,人们至今对于地壳活动的了解可能还不如月球。而且,每一次气象预测都能很快收到反馈,根据结果修正预测方法,在这样日复一日,日拱一卒的过程中,精度也在不断地提高。但是这一招显然不能用在其他地方,比如地震预报,如果地震局三天两头、大小不拉地"危言耸听",只有一个可能:那就是被民间地震学家占领了。
在社会科学领域,预测者要面临着更为复杂的挑战。从学科分立的时间先后就可以看出,人们对于社会运作原理的了解比对自然界的了解差远了,各个学科无不是门派林立,学说纷云,不同派别对于未来的预测大相迳庭甚至南辕北辙。
当然,人们也没有机会像模拟大气中分子运动一样推演人们的行动轨迹、个体选择。更要命的是"观察者效应"(海森堡测不准原理)的存在,这个量子力学多年的难题也困扰着每一个社会学者——预测本身会对结果产生影响,类似于自我实现。光环加身的西尔弗恐怕也难逃这一规律的"诅咒",毫无疑问,他下一次的预测一定会影响最终的投票结果。
对运作原理的不确定使人们无法从大量的"噪声"之中筛选出有价值的信息。以美国经济预测为例。美国政府每年公布的数据,与经济指标直接相关的有 4.5 万个,而私人数据提供者要追踪高达 400 万个统计数据。经济学家们试图在这些指标之间建立对应关系,以便作为预测的参考,比如失业率和通胀率之间此消彼长的菲利普斯曲线、GDP增长与就业数量之间正增长的奥肯定律,但是无一例外地都被经济周期所推翻。参考指标是如此之多,以至于经济学家可以选取任意变量,发明出各种千奇百怪的模型,并宣称拟合度很高(想象一下,当你拥有像电话簿一样厚的一摞经济数据时,自己会变得多么有创造力)。比如,美国橄榄球超级杯大赛的冠军队伍曾一度是经济预测中非常有名的“领先指标”。1997 年之前的 31 年里,有 28 年该指标都正确地“预测”了股市的走向。从理论上来看,统计学标准测试可以表明这种相关关系绝非偶然,是偶然的可能性只有 470 万分之一。然而事实上,这种关系的出现只是巧合而已。1998年,这种"神话"就在大牛市面前轰然倒塌了。
与之类似的,当你在电视上看到麦当劳指数、“短裙效应”等经济风向标时,最好一笑置之。
在所有学科中,关于经济学家的笑话恐怕是最多的。比如,经济学家对近期发生的 6 次经济衰退进行预测,结果正确预测的次数达到 9 次。这当然是对经济学家未能"未卜先知"金融危机的不满,更有对于他们和金融机构之间沆瀣一气的抗议。
虽然我无意为经济学家们鸣冤叫屈,却想说他们不应该成为千夫所指的罪魁祸首。因为现在基于凯恩斯理论基础上的宏观调控,必须需要测量经济体的体温、血压、脉搏等数据。尽管经济学家都没有计划经济学者那样"致命的自负",他们还是要承担起测量员的角色。对于菲利普斯曲线、奥肯定律等模型的局限性,他们也都心知肚明,但是作为风雨如晦中摇曳朦胧的灯盏,提着总比空手抹黑向前要强。而且,一次次的预测失败也正是经济理论在现实面前一次次检验、一次次加深认识的过程。作者一味地归结为经济学家"致命的自负",可能是局外人对于学术圈根深蒂固的偏见。
"评级公司有这样一种魔力,能将捉摸不定的不确定性转变成看似可以感知的风险。"和塔勒布一样,作者也指出评级机构并没有把小概率事件考虑在评估模型中,以至于大大低估了金融危机的破坏性。标普、惠誉的评星本应为人们标识出金融系统的软肋之所在,却反而成为麻痹人们神经的遮眼布。我想被作为唯一的靶子,它们可能有点冤枉:将一切风险量化、分散化是现代金融体系的立身之本,不确定性尽管无法评估却又不得不评估,为了一两只"黑天鹅"而全盘推倒重来无疑是不现实的。
正如我开头提到的"《纸牌屋》靠大数据取胜"的神话一样,"啤酒与尿布"这个查无实据的神话也成了数据挖掘威力的经典例证。"你不必为了安全驾驶而去了解汽车引擎如何工作",在去年风靡一时的《大数据时代》理充满了这样的惊世之论:大数据时代,相关性比因果关系更重要。当获取全样本的信息成为可能,追踪任意指标之间的相关关系不再困难,谁还需要知道所以然呢?"It just works"就够了。
看了前面的分析,你应该能够看出这种说法的荒谬之处了。有了理论支持,或者至少对其根源进行更加深入的研究之后,统计学推理才会更具说服力。

欢迎关注微信公众账号:财经评书,热门财经图书、畅销职场小说、经典经济著作 ,提取书里精华,用文字和声音将书中智慧一网打尽。让你在碎片时间也能“读完”一本本好书。
9 有用
1 没用

查看更多豆瓣高分好书

评论 0条

添加回应

信号与噪声的更多书评

推荐信号与噪声的豆列

了解更多图书信息

豆瓣
免费下载 iOS / Android 版客户端