yet another big data book

asterisk

这本书也是讲大数据的,和同类的书相比,也基本没有太多的新货,基本断断续续翻着翻着就看完了,不过还是稍微总结一下:

1. 大数据和common wisdom,common wisdom相对来讲都是小数据,虽然通常有效,但是存在明显的bias,因为人往往会夸大自己的经验,低估自己没有经历过的事情的概率。常识有效,但是要谨防各种各样的bias

2.大数据时代,相关关系可以解决很多问题,这个观点早已不新鲜,相比于专家经验依靠领域知识,相关关系可以在不知道因果的情况下达到一定的效果,当然缺少归因还是可能存在bias或者错误的风险

3.一个人的行为相比于语言更真实,面对搜索引擎/app无意中留下的痕迹比面对调研的回答更可靠,一方面,按照心理学和神经科学的研究,人的意识分为潜意识和意识,而有时候潜意识做出的行为因为不涉及到复杂的决策和理解的过程,也往往反映的是真实的意图,而有意识的行为在某些情形下,反而是有bias的,例如道德,面子的约束往往会让人倾向于美化自己或者是自己相关人的情况,另一方面,人们留下的痕迹数据也更加的多样化和丰富,极大地提升了我们对于人的理解能力

4. 大数据时代带来的还有就是A/B test,可以说a/btest是目前互...

显示全文

这本书也是讲大数据的,和同类的书相比,也基本没有太多的新货,基本断断续续翻着翻着就看完了,不过还是稍微总结一下:

1. 大数据和common wisdom,common wisdom相对来讲都是小数据,虽然通常有效,但是存在明显的bias,因为人往往会夸大自己的经验,低估自己没有经历过的事情的概率。常识有效,但是要谨防各种各样的bias

2.大数据时代,相关关系可以解决很多问题,这个观点早已不新鲜,相比于专家经验依靠领域知识,相关关系可以在不知道因果的情况下达到一定的效果,当然缺少归因还是可能存在bias或者错误的风险

3.一个人的行为相比于语言更真实,面对搜索引擎/app无意中留下的痕迹比面对调研的回答更可靠,一方面,按照心理学和神经科学的研究,人的意识分为潜意识和意识,而有时候潜意识做出的行为因为不涉及到复杂的决策和理解的过程,也往往反映的是真实的意图,而有意识的行为在某些情形下,反而是有bias的,例如道德,面子的约束往往会让人倾向于美化自己或者是自己相关人的情况,另一方面,人们留下的痕迹数据也更加的多样化和丰富,极大地提升了我们对于人的理解能力

4. 大数据时代带来的还有就是A/B test,可以说a/btest是目前互联网公司万能的手段,大到一个产品的定位,小到一个图标的选择,都可以通过a/btest来拿到结果,这是大数据时代独有的方法论,并且已经被证明行之有效,虽然有滥用的风险,但整体可以说非常成功

当然这本书里也提到了大数据的问题,或者是风险点:

1.就是大数据的局限,例如curse of dimensionality/overfitting等问题,很多人都已经提到过了

2. 是大数据伦理的问题,大数据时代,政府变得更强,而且还有google/facebook/apple/tencent这种积累了大量数据的公司,这些数据如何使用是个值得深思的问题,当然作者也并没有给出一个完整的答案,毕竟也不是专门讲这些问题的一本书

总的来说,书里面的例子还是比较有意思的,虽然观点上并没有太大的创新,值得快速翻一番,加深下印象

0
0

查看更多豆瓣高分好书

回应(0)

添加回应

Everybody Lies的更多书评

推荐Everybody Lies的豆列

了解更多图书信息

值得一读

    豆瓣
    我们的精神角落
    免费下载 iOS / Android 版客户端
    App 内打开