‘壹’ 《统计数字会撒谎》pdf下载在线阅读,求百度网盘云资源
《统计数字会撒谎》([美] 达莱尔·哈夫)电子书网盘下载免费在线阅读
资源链接:
链接:https://pan..com/s/1P8qEIcaLXn8myBzvNCup_Q
书名:统计数字会撒谎
作者:[美] 达莱尔·哈夫
译者:廖颖林
豆瓣评分:7.4
出版社:中国城市出版社
出版年份:2009-3
页数:154
内容简介:这本书是美国统计专家达莱尔·哈夫的传世之作,该书引发的“编造虚假信息”话题受到美国社会持续普遍的关注和美国权威媒体的激烈核局御争论。书里面大胆地揭露了至今仍然被销售员、广告撰稿人、记者甚至专家频频使用的大量的统计操纵技巧,同时还配有别具一格的风趣插图以及众多幽默的案例。神秘的统计学在这里被哈夫像讲故事一样一一道来,莞尔一笑中让你知晓深奥的统计学基本原理,掌握揭露“虚假数据”的最有力武器……
自50年代出版以来,此书不断再版,并被翻译成多种文字,在世界的影响力持久不衰,被誉为美国商业人士、研修人员的重要入门必修书之一。
作者简介:达莱尔·哈夫,美国统计专家。1913年出生在美国爱荷华州,毕业于爱荷华州立大学(the State University of lowa),获得学改岩士学位和硕士学位,在此期间他由于成绩优异加入腊陆了美国大学优等生的荣誉学会(Phi Beta Kappa),同时还参加了社会心理学、统计学以及智力测验等研究项目。达莱尔·哈夫的文章多见于《哈泼斯》、《星期六邮报》、《时尚先生》以及《纽约时报》等美国顶尖媒体。1963年,由于他的贡献被授予国家学院钟奖(National School Bell )
‘贰’ 在数学中"我正在说谎"是悖论 为什么呢,什么叫悖论 为什么这个不是命题呢
悖论
也可叫“逆论”,或“反论”,是指一种导致矛盾的命题.悖论(paradox)来自希腊语“para+dokein”,意思是“多想一想”.这个词的意义比较丰富,它包括一切与人的直觉和日常经验相矛盾的数学结论,那些结论会使我们惊异无比.悖论是自相矛盾的命题.即如果承认这个命题成立,就可推出它的否定命题成立;反之,如果承认这个命题的否定命题成立,又可推出这个命题成立 如果承认它是真的,经过一系列正确的推理,却又得出它是假的;如果承认它是假的,经过一系列正确的推理,却又得出它是真的.古今中外有不少着名的悖论,它们震撼了逻辑和数学的基础,激发了人们求知和精密的思考,吸引了古往今来许多思想家和爱好者的注意力.解决悖论难题需要创造性的思考,悖论的解决又往往可以给人带来全新的观念.
例如比较有名的理桐肢悉发师悖论:某乡村有一位理发师,一天他宣布:只给不自己刮胡子的人刮胡子.这里就产生了问题:理发师给不给自己刮胡子?如果他给自己刮胡子,他就是自己刮胡子的人,按照他的原则,他不能给自己刮胡子;如果他不给自己刮胡子,他就是不自己刮胡子的人,按照他的原则,他就应该给自己刮胡子.这就产生了矛盾.
1900年前后,在数学的集合论中出现了三个着名悖论,理发师悖论就是罗素悖论的一种通俗表达方式.此外还有康托尔悖论、布拉利—福尔蒂悖论.这些悖论特别是罗素悖论,在当时的数学界与逻辑界内引起了极大震动.触发了数学的第三次危机.
悖论有三种主要形式.
1.一种论断看起来好像肯定错了,但实际上却是对的(佯谬).
2.一种论断看起来好像肯定是对的,但实际上却错了(似是而非的理论).
3.一系列饥谈推理看起来好像无懈可击,可是却导致逻辑上自相矛盾.
悖论有以下几类:
逻辑悖论、概率悖论、几何悖论、统计悖论和时间悖论等.
历史上着名的悖论
NO.1
说谎者悖论(1iar paradox or Epimenides’ paradox)
最古老的语义悖论.公元前6世纪古希腊哲学家伊壁孟德
所创的四个悖论之一.是关于“我正在撒谎”的悖论.具体为:如果他的确正在撒谎,那么这句话是真的,所以伊壁孟德不在撤谎,如果他不在撒谎,那么这句话是假的,因而伊壁孟德正在撒谎.
NO.2
伊勒克特拉悖论(Eletra paradox) 逻辑史上最早的内涵悖论.由古希腊斯多亚学派提出.它的基本内容是:伊勒克特拉有位哥哥奥列斯特回家了.尽管伊勒支持拉知道奥列斯特是她的哥哥.但她并不认识站在她面前的这个男人.
写成一个推理.即:
伊勒克持拉不知道站在她面前的这个人是她的哥哥.
伊勒克持拉知道奥列期特是她的哥哥.
站在她面前的人是奥列期特.
所以,伊勒克持拉既知道并且又不知道这个人是她的 哥哥.
NO.3
M:着名的理发师悖论是伯特纳德·罗素提出的.一个理发师的招牌上写着:
告示:城里所有不自己刮脸的男人都由我给他们刮脸,我也只给这些人刮脸.
M:谁给这位理发师刮脸呢?
M:如果他自己刮脸,那他就属于自己刮脸的那类人.但局乎是,他的招牌说明他不给这类人刮脸,因此他不能自己来刮.
M:如果另外一个人来给他刮脸,那他就遣蛔约汗瘟车娜恕5?恼信扑邓?姓饫嗳斯瘟场R虼似渌?魏稳艘膊荒芨?瘟场?蠢矗?挥腥魏稳四芨?馕焕矸⑹?瘟沉耍?
NO.4
唐·吉诃德悖论
M:小说《唐·吉诃德》里描写过一个国家.它有一条奇怪的法律:每一个旅游者都要回答一个问题.
问,你来这里做什么?
M:如果旅游者回答对了.一切都好办.如果回答错了,他就要被绞死.
M:一天,有个旅游者回答——
旅游者:我来这里是要被绞死.
M:这时,卫兵也和鳄鱼一样慌了神,如果他们不把这人绞死,他就说错了,就得受绞刑.可是,如果他们绞死他,他就说对了,就不应该绞死他.
‘叁’ 用经济学解释人为什么撒谎
经济学假设人都是理性人,为了自己的利益最大化而采取行动;撒谎是可供选择的策略之一。
对于单次博弈或者说短期效应而言,在信息披露与不披露之间选择了披露,在披露真与假之间选择了假。对手会根据你披露信息的选择(就是披露与否)和你信息的具体内容进行判断和决策。撒谎就是引导对手向对自己最有利的方向去,可能共赢或公损,也可能一赢一损。
对于序贯博弈或者说长期效应而言,撒谎不是很好的策略。因为在无限次数的博弈之中,已经被数悉派学家证明了,采取以下策略单个个人收益最优:当上一颂唤次对手合作时,下一次选择合作;反之选择背叛。如果进一步假设对手也是理性人,那么效益最高明显是选择合作。从信息披露角度看,长期选择撒谎不符合效率原则,但是在博弈上风险低。
当然实际是非常复杂的,模型毕竟睁樱贺简化了很多,还要加入其他因素考虑。
‘肆’ 为什么统计数据有时会“撒谎”
要想从统计数据中挖掘出正确的结论,并不是一件容易的事。如果只从表面上观察数据,往往会得到一些错误的信息。正如着名作家马克·吐温所言:“世上一共有三种谎言:谎言,糟糕的谎言,还有统计数据。”
收集统计数据是一项复杂而又精细的工作,每一步都有出错的可能。即使所有的细节都万无一失,最终得到的数据里也会隐藏大量的陷阱。如果盲目地对统计数据进行分析,有时会得出一些甚为荒谬的结论。
统计学家曾经调查过铀矿工人的寿命,其结果让人大跌眼镜:在铀矿工作的工人居然与普通人的寿命相当,有时甚至更长!难道统计结果表明在铀矿工作对身体无害甚至有益吗?当然不是!事实上,只有那些身强体壮的人才会去铀矿工作,他们的寿命本来就可能长一些;正是因为去了铀矿工作,才把他们的寿命拉低到了平均水平,造成了颤冲数据的伪独立性。这种现象常常被称为健康工人效应。
类似地,有数据表明打太极拳的人和不打太极拳的人平均寿命相当。事实上,打太极拳确实可以强身健体,延长寿命,但打太极拳的人往往体弱多病,这一事实也给统计数据带来了虚假的独立性。
有虚假的独立性数据,就有虚假的相关性数据。悄拆统计数据显示,去救火的消防员越多,火灾损失越大。初次听到这样的结论,想必大家的反应都一样:这怎么可能呢?仔细想想你就明白了:正是因为火灾灾情越严重,损失会越大,所以才会有更多消防员去救火。这里的因果关系弄颠倒了。数据只能显示两个事情有相关性,但并不能告诉你它们内部的逻辑关系。
事实上,两个在统计数据上呈现相关性的事件,甚至有可能根本就没有因果关系。统计数据表明,冰激凌销量增加,鲨鱼食人事件也会同时增加。但这并不意味着,把冰激凌销售点全部取缔了,就能减小人被鲨鱼吃掉的概率。真实的情况是,这两个变量同时增加只不过是因为夏天到了。又如,统计数据显示,篮球队的获胜率,竟然与队员的球袜长度成正比。难道把队员的球袜都换长一些,就能增加球队实力吗?显然不是。数据背后真正的因果关系是,球队的获胜概率和队员的球袜长度同时受第三个因素——队员身高——的影响,这导致了获胜概率与球袜长度之间表现出虚假的相关性。
类似的例子还有很多。如果观察大气层二氧化碳的含量变化和肥胖症人口的数量变化,会发现一个非常有趣的现象:在1950年左右,两者都出现了一次非常剧烈的增长。但科学研究并没有发现,二氧化碳含量的增加会导致人类出现过度肥胖的趋茄运歼势。事实上,这个数据背后的真实原因是,20世纪50年代,汽车产业形成了一定的规模,尾气排放导致大气中的二氧化碳含量陡然增加;同时,人们也更多地用汽车代步,活动的时间越来越少,自然就越来越胖了。
‘伍’ 趣味故事看:统计到底是个什么鬼
统计是一门不易理解的“数学” : 人为的规定、抽象的术语、繁多的公式……
这门课真得是让人头大,据说是专业内最难的课程之一……
让人沉浸在公式里跳不出来……
不过,我觉得,这是一个大数据的时代,真的是——无统计,不人生!
正文:统计到底是个什么鬼?
此刻,这门课终于考完了,
人生中好多次的遗憾就是,考完了才想明白,原来有一道关键的题自己答错了……
但也恰在这个时候,内心觉得这门课其实还是挺有意思的 ——
不知道这样说,会不会有人丢鸡蛋或者鞋子过来……
这门课由 北师大黄四林老师和中科院心理所禤宇明 (我们又认识了一个新字, 禤 读xuan宣)两位老师联袂主讲,
深以为,统计学由他们友弊举讲来,真的是趣味横生……
一上课,黄老师就先给打了预防针:统计学是你们学的课程当中最难的一门!
看看我们的同学们是如何根据自身的体验来评价统计学的呢?:
统计学地位似乎并不高,我看过学科编码表, 居然排在最后 ,比民族学、体育学还往后:
但内心觉得这门课程其实真的非同一般——
统计学运用的好,得出的研究成果让人受益匪浅 ;统计学是一个枯燥的专业,要和大量的数据打交道,堆积如山的各式表格看了都让人害怕,更别说还要去整理和分析这一堆堆冷冰冰的数字了,
可是, 统计学又是一个有趣的专业,毕竟它是和生活紧密联系在一起的。
为什么需要统计学?
学好了统计,真能改变人生!!!
你信不信?不信?有个故事是这样的:
我有个哥们,有次聚会时说自己买了很多条IPhone数据线,家里每个房间插一条,走到哪儿都能随时充电。
在场的姑娘们都当成是段子笑笑就过去了,
只有一个认真学过统计的姑娘 悄悄问他买了多少条,他说42条……
现在他和那个姑娘在北京三卜行环内总共42个房间的数套豪宅愉快地生活,上个月刚结婚了……
(噢,好吧,上面故事实际发生的概率 p <<0.01)
看看一些历史上那些人是如何评价统计学的吧:
南丁格尔说 :人类发现了统计,统计改变了世界。若想了解上帝在想什么,我们就必须学统计, 因为统计学就是在量测他的旨意。
一个有名的医生(但是我不知道他是谁)说 :“没有统计, 其它科学可以存在,但是很渺小 ”,“医学若无统计就不是科学”;
噢,对了,我们的 黄四好碧林老师专门提到了上面这句话 !
好吧,也许你也会认为, 上面那些人在某种程度上是夸大其辞 ……
和他们持不同意见的人这么说过:
“世上有三种谎言:谎言,该死的谎言,统计数字”
——是的,每当看到某些网络上公布的统计数据,我们可能也是这样想的,
比如某些新片的票房,某些企业的业绩,房价会继续上涨还是下跌……
还有 男人的收入,女人的体重和年龄……
而禤老师说, 其实统计学就是——猜……
嗯,真得是言简意赅、一针见血、入木三分呀!
那,统计到底是个什么鬼?
统计的诞生与地位
统计一词起源于国情调查,最早意为国情学。
统计语源最早出现于中世界拉丁语的Status,意思指各种现象的状态和状况。由这一语根组成意大利语Stato,表示“国家”的概念,也含有国家结构和国情知识的意思。根据这一语根,最早作为学名使用的“统计”,是 在十八世纪德国政治学教授亨瓦尔(G.Achenwall)在1749年所着《近代欧洲各国国家学纲要》一书绪言中,把国家学名定为“Statistika”(统计)这个词。原意是指“国家显着事项的比较和记述”或“国势学”,认为统计是关于国家应注意事项的学问。此后,各国相继沿用“统计”这个词,并把这个词译成各国的文字,法国译为Statistique,意大利译为Statistica,英国译为Statistics,日本最初译为“政表”、“政算”、“国势”、“形势”等,直到1880年在太政官中设立了统计院,才确定以“统计”二字正名。1903年(清光绪廿九年)由钮永建、林卓南等翻译了四本横山雅南所着的《统计讲义录》一书,把“统计”这个词从日本传到我国。
最早的统计着作 来自公元9世纪的《密码破译》,由阿拉伯人肯迪编着。在书中,肯迪详细记录了如何使用统计数据和频率分析进行密码破译。
根据沙特阿拉伯工程师易卜拉欣·阿凯笛(Ibrahim Al-Kadi)的说法, 统计学和密码学分析便如此一同诞生了。
自然和人类社会是有序的,按完美的设计而恒定地运行着 ,从星体的运动到树叶的颤动,从人们的行为到人们的观念,所有感官能感知的东西都能用一种精确、和谐而理想的形式来描述。
任何科学都只能预见大体上的重复现象。
统计学就是通过差异描述规律;透过现实走向理性,走出混沌,走向秩序!
有人把数据比作是信息、知识和智慧的基石……
统计学是科学的“母亲”和“仆人” 。说她是“母亲” ,因为统计学对其他学科起着孕育、生产新思想的作用;说她是“仆人”,因为统计学是其他学科的工具,用统计规律逼近客观规律的工具。
而实际上, 统计思维又或者数据思维 是人类在自然进化过程中自然而然发展出来的一种思考方式和解决问题的路径, 更是当代人都应该具备的底层思维方式 ,而不仅仅限于学术领域。
我们已经无可逃避地身处大数据时代了, 如何辨别真伪,如何做出决策,都需要数据思维的支持 ,每个人、每个人的生活、每个人的工作都在被量化, 善于使用数据的人正在用数据帮助自己设计、优化和迭代自己的人生。
数据不能说明一切,但是是某种事实:
In God we trust. Others bring data.
数据是最简练的语言, 统计学和数学中的公理、定义、定理是最无歧义的语法。
我们需要概率来理解抽奖,保险,医学试验,工业质量控制,天气预报,运动创伤,基因和现代物理。
在面对不确定的情况下, 统计是一种能够帮助我们做出聪明决策的科学方法(通常的误差极可能来自样本量还不够大) !
如果你想抓住生活的机遇,想成为一个具备理性思维的人, 学习统计学能在极大程度上帮你建立理性思维的框架 , 提高分析问题与处理问题的能力。
当你把知识点都一一击破后,你会惊喜地发现很多公式再也不用死记硬背了,它就印在你的脑海中了,你突然一下子就能看懂回归的结果和表格了,从此以后再也不怕阅读定量类学术文章。
很多人在学习统计时都认为统计由一系列枯燥的数字、公式和图表组成,十分繁杂无味。
然而随着对这门课的深入理解, 不知不觉中会逐渐体会到统计的趣味性。且看我下面的分解:
统计与美食
你男朋友/女朋友时常会问,西红柿炒鸡蛋是先放西红柿还是先放鸡蛋,有影响吗?——尝一尝就知道?!
如果事先不知道,某个人下了判断,你能判断他说的是真的还是猜的吗?80多年前,一位很厉害的英国大牛遇到了类似的问题!
一群风度翩翩的学者偕夫人及漂亮的女友,正在英国剑桥的户外餐桌旁,悠闲的品茶论道。席间,一位美丽的女士惊呼,午茶的调制顺序对味道有很大影响。把茶加进牛奶里和把牛奶加进茶里,喝起来风味完全不同。出于对女性的尊重,那些学者们面带绅士的微笑,内心却不以为然,甚至是藐视,依据他们的科学头脑分析,茶和牛奶两种物质混合结果的化学成份不会因为调制顺序不同而产生不同,怎么会喝起来不一样呢?
当众学者对美丽女士的说法嗤之以鼻时,有个身材瘦小的,嘴上留着灰白胡子的绅士挺身而出,抓住了这个问题。
此人便是在统计发展史上地位显赫、大名鼎鼎的费雪(Ronald Aylmer Fisher,1890-1962),伦敦人氏,英国统计学家。
他和助手设计并调制出很多杯不同的茶,有些先放茶水再加牛奶,有些先放牛奶再加茶水,然后按照既定的顺序一杯一杯拿给美丽女士品尝分辨(你知道,就算是蒙,每杯也有50%的概率)……据说她能分辨出8杯中的每一杯茶,全部答对!
因美女引发了灵感,加上天赋和勤奋,Fisher创立和完善了实验设计理论和方法。
统计与生命科学
我们已经在中学课本里看到这个案例:
1857年,奥地利统计学家孟德尔(Gregor Johann Mendel,1822-1884)精心挑选出22个品种用于实验。考察其可以相互区分的稳定性状,例如高茎或矮茎、圆粒或皱粒、灰色种皮或白色种皮等。在教堂的后花园内一块不到2400平方英尺的畦田上,一干就是八年。耐心实验、仔细观测、不厌其烦,终于从繁杂而宝贵的数据中获得了具有普遍意义的遗传统计规律,成为后世伟大的先驱——
统计与管理
——啤酒与尿布的故事
全球最大的零售商沃尔玛通过分析顾客购物的数据后发现,很多 周末 购买尿布的顾客同时也购买啤酒 。
经过深入观察和研究发现,美国家庭买尿布的多是爸爸。年轻的父亲们下班后要到超市买尿布,同时“顺手牵羊”带走啤酒,好在周末看棒球赛时过把酒瘾。
后来沃尔玛就把尿布和啤酒摆放得很近,从而双双促进了尿布和啤酒的销量。
这个故事是被公认的经典范例。
统计与经济
比如我们在之前文章 《 女人——才是经济的晴雨表 》 中提到的“ 下摆指数(Hemline Theory) ”——女人裙子底边的高度预示了大约六个月后股市的走向。 女人流行穿短裙时,股市指数会走高 ,相反,女人如果流行穿长裙,则股市指数会走低。有人对此现象做了猜测,认为,短裙意味着出风头和乐观态度,而长裙摆意味着潜意识中的软弱、害怕未来和沮丧的情绪。
另有一个“口红指数” ,是化妆品制造商雅诗·兰黛发明的衡量口红销售情况的指数。该指数表明在经济萧条时口红的销售情况反而会比较好,因为这些产品的购买者要从小的、能支付得起的奢侈品中得到一些安慰。(参阅[英]彼得·坦普.神奇的指数:走进经济指数.经济科学出版社.2003,230~231页)
统计与军事
第二次世界大战期间,盟军很想知道德军总共制造了多少辆坦克。德国人长于逻辑思维而乏于机变,在给坦克编号时非常刻板,他们把坦克从1开始按序编号。战争之中,盟军缴获了一些德军坦克,并记录下了他们的生产编号。这些编号对于了解德军的坦克总量有用吗?在统计学家眼里,这些编号组成了一个样本,可由此去估计总的坦克数量。
制造出来的坦克数肯定不小于记录中的最大编号,为了推测它比缴获坦克中的最大编号大多少,可以先计算已知编号的平均值和方差,并把这个平均值视为全部编号的中点。因此,样本均值乘以2就是坦克总数的一个估计,当然,这里必须存在一个假设:缴获的坦克代表了所有坦克的一个随机样本。使用这种方法估计,有可能出现一个荒谬的结果:作为全部坦克数量估计值的样本均值的2倍居然小于样本中的最大值。另一种估计方法是用观测到的最大编号乘以(1+1/n),如果缴获坦克数量为10,其中最大编号为50,那么坦克总数的一个估计是50×(1+1/10)=55。这种方法的各种变形的确用于二战之中。
从战后发现的德军记录来看,盟军的 估计值非常接近于德军生产坦克的实际值 。记录还表明统计估计 比其他情报方式 所做的估计要大大接近于真实数目。 统计学家做得比间谍们更漂亮!
另外,还有统计数字显示,打赢很多战争的秘密武器是:酒!古往今来,无数士兵在酒精的刺激和麻醉下,压抑着战争带来的恐惧,甚至在关键时刻迸发出惊人的战斗意志。
统计与文学
——《红楼梦》作者考证
众所周知,《红楼梦》一书共120回,自从胡适作《红楼梦考证》以来,一般都认为前80回为曹雪芹所写,后40回为高鹗所续。然而长期以来这种看法一直都饱受争议。
能否从统计上做出论证?从1985年开始,复旦大学的李贤平教授带领他的学生作了这项很有意义的工作,他们创造性的想法是将120回看成是120个样本,然后确定与情节无关的虚词出现的次数作为变量,巧妙运用数理统计分析方法,看看哪些回目出自同一人的手笔。
一般认为,每个人使用某些词的习惯是特有的。于是李教授用每个回目中47个虚词(之,其,或,……;呀,吗,咧,罢……;可,便,就……等)出现的次数(频率),利用多元分析中的聚类分析法进行聚类, 果然将120回分成两类,即前80回为一类,后40回为一类 。
而后40回是否为高鹗写的呢 ? 后续的论证结果还推翻了后40回是高鹗一个人所写 ,而是曹雪芹亲友将其草稿整理而成,宝黛故事为一人所写,贾府衰败情景当为另一人所写等等。
这个论证在红学界轰动很大,使红学界大为赞叹。
统计与艺术
哲学、逻辑、政治、经济、管理等学科与统计学的关系之密切是众所周知的,那如果是艺术领域呢?
其实,你有没有想到过,“ 音乐是人类灵魂从计数中感受到而没有意识到这是计数的那种快乐 。”(——莱布尼兹)
远古时代,人们创造出一种像排箫的编管乐器,不同长度的管发出不同的音, 其外形与直方图非常接近 。这种乐器最初能奏出含有三个音组成的五声音阶。到了商代,在一个近似的八度中确定十二个律,并在十二个律中选取五个或七个音组成的音阶体制才确定下来。
(仔细看呵,上面这是一种乐器,不是直方图!)
随着计算机进入音乐世界,音乐、数学、统计学的融合达到了空前的完美。
许多乐器的设计和制作、作曲、歌手的包装等,大都使用统计技术将他们产生的实际声音用图像显示出来,有点像医学中的心电图等。而后,再与用数学描述的理论的或理想的声音图像进行对比,最后,尽可能消除偏差,以达到更接近理论值的艺术效果。
当然,像 绘画和自然界中一些几何数学的美,黄金比例数字等,也早已经广为人知了……
至于体育,你有没有注意过,奥运会打破记录的时间更有可能是在下午?
“田忌赛马”的故事也证明了最早的博弈、体育竞赛和统计学的密切关联!
关于统计考试
摘两个例子:
计算第一题,
这就是我们可能会实施的 高考标准分排名的典型例题 ,这道题也充分展示了 两个原始分数 相同的学生,真正实力的评价方法……你学会了吗?
计算第二题,
这道题分明就是前面提到的估算 德军坦克的故事的翻版了!
或者,如何预测一个池塘里有多少条鱼,甚至是大海里某种稀有生物的数量?解答方法,和 上面预估德军坦克 的故事就非常类似了,不过统计学已经有了更精确的测算公式……
其他不再一一列举,但由此,可见这些题目确实也非同一般呀……
结尾
双11来了,你们有没有统计过自己每年 双11自己剁手后后悔的物品和金额 ?
爱美的姑娘们,你们有没有关心过,哪些食物的热量最适合减肥又最健康?
爱运动的人们,你们有没有天天盯着手机的计步软件或者可穿戴设备上的数字?
这真得是一个离不开数字的时代!
而回望每一个咿呀学语的幼儿,他们最开始要学的可能也是1,2,3,4,5……
为什么你年年学统计,却年年还在学?
如果你学过统计,你深究过下面这些统计细节嘛?
1.总体分布的横、纵坐标是什么?样本分布的横、纵坐标是什么?抽样分布的横、纵坐标是什么?概率分布的横、纵坐标是什么?标准正态分布的横、纵坐标是什么?
2.区间估计时1-95%=0.05,和假设检验时设定的p=0.05,这两个0.05是什么关系?
3.为什么总体的方差是除以N,样本的方差是除以n-1,而抽样分布的方差是除以n?
4.为什么大样本用z检验,小样本用t检验?
5.类别变量的均值和标准差是多少?
6.为什么原假设H0是假设无关呢?
7.你能严谨地说明算术平均数、加权平均数和期望值的联系和区别吗?标准差和标准误之间又是什么关系呢?
8.有位统计学家说“标准差是统计学最重要的工具”,是言过其实还是却是如此吗?
。。。。。还有很多
为什么在看一本统计书的时候感觉看懂了,合上书就感觉脑子一团浆糊?令人抓狂的是永远都不知道怎么把书中的统计知识应用到实际生活中?其实统计和数据分析在我们生活中还是非常有用的,有时候甚至会改变我们的命运!
或许,将来的某一天,我们要挤上飞离地球的诺亚方舟,要上船的时候,守卫会考我们:你说你是中科院心理所毕业的,请问标准差是怎么算的?
那么你能抓住机会答对问题而登船吗?
学得太蜻蜓点水,前面的欠债,难免晚些时候要还的……
你以为考完了,就万事大吉了吗?
错!
如果,你也因为没有学好统计学而遗憾,那恭喜你!
因为——下一门课,还是禤老师……
此后的故事,我们且等之后再续!
致谢
感谢我们文科出身的黄四林老师,他让我第一次发现原来统计也是这么有趣,让我们更从哲学和人文的角度再次审视统计学……
当然,感谢接棒黄老师的可爱的禤明宇老师,他不仅聪明睿智,还风趣幽默,他讲课的时候分分钟就能制成表情包……
他的人格魅力将会影响准备继续在心理学上艰难前行的我们……
参考文献:
[1]《统计,改变了世界》萨尔斯伯格着,叶伟文译,台湾天下文化书坊,2002.4
[2]《世界统计名人传记》龚鉴尧着,中国统计出版社,2001.1
[3]《统计发展史》陈善林、张浙编着,立信会计图书用品社,1987.9
[4]《殴美统计学史》高庆丰,中国统计出版社,1987.8
[5] 科学网—Fisher的“女士品茶”和假设检验 - 王云龙的博文 http://blog.sciencenet.cn/blog-624263-795715.html
‘陆’ 《统计数据会说谎》读书笔记
wordrepss原文链接: 《统计数据会说谎》读书笔记
《统计数据会撒谎》
how to lie with statistics
一本极为简单的入门读物,用生活中的例子介绍最常见的一些统计陷阱,所谓知己知彼,了解别人怎么撒谎,才能避免自己被误导。
第一章“带有偏差的样本”强调数据的来源,即样本的完整性,从抽样调查的角度看,就是确保抽样的样本能代表整体。“幸存者偏见”就是源自我们只关注了部分样本,忽略了其他,比如只关注“返航的飞机”而忽视“被敌人击落的飞机”(只关注幸存者而忽视逝者),比如电视上的犯罪报道会让我们以为世界是黑暗的,这是源自“不完整的样本”得出的结论。
第二章“精挑细选的平均数”介绍平均值这种典型的统计数字,推销员会根据想要的效果选择不同的平均值(均值,中位数,众数)。所以看到含有统计数据的结论时,都应该学会判断 “统计数据的真正含义” ,看到真正的结论。
第三章 “没有透露的小小数据” 介绍了最常见的几种数据遗漏产生的统计陷阱,最主要的是只看平均值而忽略波动范围(置信区间或显着性水平)。
第四章“无事瞎忙” 介绍的还是误差范围的重要性,强调只有显着性差异才有意义,否则都是瞎折腾。
《统计数据会撒谎》的内容都可以在《看穿一切的统计学》一书中找到对应内容。比如《统计数据会撒谎》前四章的内容都能从以下三章找到对应的内容。比如抽样调查即收集数据过程,忽略误差范围就是没有遵循“分析数据的两个原则”。
关键词:抽样调查,偏差,随机抽样,分层随机抽样
主要内容: 看到一个统计结果,不要着急看它的结论,而是要留意样本是否能代表整体!!
现实中难以做到纯随机抽样,更多使用的是分层随机抽样。
精选案例:电话调查会忽略掉家里没有电话的家庭,学校毕业生信息调查也会忽略掉工作窘迫的学生,而上报自己工作的人也倾向于夸大自己的工资。
当我们拿到一个统计数据,如果数据看起来很精确,比如“耶鲁大学1924届毕业生的平均年收入是25111美元”,我们就更容易相信结果是正确的,而如果模裤岁我们看到的是“平均年收入是25000美元”,我们更容易意识到是2.5万左右。 分析化学老师告诉我们,测量结果的最后一位是“估读位”,看来这也是一种直觉判断, 将之前的数字看成是准确结果。
我的补充说明: 在解决问题领域,不要着急解决问题,而是要先充分的定义和明确问题。 看到统计数据也要有类似的意识,先去回溯“数据是怎么调查而来的”。
关键词:平均数,均值,中位数,众数,
主要内容: 统计数据会撒谎,其中一个经典方法是,在不同的场景使用不同类型的平均数。
精选案例:卖房子时,为了引导消费者以为邻居都是富人,就是用均值;为了让居民意识到大家都很贫穷,就用均值。 对于收入这种差距很大的数据,三种平均值的差别很大,所以是一种常见的统计陷阱。 但是对身高、体重这种范围不大的数据, 三种平均值的差别就很小。
我的补充说明: 如果比尔盖茨和我们同住一个小区,小区居民的均值就会剧增成千上万倍(平均值被无限抬高),但是众数和中位数几乎不会有变化。
关键词:优先的样本,平均值,误差范围,小数定律
主要内容:
通过关注遗漏的数据,了解存在的统计陷阱。 本章举了几个例子, 最主要的例子是,只关注平均值而不关心误差范围。 误差范围就是显着性检验中的显着性水平(95%还是99%)或置信区间。
其次,有些统计结果是使用少量的样本调查而来,所以得到了非常有利的统计结果,然后就大肆宣传。 这就是 小树定律 的概念,如果使用少量的样本,得到极端结果承可能性就比较大;与之相对的是“大数定律”。 更有甚甚者,如果少量样本没有得到自己想要的结果,就抛弃重新实验,直到得到有利于自己的数据。
精选案例:厂家说自己的牙膏效果更好,可能是只用了极少的样本得到的统计结果。 家长看到 孩子身高和年龄的对应关系,就基于此判断自己的孩子发育正常还是缓慢,实际这种对应关系只是一个很粗略的关系,有很大的误差范围, 但我们 倾向于将具有很大误差范围的统计结果当作绝对结论来使用。
我的补充说明:这一章的两部分内容,一是有限的样本即“小数定律”,二是平均值和误差。 前者对旦睁应于抽纯扮样调查的次数和标准误差的关系,后者强调既要关注平均值又要关注误差范围。
关键词:误差范围,
主要内容:强调数据的比较需要关注误差范围,也就是上一章的内容。
精选案例: 一种智商测评,学生A得了99分,学生B得了101分,这能说明学生B比学生A聪明吗? 不能,因为测评的误差可能是+-5,所以结果之间没有显着性差异。
一个网站测试了市面上主流香烟的尼古丁等有毒物质含量,结果显示香烟之间没有显着性差异,但是某一个品牌发现自己的测试数据都比其他品牌低,因此大肆宣传“某某香烟在某某测评中证明毒性比其他香烟低”,但实际上却没有显着性差异,所以这个结论是毫无意义的。
我的补充说明:直接拿工作中的一个柔顺测试图片作为本章的例子:
2019.2.2 春节回家的高铁上,整理第二三四章的读书笔记并发表
‘柒’ 数据不会说谎,5大常见统计偏倚
人们常说“用数据说谎”,我要说往往数据的分析是没州局问题的,但这些分析却是建立在夸大或不实的数据之上。下面便是几个常见的“错进错出”案例。
选择偏倚
《纽约客》资深影评人宝琳?凯尔(Pauline Kael)据称曾经在理乍得?尼克松(Richard Nixon)当选美国总统后评论:“尼克松不可能赢了竞选,我认识的人里面没一个投了他。”这句话很有可能是杜撰的,但却很好地说明了糟糕的样本(一群自由派朋友)会如何给更大的群体带来错误的偏见(全美国的投票结果)。而这也引出了我们应该问自己的问题:如何选择评估样本?如果要接受评估的群体的每一个成员没有均等的机会入选样本,那么最终得出的结论就将会有偏颇。以爱荷华州的民意测验为例,这是美国总统竞选中的一项惯例,在总统大选年的8月,也就是正式投票的前一个月,共和党的候选人会来到爱荷华州的埃姆斯市(Ames)笼络选民,选民每个人支付30美元投上一票以参与表决。爱荷华州的民意测验结果并不能告诉我们共和党候选人的未来。(该调查的预测在过去5次大选中只说对了3次共和党提名候选人的结果。)为什么?因为支付30美元投票参与这项民意测验的爱荷华州共和党选民跟爱荷华州的其他共和党选民不同,而爱荷华州的共和党选民又跟美国其他地区的共和党选民不同。
“尼克松不可能赢了竞选,我认识的人里面没一个投了他。”
选择偏倚还有其他很多种形式。在机场做消费者问卷调查很可能造成偏倚,因为坐飞机的人大体上会比一般人更富裕;而在90号洲际公路上做同样的调查问卷结果又会偏向另一端。而两项调查都有可能出现的偏倚则是那些愿意在公共场合接受问卷调查的人不同于那些不愿意被打扰的人。如果你在公共场合问100个人做一份简短的调查,其中只有60人愿意,那么这60个人跟剩下40个看都不看你一眼就走开的人在某些地方有着显着的不同。
发表偏倚
正面的结果比负面的更有可能得到发表,而这可能会混淆我们最终所见到的结论。假设你刚刚做完了一次严谨的追踪调查,得出结论认为玩视频游戏不能预防结肠癌。在这项调查中,你花了20年的时间跟踪访问了作为代表性样本的10万个美国人;这些人当中,长时间玩视频游戏的跟不玩儿视频游戏的罹患结肠癌的几率基本一致。我们假设你的研究方法完美无缺。但哪家医学期刊会发表你的研究结论呢?
“大多数活动都不能预防结肠癌。”
答案是没有。原因有二:第一,没有有力的科学理由认为玩儿视频游戏对结肠癌有什么影响,因此你研究这个的意义不明;其次,也是更重要的一点,某件事情不能预防结肠癌不是什么有趣的发现。毕竟,大多数东西都不能预防结肠癌。否定的结论尤其不性感,不论是在医疗领域还是其他。
而两相抵消,就对我们看到的研究(或者说看不到的)产生了偏倚。假设你的研究生同学经过另一项追踪调查得出了不同的结论,她发现玩视频游戏的人确实罹患结肠敏迹渗癌的几率较小。现在就有意思多了!医学期刊要的就是这样的论文,大众媒体、博客写手,还有视频游戏的制作商(他们巴不得在自己产品的包装上标注玩游戏有益身体健康),都在寻找这样的内容。要不了多久,全美国的虎妈们就会纷纷夺过自己孩子手里的书本,转而逼迫他们玩游戏来“保护”下一代免于癌症困扰了。
当然,统计学里反复强调的一个论点是,异乎寻常的事情时而发生,这只是概率问题。如果你进行100次调查,其中有一次很可能会出现纯属无稽的结果——就像玩视频游戏和结肠癌患病率低之间的数据关联。而问题在于:99次发现玩游戏跟患结肠癌无关的研究都得不到发表,因为它们没有意思,而那桥脊一次发现两者有关联的研究却被印刷出来,迎来了众多关注。偏倚的源头并不在于研究本身,但传达给公众的信息却是偏颇的。而研读视频游戏和癌症关联的研究者只能发现一篇论文,而这篇论文表明的却是玩视频游戏能预防癌症。实际上,100项研究里有99项都找不出二者之间有任何关联。
回忆偏倚
记忆是件奇妙的东西——尽管不能总算作优质数据的来源。人类天生就有冲动将现状理解成过去发生的事情合乎逻辑的结果,也就是因果关系。问题出在当我们试图去解释某些当前特别好或者特别糟糕的结果时,记忆就会变得“系统性的不堪一击”。例如一项研究饮食和癌症之间的关系的研究。1993年,一名哈佛大学的研究者构建了一组罹患乳腺癌的妇女和没有被诊断出癌症的年龄匹配组女性的数据。研究人员分别询问了这两组女性的早年饮食习惯。研究得出了清晰的结论:患有乳腺癌的妇女在年轻时有更显着的可能拥有高脂肪的饮食。
哈,不过,这实际上不是在研究饮食习惯对罹患癌症几率有什么影响。这项研究真正调查的是患上癌症如何影响了女性对自己早年饮食习惯的记忆。所有参与这项研究的女性都在多年以前,在任何人都没有被诊断患有癌症的时候,填写了关于其饮食习惯的调查问卷。研究的结果十分惊人,患有乳腺癌的妇女回想自己过去饮食摄入的脂肪的含量比她们实际消耗的要多得多;没有患癌症的女性则没有出现这种情况。
《纽约时报杂志》在描述这种记忆偏倚的隐秘本质时称:
“罹患乳腺癌不仅改变了一位女性的当下和未来;它连她的过去也改变了。患有乳腺癌的女性(无意识地)认为高脂饮食可能是她们患病的易感原因,并且(无意识地)认为自己过去有高脂的饮食习惯。对于任何了解这种耻辱病的历史的人而言,这一模式都熟悉得令人悲伤:和她们之前成千上万的女性一样,这些女性在她们自己的记忆里寻找原因,并将这个原因放置在记忆里。”
回忆偏倚是也是追踪研究往往偏向于横向研究(cross-sectional studies)的一个原因。在横向研究里,数据是同时采集的。在5岁的时候,参与者会被问及他对学校的态度。然后,再过13年,我们可以重访参与者,看他是否高中辍学。在横向研究中,所有的数据都在同一时间点采集,研究者必须询问18岁的高中辍学生他5岁时对学校有何看法,而这一信息固然便是不怎么可靠的。
存活者误差
假设一名高中校长报告说,学生中的一组特定人群在4年中(编注:美国高中有4年)考试成绩稳步上升。这批人高二的得分比他们在高一时的成绩好。高三那年的分数更好,高四达到了最好。我们假定不存在作弊的情况,也没有任何创造性地运用描述性的统计数据。无论用什么评价标准,这批学生每一年都比前一年做得更好:平均数、中位数、学生在年级水平的百分比等等。你会(A)提名这所学校的领导为“年度最佳校长”还是(B)要求提供更多的数据?
“如果你有一屋子高矮不齐的人,强迫最矮的那个离开房间会使整个房间的平均身高上升,但这样做并不会使任何人的身高变高。”
我的话就会选(B)。我嗅到了存活者误差的猫腻,这种情况下样本中去掉了一些或很多观测数据,以至于改变了整个剩下的观测结果,因而任何基于剩余观测数据所做的分析也受了影响。假设我们的校长真不是个好人:他学校里的学生啥也没学到;每年都有半数人辍学。不过,这在数学的考试分数上面看起来很是漂亮——但没有任何一名学生实际上考得更好。有理可测,学得最差的学生(也是考试分数最低的学生)最有可能辍学,那么考试分数的平均分会随着更多学生辍学而稳步上升。(如果你有一屋子高矮不齐的人,强迫最矮的那个离开房间会使整个房间的平均身高上升,但这样做并不会使任何人的身高变高。)
健康用户误差
每天按时吃维生素片的人更有可能身体健康——他们是每天都按时吃维生素的人!而至于维生素是否真的有益健康这又另当别论了。 想想这样一个思考实验。假设公共卫生官员颁布这样一条声明,所有的刚生了小孩儿的夫妻都能该把自己的孩子裹在紫色的睡衣里睡觉,因为这有助于刺激大脑的发育。20年后,追踪研究证实,幼年时期穿紫色睡衣确实与今后人生中取得成功有一个特别大的正相关。比方说,我们发现,98%考上哈佛大学的新生孩童时期都穿着紫色的睡衣(现在许多人仍然这样做),相比之下,马萨诸塞州监狱系统里的囚犯只有3%年幼时穿紫色睡衣。
“紫色睡衣并不重要。”
当然,紫色睡衣并不重要,但拥有那种会让孩子穿紫色睡衣的父母却十分重要。就算试图控制父母教育这样的因素,研究者仍然会面临那些执着于让孩子穿紫色睡衣和不穿的父母之间不可观测的差异。正如《纽约时报》健康专栏作家加里?陶布斯(Gary Taubes)解释说,“简单地说,问题就是踏踏实实做那些对他们有好处的事情——比如按医嘱服药或吃他们认为有益健康的食物——的人,跟那些不这样做的人有着根本上的不同。”这种效应有可能扰乱任何试图评估那些被视为有益健康的活动(比如每周运动或吃羽衣甘蓝)真实效果的研究。研究人员以为他们是在比较两种饮食习惯对健康的影响:吃羽衣甘蓝和不吃甘蓝。但事实上,假如治疗组和对照组不是随机分配的,那么他们在比较两种不同的人吃两种不同的饮食,治疗组和对照组的不同有两个方面,而不是仅仅一个。
如果说统计学家是侦探,那么数据就是线索。我的妻子在新罕布什尔郊区的高中教了一年书。她的一个学生因为闯入一家五金店盗窃工具而被逮捕归案,而警察之所以能破案是因为:(1)天刚刚下雪,从五金店到学生的家里的雪上有足迹;(2)在学生家里找到了被盗的工具。好线索帮了大忙。
就跟好数据一样。但首先,你得有好的数据,否则一切都是空。
‘捌’ 《赤裸裸的统计学》读书笔记
由于最近工作上都做数据分析的内容,所以根据众产品大神推荐的数据分析应读书单找了不少书来充电。《赤裸裸的统计学》是第一本,它的作者是Charles Wheelan,一名财经记者,他尝试着用通俗易懂的笔法和具体的例子来向读者介绍一些统计学的基础理论。同时也是向另一本类似风格的统计学书籍——《统计数字会撒谎》致敬。
读完后,个人觉得部慧孙分内容有一定统计学基础的人才比较容易理解,但整体而言,全书还是能符合作者的初衷的。现将部分自己可以理解且可能对数据分析工作有启发的内容摘录如下。
作者在这章中提出了平均数、中位数、百分位数和标准差等几类常用于事实描述的数据。
平均数: 用于描述整体情况的基础数据。例如想知道全体用户的活跃情况,可以看人均每天访问次数。
中位数: 用于描述数据集中的趋势。例如用户每天访问次数中位数态简是2,证明至少有一半的人的每天访问次数是≤2的。
百分位数: 用于描述某个数据在整体数据中的位置,例如某个数据是25百分位数,证明有25%的数据是小于该数据,75%的数据是大于该数据。
标准差: 用于描述一堆数据的离散情况,越大越离散。
如果两类数据有相关关系并不等于是因果关系,举例:家里有超过3台电视的孩子教育水平要更好,并不是指电视越多教育水平就越高。有可能是家里电视多的,证明家里富裕,用于孩子教育的钱会更多。
这章帮我回顾了大学课程《概率论》中关于期望值的内容,总结出两个观点:
①通过量化后的回报(期望值)对比成本来做决策,举例:投入20万,有70%的概率获得200万,30%的概率只剩2万。那期望值=200×70%+2×30%=140.6万,也就是回报的期望值是远大于20万的。
②大数定律,即随着试验次数的增多,结果的平均值会越来越接近期望值。第一点中举例的例子虽然回报的期望值远大于投入,但是可能你却只够钱投一次,那么风险还是很大的。但是如果你有钱投个十次八次,那么绝对是值得投的。
很有趣的一个统计学问题:
以后有机会碰到类似的问题时,是不是知道该怎么做了?
统计学在研究问题时,需要搜集数据,搜集数据的类型有两类:纵向数据和横向数据。
纵向数据: 指时间维度的纵向,对观察对象持续观察数年甚至数十年来搜集数据。
横向数据: 指空间维度的横向,对于不同地方的观察对象采集数据。
在进行数据分析时,容易犯下以下偏见。
选择性偏见: 即以偏概全,搜集到的数据并不能代表全前闭链体。
发表性偏见: 肯定性的数据结论要比否定性的数据结论更容易发表。
记忆性偏见: 通过回忆得到的数据,谁也无法确保准确性。
幸存者偏见: 数据样本在观察期没有从头到尾保持一致,例如一个班的平均成绩越来越高是通过差生辍学来实现的,班级的实际成绩水平并没有得到真正的提高。
健康用户偏见: 以单方面的因素来得出结论,例如定期吃维生素的人更加健康,但有可能是定期吃维生素的人还会定期运动等等。
中心极限定理的核心要义就是,一个大型样本的正确抽样与其所代表的群体存在相似关系。而正确抽样一定要做到真正随机。
进行数据分析的时候,我们通常会有正向思维和反向思维两种方法。
正向思维就是指统计推断:统计推断是一个让数据说话、让有价值的结论浮出水面的过程。
反向思维就是假设验证:从逻辑学来看,如果我们能够证明某个零假设不成立,那么其对立假设(又称备择假设)肯定为真。
回归分析能够在控制其他因素的前提下,对某个具体变量与某个特定结果之间的关系进行量化。也就是说,我们能够在保持其他变量效果不变的情况下,将某个变量的效果分离出来。应用到实际的数据分析工作中就是A/B测试,在执行A/B测试的过程中一定要控制好只有一个自变量。
通过最小二乘法得出的OLS 直线可以让所有数据的残差平方和为最小,从而求出自变量和因变量的线性关系图
‘玖’ 读书笔记:《统计学会说谎》
统计分析结论是从某种目的出发,对事实数据的在加工。分析这个动作,很难抛开人为的感性因素。数据和分析结果都是“真相”,但是真相也能够掩盖或者粉饰真相。
高明的说谎者并不说假话,只是不会告诉你全部的真相。
保持质疑,独立思考。就是我从作者这里收到的最重要的信息。信息爆炸的时代,却也创造了更多的信息差。
操纵统计的把戏,并不高深,就像骗术很多时候不需要进化升级,只要找到合适的愿意受骗的人一样。
思考和质疑过程中的痛苦,和被骗后结果的痛苦,总要选择一个。
接受并尊重自己的选择。
既然结论是从数据中获得的,那么控制数据样本,就可以轻易的控制数据结论。
为了保证统计结论的价值,统计必须基于一个具有代表性的样本,该样本必须排除偏差的任何可能性。
导致偏差的显性原因和隐性原因都有可能轻易摧毁一个样本的可靠性。
也就是说,即使找不到明显的偏差来源,但只要在某处可能存在偏差,你就要对结果保持一定的怀疑。
事实上偏差总会有原因。
选取样本的方法
检验随机样本的方式是:在一个总体中,每个人或每件事被抽样的概率是相等的。
纯随机抽样是唯一可以充分自信地用统计学理论进行检验的方法,但这里也有一个问题:该方法获取样本的难度大、费用高、使用范围小,仅成本一项都难以负担。
更为经济划算的替代方法是分层随机抽样法,该方法在民意测验和市场调研等领域被普遍采用。要获取这种分层样本,需要将总体分为若干部分,每一部分与其普遍性程度要成比例。
平均数、中位数... 数据指标只是一种修辞手段而已。
未加限定的平均数其实是毫无意义的,然而一般与收入挂钩的数据多半如此。
如果统计样本符合正态分布,比如人类的身高。那么在样本足够大的情况下,中位数、平均数和众数,是落在同一个点上的。
只要统计样本足够小,我可以得出任何想要的结论。有的时候缺失的数据,才是最重要的信息。
只有试验的样本数目足够庞大时,平均数定律才会是一个有用的描述或猜测。
如果要论证的结论本身就是小概率事件,你的实验样本要更更大才行。
关注“概率”,你必须确认你的样本数据很大程度的代表真实的结果,而非机缘巧合之下得出的。
专业术语:显着性检验方法。
显着性水平就是我们最常说的“概率”
对于大多数用途而言,5%的显着性水平已经足够。而对于某些用途而言则需要1%的显着性水平,因为这意味着99%的概率证明了一个显着的差异或诸如此类告陪散的东西是真实的。
你需要足够信任你的样本数据。
样本代表整体数据的精确度可以用数字来表示:概率误差和标准误差。
只有显现出来的差别有意义时才可称之为差别。将差别不大的数据予以比较是没有意义的。你必须时刻谨记“±”这个符号,即使它没有被明确标出。
到了数据可视化的时候,能做的就更多了。
大多数情况下,视觉效果起了决定性也是欺骗性的作用。你只需要放出一个迷惑的钩子,读者都会自动帮助你补全结论。
改变横纵坐标的比例,把数字换成夸张的图片,能做的确实很多。
如果你无法证明自己想要证明的东西,那就展示一些其他东西,并假装它们是一样的。
那么多让人眼花缭乱的统计数据,读者只关心这个数据炸不炸,几乎没人会注意到其中的差别。使用“看似相关的数据”,这种手段向来有效。
也许是处于安全感,人们总是趋于给事物找个因果关系。
很多古老的谬误推理,都来源于此,
具体来说,就是“如果B事件发生在A事件之后,那么,就是A事件引起了B事件”。
这两件事互不为彼此的因果,它们都是某个第三事件乱哪的产物。却被一堆令人印象深刻的数据包装过后,产出一个看似很有道理的谬误。
为了避免陷入这种因果谬误,从而相信许多似是而非的东西,需要严格检验各种与相关性袜氏有关的说明。
相关性往往是通过一些令人信服的精确数据来证明两件事情之间的因果关系。
相关性的类型
相关表示的是一种趋势,这种趋势却并非人们理想的“一对一”关系。
必须要谨记:就算某种相关性存在,并有真实的因果关系,你仍不能凭此进行决策。
随便处理数据或利用小数点来混淆因果关系比封建迷信强不了多少,而且前者更具误导性。
前述八章讲的很清楚了。如果不去考虑它的数学基础,统计学不仅是一门科学,也是一门艺术。在允许的范围内,你可以进行大量的统计操纵,甚至扭曲事实。毕竟分析是个主观过程。
总结一下:
是谁这么说?
首先,要找的第一样东西是偏差。
要找有意识的偏差:
错误陈述
含糊不清的措辞
选出对自己有利的数据,剔除对自己不利的数据
改变衡量的标准;选择不恰当的测算方式
无意识的偏差
“专家”??字面信息下隐藏的那个人到底是不是权威人士,还是说只和权威沾了点边儿
他怎么知道?
数据样本的规模是否大到足以说明问题?
案例是否多到具备显着性?
是否缺乏足够的案例得出相关的结论?
漏掉了什么?
当数据来源关系到利益问题时,数据缺乏就会让人对整件事情产生怀疑。
同样,一个相关如果缺乏可信的测算方式(比如概率误差、标准误差)检验,那么也就没必要把这个相关当真。
要留心那些未加说明的平均数,因为无论在什么时候,均值和中位数都有着本质的差别。许多数据由于无法进行对比而变得没有意义。有时,材料只给出了百分数,却没有给出原始数据,这种数据也带有欺骗性。如果给你一个指数,你也许要问是不是漏掉了什么。该指数也许是被挑来用以扭曲事实的。有时候被漏掉的还有导致变化发生的因素。这种遗漏往往暗示着其他因素才是导致变化发生的主要原因。
有人偷换了概念吗?
在分析一份统计数据时,你要注意在原始数据和最终结论之间有没有什么地方被偷换了概念。将一件事说成是另一件事可是常有的。
因果关系搞乱是偷换概念的另一种方式,将“相关关系”说成“因果关系”。
此外还有“第一”的问题。如果不特别说明涉及的相关领域,每个人都可以宣称自己是业界第一。
这是否合乎情理?
如果你看到的烦琐资料是以一个未经证实的假设为基础,你就要问问“这是否合乎情理?
不少统计材料从表面上看就能知道是假的。这些材料之所以能敷衍了事完全是因为数据的神奇力量使常识暂时失效
能给人留下深刻印象的精确数据也可能是与常识相悖的。
外推法相当有用,尤其是在被称为“预测趋势”的过程中。但是,看见在研究和预测中用到的数据或图表时,你必须时刻谨记:截至目前的趋势或许是事实,但是未来的趋势不过是预测者的猜测。它所隐含的信息是“所有的事情都一样”“目前的趋势还将继续”。但是,所有的事情不会一成不变,否则,生活就会变得无聊透顶。
‘拾’ 有什么推荐的统计学书籍
以下推荐不需要很多数学(基配不那么无聊?)的统计学书——非正统教科腊大书,排名略分先后:. David S. Moore::统计学的搏局指世界 (豆瓣)(第5版),中信出版社;. 查尔斯·惠伦:赤裸裸的统计学 (豆瓣),中信出版社. 达莱尔·哈夫:统计数字会撒谎 (豆瓣),中国城市出版社. David Salsburg:女士品茶 (豆瓣)——20世纪统计怎样变革了科学,中国统计出版社. Dawn Griffiths:深入浅出统计学 (豆瓣),电子工业出版社. Michael Milton:深入浅出数据分析 (豆瓣),电子工业出版社. 西内启:看穿一切数字的统计学 (豆瓣),中信出版社。