『壹』 《統計數字會撒謊》pdf下載在線閱讀,求百度網盤雲資源
《統計數字會撒謊》([美] 達萊爾·哈夫)電子書網盤下載免費在線閱讀
資源鏈接:
鏈接:https://pan..com/s/1P8qEIcaLXn8myBzvNCup_Q
書名:統計數字會撒謊
作者:[美] 達萊爾·哈夫
譯者:廖穎林
豆瓣評分:7.4
出版社:中國城市出版社
出版年份:2009-3
頁數:154
內容簡介:這本書是美國統計專家達萊爾·哈夫的傳世之作,該書引發的「編造虛假信息」話題受到美國社會持續普遍的關注和美國權威媒體的激烈核局御爭論。書裡面大膽地揭露了至今仍然被銷售員、廣告撰稿人、記者甚至專家頻頻使用的大量的統計操縱技巧,同時還配有別具一格的風趣插圖以及眾多幽默的案例。神秘的統計學在這里被哈夫像講故事一樣一一道來,莞爾一笑中讓你知曉深奧的統計學基本原理,掌握揭露「虛假數據」的最有力武器……
自50年代出版以來,此書不斷再版,並被翻譯成多種文字,在世界的影響力持久不衰,被譽為美國商業人士、研修人員的重要入門必修書之一。
作者簡介:達萊爾·哈夫,美國統計專家。1913年出生在美國愛荷華州,畢業於愛荷華州立大學(the State University of lowa),獲得學改岩士學位和碩士學位,在此期間他由於成績優異加入臘陸了美國大學優等生的榮譽學會(Phi Beta Kappa),同時還參加了社會心理學、統計學以及智力測驗等研究項目。達萊爾·哈夫的文章多見於《哈潑斯》、《星期六郵報》、《時尚先生》以及《紐約時報》等美國頂尖媒體。1963年,由於他的貢獻被授予國家學院鍾獎(National School Bell )
『貳』 在數學中"我正在說謊"是悖論 為什麼呢,什麼叫悖論 為什麼這個不是命題呢
悖論
也可叫「逆論」,或「反論」,是指一種導致矛盾的命題.悖論(paradox)來自希臘語「para+dokein」,意思是「多想一想」.這個詞的意義比較豐富,它包括一切與人的直覺和日常經驗相矛盾的數學結論,那些結論會使我們驚異無比.悖論是自相矛盾的命題.即如果承認這個命題成立,就可推出它的否定命題成立;反之,如果承認這個命題的否定命題成立,又可推出這個命題成立 如果承認它是真的,經過一系列正確的推理,卻又得出它是假的;如果承認它是假的,經過一系列正確的推理,卻又得出它是真的.古今中外有不少著名的悖論,它們震撼了邏輯和數學的基礎,激發了人們求知和精密的思考,吸引了古往今來許多思想家和愛好者的注意力.解決悖論難題需要創造性的思考,悖論的解決又往往可以給人帶來全新的觀念.
例如比較有名的理桐肢悉發師悖論:某鄉村有一位理發師,一天他宣布:只給不自己刮鬍子的人刮鬍子.這里就產生了問題:理發師給不給自己刮鬍子?如果他給自己刮鬍子,他就是自己刮鬍子的人,按照他的原則,他不能給自己刮鬍子;如果他不給自己刮鬍子,他就是不自己刮鬍子的人,按照他的原則,他就應該給自己刮鬍子.這就產生了矛盾.
1900年前後,在數學的集合論中出現了三個著名悖論,理發師悖論就是羅素悖論的一種通俗表達方式.此外還有康托爾悖論、布拉利—福爾蒂悖論.這些悖論特別是羅素悖論,在當時的數學界與邏輯界內引起了極大震動.觸發了數學的第三次危機.
悖論有三種主要形式.
1.一種論斷看起來好像肯定錯了,但實際上卻是對的(佯謬).
2.一種論斷看起來好像肯定是對的,但實際上卻錯了(似是而非的理論).
3.一系列飢談推理看起來好像無懈可擊,可是卻導致邏輯上自相矛盾.
悖論有以下幾類:
邏輯悖論、概率悖論、幾何悖論、統計悖論和時間悖論等.
歷史上著名的悖論
NO.1
說謊者悖論(1iar paradox or Epimenides』 paradox)
最古老的語義悖論.公元前6世紀古希臘哲學家伊壁孟德
所創的四個悖論之一.是關於「我正在撒謊」的悖論.具體為:如果他的確正在撒謊,那麼這句話是真的,所以伊壁孟德不在撤謊,如果他不在撒謊,那麼這句話是假的,因而伊壁孟德正在撒謊.
NO.2
伊勒克特拉悖論(Eletra paradox) 邏輯史上最早的內涵悖論.由古希臘斯多亞學派提出.它的基本內容是:伊勒克特拉有位哥哥奧列斯特回家了.盡管伊勒支持拉知道奧列斯特是她的哥哥.但她並不認識站在她面前的這個男人.
寫成一個推理.即:
伊勒克持拉不知道站在她面前的這個人是她的哥哥.
伊勒克持拉知道奧列期特是她的哥哥.
站在她面前的人是奧列期特.
所以,伊勒克持拉既知道並且又不知道這個人是她的 哥哥.
NO.3
M:著名的理發師悖論是伯特納德·羅素提出的.一個理發師的招牌上寫著:
告示:城裡所有不自己刮臉的男人都由我給他們刮臉,我也只給這些人刮臉.
M:誰給這位理發師刮臉呢?
M:如果他自己刮臉,那他就屬於自己刮臉的那類人.但局乎是,他的招牌說明他不給這類人刮臉,因此他不能自己來刮.
M:如果另外一個人來給他刮臉,那他就遣蛔約汗瘟車娜恕5?惱信撲鄧?姓飫噯斯瘟場R虼似淥?魏穩艘膊荒芨?瘟場?蠢矗?揮腥魏穩四芨?饢煥矸⑹?瘟沉耍?
NO.4
唐·吉訶德悖論
M:小說《唐·吉訶德》里描寫過一個國家.它有一條奇怪的法律:每一個旅遊者都要回答一個問題.
問,你來這里做什麼?
M:如果旅遊者回答對了.一切都好辦.如果回答錯了,他就要被絞死.
M:一天,有個旅遊者回答——
旅遊者:我來這里是要被絞死.
M:這時,衛兵也和鱷魚一樣慌了神,如果他們不把這人絞死,他就說錯了,就得受絞刑.可是,如果他們絞死他,他就說對了,就不應該絞死他.
『叄』 用經濟學解釋人為什麼撒謊
經濟學假設人都是理性人,為了自己的利益最大化而採取行動;撒謊是可供選擇的策略之一。
對於單次博弈或者說短期效應而言,在信息披露與不披露之間選擇了披露,在披露真與假之間選擇了假。對手會根據你披露信息的選擇(就是披露與否)和你信息的具體內容進行判斷和決策。撒謊就是引導對手向對自己最有利的方向去,可能共贏或公損,也可能一贏一損。
對於序貫博弈或者說長期效應而言,撒謊不是很好的策略。因為在無限次數的博弈之中,已經被數悉派學家證明了,採取以下策略單個個人收益最優:當上一頌喚次對手合作時,下一次選擇合作;反之選擇背叛。如果進一步假設對手也是理性人,那麼效益最高明顯是選擇合作。從信息披露角度看,長期選擇撒謊不符合效率原則,但是在博弈上風險低。
當然實際是非常復雜的,模型畢竟睜櫻賀簡化了很多,還要加入其他因素考慮。
『肆』 為什麼統計數據有時會「撒謊」
要想從統計數據中挖掘出正確的結論,並不是一件容易的事。如果只從表面上觀察數據,往往會得到一些錯誤的信息。正如著名作家馬克·吐溫所言:「世上一共有三種謊言:謊言,糟糕的謊言,還有統計數據。」
收集統計數據是一項復雜而又精細的工作,每一步都有出錯的可能。即使所有的細節都萬無一失,最終得到的數據里也會隱藏大量的陷阱。如果盲目地對統計數據進行分析,有時會得出一些甚為荒謬的結論。
統計學家曾經調查過鈾礦工人的壽命,其結果讓人大跌眼鏡:在鈾礦工作的工人居然與普通人的壽命相當,有時甚至更長!難道統計結果表明在鈾礦工作對身體無害甚至有益嗎?當然不是!事實上,只有那些身強體壯的人才會去鈾礦工作,他們的壽命本來就可能長一些;正是因為去了鈾礦工作,才把他們的壽命拉低到了平均水平,造成了顫沖數據的偽獨立性。這種現象常常被稱為健康工人效應。
類似地,有數據表明打太極拳的人和不打太極拳的人平均壽命相當。事實上,打太極拳確實可以強身健體,延長壽命,但打太極拳的人往往體弱多病,這一事實也給統計數據帶來了虛假的獨立性。
有虛假的獨立性數據,就有虛假的相關性數據。悄拆統計數據顯示,去救火的消防員越多,火災損失越大。初次聽到這樣的結論,想必大家的反應都一樣:這怎麼可能呢?仔細想想你就明白了:正是因為火災災情越嚴重,損失會越大,所以才會有更多消防員去救火。這里的因果關系弄顛倒了。數據只能顯示兩個事情有相關性,但並不能告訴你它們內部的邏輯關系。
事實上,兩個在統計數據上呈現相關性的事件,甚至有可能根本就沒有因果關系。統計數據表明,冰激凌銷量增加,鯊魚食人事件也會同時增加。但這並不意味著,把冰激凌銷售點全部取締了,就能減小人被鯊魚吃掉的概率。真實的情況是,這兩個變數同時增加只不過是因為夏天到了。又如,統計數據顯示,籃球隊的獲勝率,竟然與隊員的球襪長度成正比。難道把隊員的球襪都換長一些,就能增加球隊實力嗎?顯然不是。數據背後真正的因果關系是,球隊的獲勝概率和隊員的球襪長度同時受第三個因素——隊員身高——的影響,這導致了獲勝概率與球襪長度之間表現出虛假的相關性。
類似的例子還有很多。如果觀察大氣層二氧化碳的含量變化和肥胖症人口的數量變化,會發現一個非常有趣的現象:在1950年左右,兩者都出現了一次非常劇烈的增長。但科學研究並沒有發現,二氧化碳含量的增加會導致人類出現過度肥胖的趨茄運殲勢。事實上,這個數據背後的真實原因是,20世紀50年代,汽車產業形成了一定的規模,尾氣排放導致大氣中的二氧化碳含量陡然增加;同時,人們也更多地用汽車代步,活動的時間越來越少,自然就越來越胖了。
『伍』 趣味故事看:統計到底是個什麼鬼
統計是一門不易理解的「數學」 : 人為的規定、抽象的術語、繁多的公式……
這門課真得是讓人頭大,據說是專業內最難的課程之一……
讓人沉浸在公式里跳不出來……
不過,我覺得,這是一個大數據的時代,真的是——無統計,不人生!
正文:統計到底是個什麼鬼?
此刻,這門課終於考完了,
人生中好多次的遺憾就是,考完了才想明白,原來有一道關鍵的題自己答錯了……
但也恰在這個時候,內心覺得這門課其實還是挺有意思的 ——
不知道這樣說,會不會有人丟雞蛋或者鞋子過來……
這門課由 北師大黃四林老師和中科院心理所禤宇明 (我們又認識了一個新字, 禤 讀xuan宣)兩位老師聯袂主講,
深以為,統計學由他們友弊舉講來,真的是趣味橫生……
一上課,黃老師就先給打了預防針:統計學是你們學的課程當中最難的一門!
看看我們的同學們是如何根據自身的體驗來評價統計學的呢?:
統計學地位似乎並不高,我看過學科編碼表, 居然排在最後 ,比民族學、體育學還往後:
但內心覺得這門課程其實真的非同一般——
統計學運用的好,得出的研究成果讓人受益匪淺 ;統計學是一個枯燥的專業,要和大量的數據打交道,堆積如山的各式表格看了都讓人害怕,更別說還要去整理和分析這一堆堆冷冰冰的數字了,
可是, 統計學又是一個有趣的專業,畢竟它是和生活緊密聯系在一起的。
為什麼需要統計學?
學好了統計,真能改變人生!!!
你信不信?不信?有個故事是這樣的:
我有個哥們,有次聚會時說自己買了很多條IPhone數據線,家裡每個房間插一條,走到哪兒都能隨時充電。
在場的姑娘們都當成是段子笑笑就過去了,
只有一個認真學過統計的姑娘 悄悄問他買了多少條,他說42條……
現在他和那個姑娘在北京三卜行環內總共42個房間的數套豪宅愉快地生活,上個月剛結婚了……
(噢,好吧,上面故事實際發生的概率 p <<0.01)
看看一些歷史上那些人是如何評價統計學的吧:
南丁格爾說 :人類發現了統計,統計改變了世界。若想了解上帝在想什麼,我們就必須學統計, 因為統計學就是在量測他的旨意。
一個有名的醫生(但是我不知道他是誰)說 :「沒有統計, 其它科學可以存在,但是很渺小 」,「醫學若無統計就不是科學」;
噢,對了,我們的 黃四好碧林老師專門提到了上面這句話 !
好吧,也許你也會認為, 上面那些人在某種程度上是誇大其辭 ……
和他們持不同意見的人這么說過:
「世上有三種謊言:謊言,該死的謊言,統計數字」
——是的,每當看到某些網路上公布的統計數據,我們可能也是這樣想的,
比如某些新片的票房,某些企業的業績,房價會繼續上漲還是下跌……
還有 男人的收入,女人的體重和年齡……
而禤老師說, 其實統計學就是——猜……
嗯,真得是言簡意賅、一針見血、入木三分呀!
那,統計到底是個什麼鬼?
統計的誕生與地位
統計一詞起源於國情調查,最早意為國情學。
統計語源最早出現於中世界拉丁語的Status,意思指各種現象的狀態和狀況。由這一語根組成義大利語Stato,表示「國家」的概念,也含有國家結構和國情知識的意思。根據這一語根,最早作為學名使用的「統計」,是 在十八世紀德國政治學教授亨瓦爾(G.Achenwall)在1749年所著《近代歐洲各國國家學綱要》一書緒言中,把國家學名定為「Statistika」(統計)這個詞。原意是指「國家顯著事項的比較和記述」或「國勢學」,認為統計是關於國家應注意事項的學問。此後,各國相繼沿用「統計」這個詞,並把這個詞譯成各國的文字,法國譯為Statistique,義大利譯為Statistica,英國譯為Statistics,日本最初譯為「政表」、「政算」、「國勢」、「形勢」等,直到1880年在太政官中設立了統計院,才確定以「統計」二字正名。1903年(清光緒廿九年)由鈕永建、林卓南等翻譯了四本橫山雅南所著的《統計講義錄》一書,把「統計」這個詞從日本傳到我國。
最早的統計著作 來自公元9世紀的《密碼破譯》,由阿拉伯人肯迪編著。在書中,肯迪詳細記錄了如何使用統計數據和頻率分析進行密碼破譯。
根據沙烏地阿拉伯工程師易卜拉欣·阿凱笛(Ibrahim Al-Kadi)的說法, 統計學和密碼學分析便如此一同誕生了。
自然和人類社會是有序的,按完美的設計而恆定地運行著 ,從星體的運動到樹葉的顫動,從人們的行為到人們的觀念,所有感官能感知的東西都能用一種精確、和諧而理想的形式來描述。
任何科學都只能預見大體上的重復現象。
統計學就是通過差異描述規律;透過現實走向理性,走出混沌,走向秩序!
有人把數據比作是信息、知識和智慧的基石……
統計學是科學的「母親」和「僕人」 。說她是「母親」 ,因為統計學對其他學科起著孕育、生產新思想的作用;說她是「僕人」,因為統計學是其他學科的工具,用統計規律逼近客觀規律的工具。
而實際上, 統計思維又或者數據思維 是人類在自然進化過程中自然而然發展出來的一種思考方式和解決問題的路徑, 更是當代人都應該具備的底層思維方式 ,而不僅僅限於學術領域。
我們已經無可逃避地身處大數據時代了, 如何辨別真偽,如何做出決策,都需要數據思維的支持 ,每個人、每個人的生活、每個人的工作都在被量化, 善於使用數據的人正在用數據幫助自己設計、優化和迭代自己的人生。
數據不能說明一切,但是是某種事實:
In God we trust. Others bring data.
數據是最簡練的語言, 統計學和數學中的公理、定義、定理是最無歧義的語法。
我們需要概率來理解抽獎,保險,醫學試驗,工業質量控制,天氣預報,運動創傷,基因和現代物理。
在面對不確定的情況下, 統計是一種能夠幫助我們做出聰明決策的科學方法(通常的誤差極可能來自樣本量還不夠大) !
如果你想抓住生活的機遇,想成為一個具備理性思維的人, 學習統計學能在極大程度上幫你建立理性思維的框架 , 提高分析問題與處理問題的能力。
當你把知識點都一一擊破後,你會驚喜地發現很多公式再也不用死記硬背了,它就印在你的腦海中了,你突然一下子就能看懂回歸的結果和表格了,從此以後再也不怕閱讀定量類學術文章。
很多人在學習統計時都認為統計由一系列枯燥的數字、公式和圖表組成,十分繁雜無味。
然而隨著對這門課的深入理解, 不知不覺中會逐漸體會到統計的趣味性。且看我下面的分解:
統計與美食
你男朋友/女朋友時常會問,西紅柿炒雞蛋是先放西紅柿還是先放雞蛋,有影響嗎?——嘗一嘗就知道?!
如果事先不知道,某個人下了判斷,你能判斷他說的是真的還是猜的嗎?80多年前,一位很厲害的英國大牛遇到了類似的問題!
一群風度翩翩的學者偕夫人及漂亮的女友,正在英國劍橋的戶外餐桌旁,悠閑的品茶論道。席間,一位美麗的女士驚呼,午茶的調制順序對味道有很大影響。把茶加進牛奶里和把牛奶加進茶里,喝起來風味完全不同。出於對女性的尊重,那些學者們面帶紳士的微笑,內心卻不以為然,甚至是藐視,依據他們的科學頭腦分析,茶和牛奶兩種物質混合結果的化學成份不會因為調制順序不同而產生不同,怎麼會喝起來不一樣呢?
當眾學者對美麗女士的說法嗤之以鼻時,有個身材瘦小的,嘴上留著灰白鬍子的紳士挺身而出,抓住了這個問題。
此人便是在統計發展史上地位顯赫、大名鼎鼎的費雪(Ronald Aylmer Fisher,1890-1962),倫敦人氏,英國統計學家。
他和助手設計並調制出很多杯不同的茶,有些先放茶水再加牛奶,有些先放牛奶再加茶水,然後按照既定的順序一杯一杯拿給美麗女士品嘗分辨(你知道,就算是蒙,每杯也有50%的概率)……據說她能分辨出8杯中的每一杯茶,全部答對!
因美女引發了靈感,加上天賦和勤奮,Fisher創立和完善了實驗設計理論和方法。
統計與生命科學
我們已經在中學課本里看到這個案例:
1857年,奧地利統計學家孟德爾(Gregor Johann Mendel,1822-1884)精心挑選出22個品種用於實驗。考察其可以相互區分的穩定性狀,例如高莖或矮莖、圓粒或皺粒、灰色種皮或白色種皮等。在教堂的後花園內一塊不到2400平方英尺的畦田上,一干就是八年。耐心實驗、仔細觀測、不厭其煩,終於從繁雜而寶貴的數據中獲得了具有普遍意義的遺傳統計規律,成為後世偉大的先驅——
統計與管理
——啤酒與尿布的故事
全球最大的零售商沃爾瑪通過分析顧客購物的數據後發現,很多 周末 購買尿布的顧客同時也購買啤酒 。
經過深入觀察和研究發現,美國家庭買尿布的多是爸爸。年輕的父親們下班後要到超市買尿布,同時「順手牽羊」帶走啤酒,好在周末看棒球賽時過把酒癮。
後來沃爾瑪就把尿布和啤酒擺放得很近,從而雙雙促進了尿布和啤酒的銷量。
這個故事是被公認的經典範例。
統計與經濟
比如我們在之前文章 《 女人——才是經濟的晴雨表 》 中提到的「 下擺指數(Hemline Theory) 」——女人裙子底邊的高度預示了大約六個月後股市的走向。 女人流行穿短裙時,股市指數會走高 ,相反,女人如果流行穿長裙,則股市指數會走低。有人對此現象做了猜測,認為,短裙意味著出風頭和樂觀態度,而長裙擺意味著潛意識中的軟弱、害怕未來和沮喪的情緒。
另有一個「口紅指數」 ,是化妝品製造商雅詩·蘭黛發明的衡量口紅銷售情況的指數。該指數表明在經濟蕭條時口紅的銷售情況反而會比較好,因為這些產品的購買者要從小的、能支付得起的奢侈品中得到一些安慰。(參閱[英]彼得·坦普.神奇的指數:走進經濟指數.經濟科學出版社.2003,230~231頁)
統計與軍事
第二次世界大戰期間,盟軍很想知道德軍總共製造了多少輛坦克。德國人長於邏輯思維而乏於機變,在給坦克編號時非常刻板,他們把坦克從1開始按序編號。戰爭之中,盟軍繳獲了一些德軍坦克,並記錄下了他們的生產編號。這些編號對於了解德軍的坦克總量有用嗎?在統計學家眼裡,這些編號組成了一個樣本,可由此去估計總的坦克數量。
製造出來的坦克數肯定不小於記錄中的最大編號,為了推測它比繳獲坦克中的最大編號大多少,可以先計算已知編號的平均值和方差,並把這個平均值視為全部編號的中點。因此,樣本均值乘以2就是坦克總數的一個估計,當然,這里必須存在一個假設:繳獲的坦克代表了所有坦克的一個隨機樣本。使用這種方法估計,有可能出現一個荒謬的結果:作為全部坦克數量估計值的樣本均值的2倍居然小於樣本中的最大值。另一種估計方法是用觀測到的最大編號乘以(1+1/n),如果繳獲坦克數量為10,其中最大編號為50,那麼坦克總數的一個估計是50×(1+1/10)=55。這種方法的各種變形的確用於二戰之中。
從戰後發現的德軍記錄來看,盟軍的 估計值非常接近於德軍生產坦克的實際值 。記錄還表明統計估計 比其他情報方式 所做的估計要大大接近於真實數目。 統計學家做得比間諜們更漂亮!
另外,還有統計數字顯示,打贏很多戰爭的秘密武器是:酒!古往今來,無數士兵在酒精的刺激和麻醉下,壓抑著戰爭帶來的恐懼,甚至在關鍵時刻迸發出驚人的戰斗意志。
統計與文學
——《紅樓夢》作者考證
眾所周知,《紅樓夢》一書共120回,自從胡適作《紅樓夢考證》以來,一般都認為前80回為曹雪芹所寫,後40回為高鶚所續。然而長期以來這種看法一直都飽受爭議。
能否從統計上做出論證?從1985年開始,復旦大學的李賢平教授帶領他的學生作了這項很有意義的工作,他們創造性的想法是將120回看成是120個樣本,然後確定與情節無關的虛詞出現的次數作為變數,巧妙運用數理統計分析方法,看看哪些回目出自同一人的手筆。
一般認為,每個人使用某些詞的習慣是特有的。於是李教授用每個回目中47個虛詞(之,其,或,……;呀,嗎,咧,罷……;可,便,就……等)出現的次數(頻率),利用多元分析中的聚類分析法進行聚類, 果然將120回分成兩類,即前80回為一類,後40回為一類 。
而後40回是否為高鶚寫的呢 ? 後續的論證結果還推翻了後40回是高鶚一個人所寫 ,而是曹雪芹親友將其草稿整理而成,寶黛故事為一人所寫,賈府衰敗情景當為另一人所寫等等。
這個論證在紅學界轟動很大,使紅學界大為贊嘆。
統計與藝術
哲學、邏輯、政治、經濟、管理等學科與統計學的關系之密切是眾所周知的,那如果是藝術領域呢?
其實,你有沒有想到過,「 音樂是人類靈魂從計數中感受到而沒有意識到這是計數的那種快樂 。」(——萊布尼茲)
遠古時代,人們創造出一種像排簫的編管樂器,不同長度的管發出不同的音, 其外形與直方圖非常接近 。這種樂器最初能奏出含有三個音組成的五聲音階。到了商代,在一個近似的八度中確定十二個律,並在十二個律中選取五個或七個音組成的音階體制才確定下來。
(仔細看呵,上面這是一種樂器,不是直方圖!)
隨著計算機進入音樂世界,音樂、數學、統計學的融合達到了空前的完美。
許多樂器的設計和製作、作曲、歌手的包裝等,大都使用統計技術將他們產生的實際聲音用圖像顯示出來,有點像醫學中的心電圖等。而後,再與用數學描述的理論的或理想的聲音圖像進行對比,最後,盡可能消除偏差,以達到更接近理論值的藝術效果。
當然,像 繪畫和自然界中一些幾何數學的美,黃金比例數字等,也早已經廣為人知了……
至於體育,你有沒有注意過,奧運會打破記錄的時間更有可能是在下午?
「田忌賽馬」的故事也證明了最早的博弈、體育競賽和統計學的密切關聯!
關於統計考試
摘兩個例子:
計算第一題,
這就是我們可能會實施的 高考標准分排名的典型例題 ,這道題也充分展示了 兩個原始分數 相同的學生,真正實力的評價方法……你學會了嗎?
計算第二題,
這道題分明就是前面提到的估算 德軍坦克的故事的翻版了!
或者,如何預測一個池塘里有多少條魚,甚至是大海里某種稀有生物的數量?解答方法,和 上面預估德軍坦克 的故事就非常類似了,不過統計學已經有了更精確的測算公式……
其他不再一一列舉,但由此,可見這些題目確實也非同一般呀……
結尾
雙11來了,你們有沒有統計過自己每年 雙11自己剁手後後悔的物品和金額 ?
愛美的姑娘們,你們有沒有關心過,哪些食物的熱量最適合減肥又最健康?
愛運動的人們,你們有沒有天天盯著手機的計步軟體或者可穿戴設備上的數字?
這真得是一個離不開數字的時代!
而回望每一個咿呀學語的幼兒,他們最開始要學的可能也是1,2,3,4,5……
為什麼你年年學統計,卻年年還在學?
如果你學過統計,你深究過下面這些統計細節嘛?
1.總體分布的橫、縱坐標是什麼?樣本分布的橫、縱坐標是什麼?抽樣分布的橫、縱坐標是什麼?概率分布的橫、縱坐標是什麼?標准正態分布的橫、縱坐標是什麼?
2.區間估計時1-95%=0.05,和假設檢驗時設定的p=0.05,這兩個0.05是什麼關系?
3.為什麼總體的方差是除以N,樣本的方差是除以n-1,而抽樣分布的方差是除以n?
4.為什麼大樣本用z檢驗,小樣本用t檢驗?
5.類別變數的均值和標准差是多少?
6.為什麼原假設H0是假設無關呢?
7.你能嚴謹地說明算術平均數、加權平均數和期望值的聯系和區別嗎?標准差和標准誤之間又是什麼關系呢?
8.有位統計學家說「標准差是統計學最重要的工具」,是言過其實還是卻是如此嗎?
。。。。。還有很多
為什麼在看一本統計書的時候感覺看懂了,合上書就感覺腦子一團漿糊?令人抓狂的是永遠都不知道怎麼把書中的統計知識應用到實際生活中?其實統計和數據分析在我們生活中還是非常有用的,有時候甚至會改變我們的命運!
或許,將來的某一天,我們要擠上飛離地球的諾亞方舟,要上船的時候,守衛會考我們:你說你是中科院心理所畢業的,請問標准差是怎麼算的?
那麼你能抓住機會答對問題而登船嗎?
學得太蜻蜓點水,前面的欠債,難免晚些時候要還的……
你以為考完了,就萬事大吉了嗎?
錯!
如果,你也因為沒有學好統計學而遺憾,那恭喜你!
因為——下一門課,還是禤老師……
此後的故事,我們且等之後再續!
致謝
感謝我們文科出身的黃四林老師,他讓我第一次發現原來統計也是這么有趣,讓我們更從哲學和人文的角度再次審視統計學……
當然,感謝接棒黃老師的可愛的禤明宇老師,他不僅聰明睿智,還風趣幽默,他講課的時候分分鍾就能製成表情包……
他的人格魅力將會影響准備繼續在心理學上艱難前行的我們……
參考文獻:
[1]《統計,改變了世界》薩爾斯伯格著,葉偉文譯,台灣天下文化書坊,2002.4
[2]《世界統計名人傳記》龔鑒堯著,中國統計出版社,2001.1
[3]《統計發展史》陳善林、張浙編著,立信會計圖書用品社,1987.9
[4]《毆美統計學史》高慶豐,中國統計出版社,1987.8
[5] 科學網—Fisher的「女士品茶」和假設檢驗 - 王雲龍的博文 http://blog.sciencenet.cn/blog-624263-795715.html
『陸』 《統計數據會說謊》讀書筆記
wordrepss原文鏈接: 《統計數據會說謊》讀書筆記
《統計數據會撒謊》
how to lie with statistics
一本極為簡單的入門讀物,用生活中的例子介紹最常見的一些統計陷阱,所謂知己知彼,了解別人怎麼撒謊,才能避免自己被誤導。
第一章「帶有偏差的樣本」強調數據的來源,即樣本的完整性,從抽樣調查的角度看,就是確保抽樣的樣本能代表整體。「倖存者偏見」就是源自我們只關注了部分樣本,忽略了其他,比如只關注「返航的飛機」而忽視「被敵人擊落的飛機」(只關注倖存者而忽視逝者),比如電視上的犯罪報道會讓我們以為世界是黑暗的,這是源自「不完整的樣本」得出的結論。
第二章「精挑細選的平均數」介紹平均值這種典型的統計數字,推銷員會根據想要的效果選擇不同的平均值(均值,中位數,眾數)。所以看到含有統計數據的結論時,都應該學會判斷 「統計數據的真正含義」 ,看到真正的結論。
第三章 「沒有透露的小小數據」 介紹了最常見的幾種數據遺漏產生的統計陷阱,最主要的是只看平均值而忽略波動范圍(置信區間或顯著性水平)。
第四章「無事瞎忙」 介紹的還是誤差范圍的重要性,強調只有顯著性差異才有意義,否則都是瞎折騰。
《統計數據會撒謊》的內容都可以在《看穿一切的統計學》一書中找到對應內容。比如《統計數據會撒謊》前四章的內容都能從以下三章找到對應的內容。比如抽樣調查即收集數據過程,忽略誤差范圍就是沒有遵循「分析數據的兩個原則」。
關鍵詞:抽樣調查,偏差,隨機抽樣,分層隨機抽樣
主要內容: 看到一個統計結果,不要著急看它的結論,而是要留意樣本是否能代表整體!!
現實中難以做到純隨機抽樣,更多使用的是分層隨機抽樣。
精選案例:電話調查會忽略掉家裡沒有電話的家庭,學校畢業生信息調查也會忽略掉工作窘迫的學生,而上報自己工作的人也傾向於誇大自己的工資。
當我們拿到一個統計數據,如果數據看起來很精確,比如「耶魯大學1924屆畢業生的平均年收入是25111美元」,我們就更容易相信結果是正確的,而如果模褲歲我們看到的是「平均年收入是25000美元」,我們更容易意識到是2.5萬左右。 分析化學老師告訴我們,測量結果的最後一位是「估讀位」,看來這也是一種直覺判斷, 將之前的數字看成是准確結果。
我的補充說明: 在解決問題領域,不要著急解決問題,而是要先充分的定義和明確問題。 看到統計數據也要有類似的意識,先去回溯「數據是怎麼調查而來的」。
關鍵詞:平均數,均值,中位數,眾數,
主要內容: 統計數據會撒謊,其中一個經典方法是,在不同的場景使用不同類型的平均數。
精選案例:賣房子時,為了引導消費者以為鄰居都是富人,就是用均值;為了讓居民意識到大家都很貧窮,就用均值。 對於收入這種差距很大的數據,三種平均值的差別很大,所以是一種常見的統計陷阱。 但是對身高、體重這種范圍不大的數據, 三種平均值的差別就很小。
我的補充說明: 如果比爾蓋茨和我們同住一個小區,小區居民的均值就會劇增成千上萬倍(平均值被無限抬高),但是眾數和中位數幾乎不會有變化。
關鍵詞:優先的樣本,平均值,誤差范圍,小數定律
主要內容:
通過關注遺漏的數據,了解存在的統計陷阱。 本章舉了幾個例子, 最主要的例子是,只關注平均值而不關心誤差范圍。 誤差范圍就是顯著性檢驗中的顯著性水平(95%還是99%)或置信區間。
其次,有些統計結果是使用少量的樣本調查而來,所以得到了非常有利的統計結果,然後就大肆宣傳。 這就是 小樹定律 的概念,如果使用少量的樣本,得到極端結果承可能性就比較大;與之相對的是「大數定律」。 更有甚甚者,如果少量樣本沒有得到自己想要的結果,就拋棄重新實驗,直到得到有利於自己的數據。
精選案例:廠家說自己的牙膏效果更好,可能是只用了極少的樣本得到的統計結果。 家長看到 孩子身高和年齡的對應關系,就基於此判斷自己的孩子發育正常還是緩慢,實際這種對應關系只是一個很粗略的關系,有很大的誤差范圍, 但我們 傾向於將具有很大誤差范圍的統計結果當作絕對結論來使用。
我的補充說明:這一章的兩部分內容,一是有限的樣本即「小數定律」,二是平均值和誤差。 前者對旦睜應於抽純扮樣調查的次數和標准誤差的關系,後者強調既要關注平均值又要關注誤差范圍。
關鍵詞:誤差范圍,
主要內容:強調數據的比較需要關注誤差范圍,也就是上一章的內容。
精選案例: 一種智商測評,學生A得了99分,學生B得了101分,這能說明學生B比學生A聰明嗎? 不能,因為測評的誤差可能是+-5,所以結果之間沒有顯著性差異。
一個網站測試了市面上主流香煙的尼古丁等有毒物質含量,結果顯示香煙之間沒有顯著性差異,但是某一個品牌發現自己的測試數據都比其他品牌低,因此大肆宣傳「某某香煙在某某測評中證明毒性比其他香煙低」,但實際上卻沒有顯著性差異,所以這個結論是毫無意義的。
我的補充說明:直接拿工作中的一個柔順測試圖片作為本章的例子:
2019.2.2 春節回家的高鐵上,整理第二三四章的讀書筆記並發表
『柒』 數據不會說謊,5大常見統計偏倚
人們常說「用數據說謊」,我要說往往數據的分析是沒州局問題的,但這些分析卻是建立在誇大或不實的數據之上。下面便是幾個常見的「錯進錯出」案例。
選擇偏倚
《紐約客》資深影評人寶琳?凱爾(Pauline Kael)據稱曾經在理查德?尼克松(Richard Nixon)當選美國總統後評論:「尼克松不可能贏了競選,我認識的人裡面沒一個投了他。」這句話很有可能是杜撰的,但卻很好地說明了糟糕的樣本(一群自由派朋友)會如何給更大的群體帶來錯誤的偏見(全美國的投票結果)。而這也引出了我們應該問自己的問題:如何選擇評估樣本?如果要接受評估的群體的每一個成員沒有均等的機會入選樣本,那麼最終得出的結論就將會有偏頗。以愛荷華州的民意測驗為例,這是美國總統競選中的一項慣例,在總統大選年的8月,也就是正式投票的前一個月,共和黨的候選人會來到愛荷華州的埃姆斯市(Ames)籠絡選民,選民每個人支付30美元投上一票以參與表決。愛荷華州的民意測驗結果並不能告訴我們共和黨候選人的未來。(該調查的預測在過去5次大選中只說對了3次共和黨提名候選人的結果。)為什麼?因為支付30美元投票參與這項民意測驗的愛荷華州共和黨選民跟愛荷華州的其他共和黨選民不同,而愛荷華州的共和黨選民又跟美國其他地區的共和黨選民不同。
「尼克松不可能贏了競選,我認識的人裡面沒一個投了他。」
選擇偏倚還有其他很多種形式。在機場做消費者問卷調查很可能造成偏倚,因為坐飛機的人大體上會比一般人更富裕;而在90號洲際公路上做同樣的調查問卷結果又會偏向另一端。而兩項調查都有可能出現的偏倚則是那些願意在公共場合接受問卷調查的人不同於那些不願意被打擾的人。如果你在公共場合問100個人做一份簡短的調查,其中只有60人願意,那麼這60個人跟剩下40個看都不看你一眼就走開的人在某些地方有著顯著的不同。
發表偏倚
正面的結果比負面的更有可能得到發表,而這可能會混淆我們最終所見到的結論。假設你剛剛做完了一次嚴謹的追蹤調查,得出結論認為玩視頻游戲不能預防結腸癌。在這項調查中,你花了20年的時間跟蹤訪問了作為代表性樣本的10萬個美國人;這些人當中,長時間玩視頻游戲的跟不玩兒視頻游戲的罹患結腸癌的幾率基本一致。我們假設你的研究方法完美無缺。但哪家醫學期刊會發表你的研究結論呢?
「大多數活動都不能預防結腸癌。」
答案是沒有。原因有二:第一,沒有有力的科學理由認為玩兒視頻游戲對結腸癌有什麼影響,因此你研究這個的意義不明;其次,也是更重要的一點,某件事情不能預防結腸癌不是什麼有趣的發現。畢竟,大多數東西都不能預防結腸癌。否定的結論尤其不性感,不論是在醫療領域還是其他。
而兩相抵消,就對我們看到的研究(或者說看不到的)產生了偏倚。假設你的研究生同學經過另一項追蹤調查得出了不同的結論,她發現玩視頻游戲的人確實罹患結腸敏跡滲癌的幾率較小。現在就有意思多了!醫學期刊要的就是這樣的論文,大眾媒體、博客寫手,還有視頻游戲的製作商(他們巴不得在自己產品的包裝上標注玩游戲有益身體健康),都在尋找這樣的內容。要不了多久,全美國的虎媽們就會紛紛奪過自己孩子手裡的書本,轉而逼迫他們玩游戲來「保護」下一代免於癌症困擾了。
當然,統計學里反復強調的一個論點是,異乎尋常的事情時而發生,這只是概率問題。如果你進行100次調查,其中有一次很可能會出現純屬無稽的結果——就像玩視頻游戲和結腸癌患病率低之間的數據關聯。而問題在於:99次發現玩游戲跟患結腸癌無關的研究都得不到發表,因為它們沒有意思,而那橋脊一次發現兩者有關聯的研究卻被印刷出來,迎來了眾多關注。偏倚的源頭並不在於研究本身,但傳達給公眾的信息卻是偏頗的。而研讀視頻游戲和癌症關聯的研究者只能發現一篇論文,而這篇論文表明的卻是玩視頻游戲能預防癌症。實際上,100項研究里有99項都找不出二者之間有任何關聯。
回憶偏倚
記憶是件奇妙的東西——盡管不能總算作優質數據的來源。人類天生就有沖動將現狀理解成過去發生的事情合乎邏輯的結果,也就是因果關系。問題出在當我們試圖去解釋某些當前特別好或者特別糟糕的結果時,記憶就會變得「系統性的不堪一擊」。例如一項研究飲食和癌症之間的關系的研究。1993年,一名哈佛大學的研究者構建了一組罹患乳腺癌的婦女和沒有被診斷出癌症的年齡匹配組女性的數據。研究人員分別詢問了這兩組女性的早年飲食習慣。研究得出了清晰的結論:患有乳腺癌的婦女在年輕時有更顯著的可能擁有高脂肪的飲食。
哈,不過,這實際上不是在研究飲食習慣對罹患癌症幾率有什麼影響。這項研究真正調查的是患上癌症如何影響了女性對自己早年飲食習慣的記憶。所有參與這項研究的女性都在多年以前,在任何人都沒有被診斷患有癌症的時候,填寫了關於其飲食習慣的調查問卷。研究的結果十分驚人,患有乳腺癌的婦女回想自己過去飲食攝入的脂肪的含量比她們實際消耗的要多得多;沒有患癌症的女性則沒有出現這種情況。
《紐約時報雜志》在描述這種記憶偏倚的隱秘本質時稱:
「罹患乳腺癌不僅改變了一位女性的當下和未來;它連她的過去也改變了。患有乳腺癌的女性(無意識地)認為高脂飲食可能是她們患病的易感原因,並且(無意識地)認為自己過去有高脂的飲食習慣。對於任何了解這種恥辱病的歷史的人而言,這一模式都熟悉得令人悲傷:和她們之前成千上萬的女性一樣,這些女性在她們自己的記憶里尋找原因,並將這個原因放置在記憶里。」
回憶偏倚是也是追蹤研究往往偏向於橫向研究(cross-sectional studies)的一個原因。在橫向研究里,數據是同時採集的。在5歲的時候,參與者會被問及他對學校的態度。然後,再過13年,我們可以重訪參與者,看他是否高中輟學。在橫向研究中,所有的數據都在同一時間點採集,研究者必須詢問18歲的高中輟學生他5歲時對學校有何看法,而這一信息固然便是不怎麼可靠的。
存活者誤差
假設一名高中校長報告說,學生中的一組特定人群在4年中(編註:美國高中有4年)考試成績穩步上升。這批人高二的得分比他們在高一時的成績好。高三那年的分數更好,高四達到了最好。我們假定不存在作弊的情況,也沒有任何創造性地運用描述性的統計數據。無論用什麼評價標准,這批學生每一年都比前一年做得更好:平均數、中位數、學生在年級水平的百分比等等。你會(A)提名這所學校的領導為「年度最佳校長」還是(B)要求提供更多的數據?
「如果你有一屋子高矮不齊的人,強迫最矮的那個離開房間會使整個房間的平均身高上升,但這樣做並不會使任何人的身高變高。」
我的話就會選(B)。我嗅到了存活者誤差的貓膩,這種情況下樣本中去掉了一些或很多觀測數據,以至於改變了整個剩下的觀測結果,因而任何基於剩餘觀測數據所做的分析也受了影響。假設我們的校長真不是個好人:他學校里的學生啥也沒學到;每年都有半數人輟學。不過,這在數學的考試分數上面看起來很是漂亮——但沒有任何一名學生實際上考得更好。有理可測,學得最差的學生(也是考試分數最低的學生)最有可能輟學,那麼考試分數的平均分會隨著更多學生輟學而穩步上升。(如果你有一屋子高矮不齊的人,強迫最矮的那個離開房間會使整個房間的平均身高上升,但這樣做並不會使任何人的身高變高。)
健康用戶誤差
每天按時吃維生素片的人更有可能身體健康——他們是每天都按時吃維生素的人!而至於維生素是否真的有益健康這又另當別論了。 想想這樣一個思考實驗。假設公共衛生官員頒布這樣一條聲明,所有的剛生了小孩兒的夫妻都能該把自己的孩子裹在紫色的睡衣里睡覺,因為這有助於刺激大腦的發育。20年後,追蹤研究證實,幼年時期穿紫色睡衣確實與今後人生中取得成功有一個特別大的正相關。比方說,我們發現,98%考上哈佛大學的新生孩童時期都穿著紫色的睡衣(現在許多人仍然這樣做),相比之下,馬薩諸塞州監獄系統里的囚犯只有3%年幼時穿紫色睡衣。
「紫色睡衣並不重要。」
當然,紫色睡衣並不重要,但擁有那種會讓孩子穿紫色睡衣的父母卻十分重要。就算試圖控制父母教育這樣的因素,研究者仍然會面臨那些執著於讓孩子穿紫色睡衣和不穿的父母之間不可觀測的差異。正如《紐約時報》健康專欄作家加里?陶布斯(Gary Taubes)解釋說,「簡單地說,問題就是踏踏實實做那些對他們有好處的事情——比如按醫囑服葯或吃他們認為有益健康的食物——的人,跟那些不這樣做的人有著根本上的不同。」這種效應有可能擾亂任何試圖評估那些被視為有益健康的活動(比如每周運動或吃羽衣甘藍)真實效果的研究。研究人員以為他們是在比較兩種飲食習慣對健康的影響:吃羽衣甘藍和不吃甘藍。但事實上,假如治療組和對照組不是隨機分配的,那麼他們在比較兩種不同的人吃兩種不同的飲食,治療組和對照組的不同有兩個方面,而不是僅僅一個。
如果說統計學家是偵探,那麼數據就是線索。我的妻子在新罕布希爾郊區的高中教了一年書。她的一個學生因為闖入一家五金店盜竊工具而被逮捕歸案,而警察之所以能破案是因為:(1)天剛剛下雪,從五金店到學生的家裡的雪上有足跡;(2)在學生家裡找到了被盜的工具。好線索幫了大忙。
就跟好數據一樣。但首先,你得有好的數據,否則一切都是空。
『捌』 《赤裸裸的統計學》讀書筆記
由於最近工作上都做數據分析的內容,所以根據眾產品大神推薦的數據分析應讀書單找了不少書來充電。《赤裸裸的統計學》是第一本,它的作者是Charles Wheelan,一名財經記者,他嘗試著用通俗易懂的筆法和具體的例子來向讀者介紹一些統計學的基礎理論。同時也是向另一本類似風格的統計學書籍——《統計數字會撒謊》致敬。
讀完後,個人覺得部慧孫分內容有一定統計學基礎的人才比較容易理解,但整體而言,全書還是能符合作者的初衷的。現將部分自己可以理解且可能對數據分析工作有啟發的內容摘錄如下。
作者在這章中提出了平均數、中位數、百分位數和標准差等幾類常用於事實描述的數據。
平均數: 用於描述整體情況的基礎數據。例如想知道全體用戶的活躍情況,可以看人均每天訪問次數。
中位數: 用於描述數據集中的趨勢。例如用戶每天訪問次數中位數態簡是2,證明至少有一半的人的每天訪問次數是≤2的。
百分位數: 用於描述某個數據在整體數據中的位置,例如某個數據是25百分位數,證明有25%的數據是小於該數據,75%的數據是大於該數據。
標准差: 用於描述一堆數據的離散情況,越大越離散。
如果兩類數據有相關關系並不等於是因果關系,舉例:家裡有超過3台電視的孩子教育水平要更好,並不是指電視越多教育水平就越高。有可能是家裡電視多的,證明家裡富裕,用於孩子教育的錢會更多。
這章幫我回顧了大學課程《概率論》中關於期望值的內容,總結出兩個觀點:
①通過量化後的回報(期望值)對比成本來做決策,舉例:投入20萬,有70%的概率獲得200萬,30%的概率只剩2萬。那期望值=200×70%+2×30%=140.6萬,也就是回報的期望值是遠大於20萬的。
②大數定律,即隨著試驗次數的增多,結果的平均值會越來越接近期望值。第一點中舉例的例子雖然回報的期望值遠大於投入,但是可能你卻只夠錢投一次,那麼風險還是很大的。但是如果你有錢投個十次八次,那麼絕對是值得投的。
很有趣的一個統計學問題:
以後有機會碰到類似的問題時,是不是知道該怎麼做了?
統計學在研究問題時,需要搜集數據,搜集數據的類型有兩類:縱向數據和橫向數據。
縱向數據: 指時間維度的縱向,對觀察對象持續觀察數年甚至數十年來搜集數據。
橫向數據: 指空間維度的橫向,對於不同地方的觀察對象採集數據。
在進行數據分析時,容易犯下以下偏見。
選擇性偏見: 即以偏概全,搜集到的數據並不能代表全前閉鏈體。
發表性偏見: 肯定性的數據結論要比否定性的數據結論更容易發表。
記憶性偏見: 通過回憶得到的數據,誰也無法確保准確性。
倖存者偏見: 數據樣本在觀察期沒有從頭到尾保持一致,例如一個班的平均成績越來越高是通過差生輟學來實現的,班級的實際成績水平並沒有得到真正的提高。
健康用戶偏見: 以單方面的因素來得出結論,例如定期吃維生素的人更加健康,但有可能是定期吃維生素的人還會定期運動等等。
中心極限定理的核心要義就是,一個大型樣本的正確抽樣與其所代表的群體存在相似關系。而正確抽樣一定要做到真正隨機。
進行數據分析的時候,我們通常會有正向思維和反向思維兩種方法。
正向思維就是指統計推斷:統計推斷是一個讓數據說話、讓有價值的結論浮出水面的過程。
反向思維就是假設驗證:從邏輯學來看,如果我們能夠證明某個零假設不成立,那麼其對立假設(又稱備擇假設)肯定為真。
回歸分析能夠在控制其他因素的前提下,對某個具體變數與某個特定結果之間的關系進行量化。也就是說,我們能夠在保持其他變數效果不變的情況下,將某個變數的效果分離出來。應用到實際的數據分析工作中就是A/B測試,在執行A/B測試的過程中一定要控制好只有一個自變數。
通過最小二乘法得出的OLS 直線可以讓所有數據的殘差平方和為最小,從而求出自變數和因變數的線性關系圖
『玖』 讀書筆記:《統計學會說謊》
統計分析結論是從某種目的出發,對事實數據的在加工。分析這個動作,很難拋開人為的感性因素。數據和分析結果都是「真相」,但是真相也能夠掩蓋或者粉飾真相。
高明的說謊者並不說假話,只是不會告訴你全部的真相。
保持質疑,獨立思考。就是我從作者這里收到的最重要的信息。信息爆炸的時代,卻也創造了更多的信息差。
操縱統計的把戲,並不高深,就像騙術很多時候不需要進化升級,只要找到合適的願意受騙的人一樣。
思考和質疑過程中的痛苦,和被騙後結果的痛苦,總要選擇一個。
接受並尊重自己的選擇。
既然結論是從數據中獲得的,那麼控制數據樣本,就可以輕易的控制數據結論。
為了保證統計結論的價值,統計必須基於一個具有代表性的樣本,該樣本必須排除偏差的任何可能性。
導致偏差的顯性原因和隱性原因都有可能輕易摧毀一個樣本的可靠性。
也就是說,即使找不到明顯的偏差來源,但只要在某處可能存在偏差,你就要對結果保持一定的懷疑。
事實上偏差總會有原因。
選取樣本的方法
檢驗隨機樣本的方式是:在一個總體中,每個人或每件事被抽樣的概率是相等的。
純隨機抽樣是唯一可以充分自信地用統計學理論進行檢驗的方法,但這里也有一個問題:該方法獲取樣本的難度大、費用高、使用范圍小,僅成本一項都難以負擔。
更為經濟劃算的替代方法是分層隨機抽樣法,該方法在民意測驗和市場調研等領域被普遍採用。要獲取這種分層樣本,需要將總體分為若幹部分,每一部分與其普遍性程度要成比例。
平均數、中位數... 數據指標只是一種修辭手段而已。
未加限定的平均數其實是毫無意義的,然而一般與收入掛鉤的數據多半如此。
如果統計樣本符合正態分布,比如人類的身高。那麼在樣本足夠大的情況下,中位數、平均數和眾數,是落在同一個點上的。
只要統計樣本足夠小,我可以得出任何想要的結論。有的時候缺失的數據,才是最重要的信息。
只有試驗的樣本數目足夠龐大時,平均數定律才會是一個有用的描述或猜測。
如果要論證的結論本身就是小概率事件,你的實驗樣本要更更大才行。
關注「概率」,你必須確認你的樣本數據很大程度的代表真實的結果,而非機緣巧合之下得出的。
專業術語:顯著性檢驗方法。
顯著性水平就是我們最常說的「概率」
對於大多數用途而言,5%的顯著性水平已經足夠。而對於某些用途而言則需要1%的顯著性水平,因為這意味著99%的概率證明了一個顯著的差異或諸如此類告陪散的東西是真實的。
你需要足夠信任你的樣本數據。
樣本代表整體數據的精確度可以用數字來表示:概率誤差和標准誤差。
只有顯現出來的差別有意義時才可稱之為差別。將差別不大的數據予以比較是沒有意義的。你必須時刻謹記「±」這個符號,即使它沒有被明確標出。
到了數據可視化的時候,能做的就更多了。
大多數情況下,視覺效果起了決定性也是欺騙性的作用。你只需要放出一個迷惑的鉤子,讀者都會自動幫助你補全結論。
改變橫縱坐標的比例,把數字換成誇張的圖片,能做的確實很多。
如果你無法證明自己想要證明的東西,那就展示一些其他東西,並假裝它們是一樣的。
那麼多讓人眼花繚亂的統計數據,讀者只關心這個數據炸不炸,幾乎沒人會注意到其中的差別。使用「看似相關的數據」,這種手段向來有效。
也許是處於安全感,人們總是趨於給事物找個因果關系。
很多古老的謬誤推理,都來源於此,
具體來說,就是「如果B事件發生在A事件之後,那麼,就是A事件引起了B事件」。
這兩件事互不為彼此的因果,它們都是某個第三事件亂哪的產物。卻被一堆令人印象深刻的數據包裝過後,產出一個看似很有道理的謬誤。
為了避免陷入這種因果謬誤,從而相信許多似是而非的東西,需要嚴格檢驗各種與相關性襪氏有關的說明。
相關性往往是通過一些令人信服的精確數據來證明兩件事情之間的因果關系。
相關性的類型
相關表示的是一種趨勢,這種趨勢卻並非人們理想的「一對一」關系。
必須要謹記:就算某種相關性存在,並有真實的因果關系,你仍不能憑此進行決策。
隨便處理數據或利用小數點來混淆因果關系比封建迷信強不了多少,而且前者更具誤導性。
前述八章講的很清楚了。如果不去考慮它的數學基礎,統計學不僅是一門科學,也是一門藝術。在允許的范圍內,你可以進行大量的統計操縱,甚至扭曲事實。畢竟分析是個主觀過程。
總結一下:
是誰這么說?
首先,要找的第一樣東西是偏差。
要找有意識的偏差:
錯誤陳述
含糊不清的措辭
選出對自己有利的數據,剔除對自己不利的數據
改變衡量的標准;選擇不恰當的測算方式
無意識的偏差
「專家」??字面信息下隱藏的那個人到底是不是權威人士,還是說只和權威沾了點邊兒
他怎麼知道?
數據樣本的規模是否大到足以說明問題?
案例是否多到具備顯著性?
是否缺乏足夠的案例得出相關的結論?
漏掉了什麼?
當數據來源關繫到利益問題時,數據缺乏就會讓人對整件事情產生懷疑。
同樣,一個相關如果缺乏可信的測算方式(比如概率誤差、標准誤差)檢驗,那麼也就沒必要把這個相關當真。
要留心那些未加說明的平均數,因為無論在什麼時候,均值和中位數都有著本質的差別。許多數據由於無法進行對比而變得沒有意義。有時,材料只給出了百分數,卻沒有給出原始數據,這種數據也帶有欺騙性。如果給你一個指數,你也許要問是不是漏掉了什麼。該指數也許是被挑來用以扭曲事實的。有時候被漏掉的還有導致變化發生的因素。這種遺漏往往暗示著其他因素才是導致變化發生的主要原因。
有人偷換了概念嗎?
在分析一份統計數據時,你要注意在原始數據和最終結論之間有沒有什麼地方被偷換了概念。將一件事說成是另一件事可是常有的。
因果關系搞亂是偷換概念的另一種方式,將「相關關系」說成「因果關系」。
此外還有「第一」的問題。如果不特別說明涉及的相關領域,每個人都可以宣稱自己是業界第一。
這是否合乎情理?
如果你看到的煩瑣資料是以一個未經證實的假設為基礎,你就要問問「這是否合乎情理?
不少統計材料從表面上看就能知道是假的。這些材料之所以能敷衍了事完全是因為數據的神奇力量使常識暫時失效
能給人留下深刻印象的精確數據也可能是與常識相悖的。
外推法相當有用,尤其是在被稱為「預測趨勢」的過程中。但是,看見在研究和預測中用到的數據或圖表時,你必須時刻謹記:截至目前的趨勢或許是事實,但是未來的趨勢不過是預測者的猜測。它所隱含的信息是「所有的事情都一樣」「目前的趨勢還將繼續」。但是,所有的事情不會一成不變,否則,生活就會變得無聊透頂。
『拾』 有什麼推薦的統計學書籍
以下推薦不需要很多數學(基配不那麼無聊?)的統計學書——非正統教科臘大書,排名略分先後:. David S. Moore::統計學的搏局指世界 (豆瓣)(第5版),中信出版社;. 查爾斯·惠倫:赤裸裸的統計學 (豆瓣),中信出版社. 達萊爾·哈夫:統計數字會撒謊 (豆瓣),中國城市出版社. David Salsburg:女士品茶 (豆瓣)——20世紀統計怎樣變革了科學,中國統計出版社. Dawn Griffiths:深入淺出統計學 (豆瓣),電子工業出版社. Michael Milton:深入淺出數據分析 (豆瓣),電子工業出版社. 西內啟:看穿一切數字的統計學 (豆瓣),中信出版社。