別把隨機當必然 – Don’t Be Fooled By Randomness

Posted by Mr. Saturday

瀑布中的一滴水滴,你知道它最終會流過河川、匯入大海,但是此時此刻,你卻難以精確地預測這個水滴下一秒鐘會是在河流或是瀑布中的什麼位置。這個觀察告訴了我們,我們可以看得見長期的趨勢,但是微觀的下一秒鐘,我們卻怎麼樣也難以窺見其變化,因為需要考慮的因素太多:水的流量、地形的細微變化、氣候、溫度等等都讓我們對於一個水滴走向的預測無法精準。當因素太多太多,以至於我們無法掌握時,水滴在某一個瞬間的走向對我們來說就是隨機的。我們只知道:不管這個水滴現在怎麼走,最終它會進入大海。這就是Mr. Saturday這邊想要淺談的隨機現象。隨機現象在我們生活中處處可見,而且深深影響我們的生活,很多不同科學領域的尖端研究,現在都是在對付隨機現象。研究物理的人研究到量子的層次,會發現這個穩固的世界居然是由一些隨機亂跑的粒子所堆砌而成。研究電腦科學的人,會發現隨機方法竟然可以用來設計出簡潔易懂的演算法,研究數學的人,會發現機率模型竟然可以相當程度上幫助我們做出生活中的決策。那麼隨機現象對於我們現實生活中的啟示又什麼呢?以下Mr. Saturday先舉出一個電腦科學界的例子來闡述。

機器學習(Machine Learning)這一個有關人工智慧的學門是電腦科學界最近相當熱門的一個研究領域,主要研究的方向和重點是結合演算法和統計資料,擷取出這些資料之內所隱含的一些資訊,然後用這些擷取出來的資訊讓電腦去對一些事情做預測,以此模擬出類似學習的行為。Machine Learning在近年來取得了巨大的成功,讓曾經一度委靡不振的人工智慧研究又開創了許多新的契機。市面上的各種搜尋引擎就有應用相當多機器學習的技巧在裡面,讓這些搜尋引擎好像真的有智慧,去猜測你要搜尋甚麼東西,然後回傳精準的搜尋結果給你。在這個研究領域中,有一個很重要的現象是每個剛剛學習機器學習的人都會接觸到的:這個現象叫做Overfitting。要講解這個現象之前,我們先舉一個最簡單的例子來介紹機器學習。

如果你要教電腦去找出一個公式,用來計算出身高與體重的關係,那麼你的第一件事情就是收集很多人身高與體重的資料(data),然後跑一個線性迴歸分析(Linear Regression),在身高與體重的平面上找出一條直線去match這些data,這條直線電腦就拿來當作是計算身高體重的公式:你給了電腦身高,電腦就算出體重給你,反之亦然。這是機器學習最簡單的一個例子。電腦所做的事情不過就是從資料看出身高與體重之間的大略關係。之所以說是大略關係,是因為我們讓電腦假設身高與體重的關係完全是線性的,所以我們找了一條直線去當作身高和體重的model:身高越高,體重就越高。但是大家都知道身高和體重不可能剛好是線性的關係,有些人很高但是體重卻很輕,有些人很矮但是體重卻很重。所以當我們用一條直線來解釋這些資料的時候,實際上我們會有一些誤差存在。但是我們知道,以統計上來講,這個趨勢是對的,身高越高的人通常體重會比較重,所以當我們知道了某個人的身高,然後用這條直線去預測那個人的體重時,大部分的時候我們預測出來的結果不會差太遠。

現在有人覺得直線不是一種預測身高體重很好的model,所以想要用比較複雜的曲線來fit這些data,結果他找出了一條完美的曲線來解釋這些data,這條曲線毫無誤差,可以在平面上完全穿過所有資料點。但是這個曲線會出現一個大問題:這條曲線完全沒有辦法拿來預測一個人的體重:你有一個人的身高,然後拿這條曲線去預測這個人的體重,你會發現大部分的時候算出的體重都是相當離譜。而且這條曲線看起來會彎彎曲曲,完全沒有辦法看出身高與體重大致上是呈現線性的關係。這種現象就稱為Overfitting,從字面上的意思來看就是:我們對於資料做了過多的解釋。Overfitting這個現象,在統計學習理論上已經可以用數學來量化,在這邊我們就略過不談。Overfitting給我們最大的啟示就是,不要對你的資料和你看到的現象做過多的解釋

研究哲學的人都知道Occam’s Razor這個原則:當你對一個現象有許多種解釋時,記得選擇最簡單的那一個。這個指導原則在機器學習領域是相當重要的一個概念,很多統計學家和經濟學家會建構相當複雜的模型來詮釋他們的資料,試著去預測以後很多事物的走向。舉例來說LTCM想要做的就是這種事情,兩個諾貝爾獎得主搞出了一套模型,可以保證長期下來,他們的投資絕對穩賺不賠,這群經濟學家以為自己掌握了世界每一秒的趨勢,世界的金錢已經操弄在他們的經濟模型之中,結果最後他們突然倒掉了。為什麼?原因很簡單:因為他們沒有料到蘇聯會忽然解體解體後對於國債的意外處理方式。就這麼一個他們沒有料到的因素(其實當時誰又料得到呢?),就讓他們的模型整個崩潰了。同樣地,搞出越複雜的模型,你就會發現常常這個模型對於解釋新的現象時是不管用的。

反應在我們的生活之中,炒股票的人和那些老師,整天都在跟你講明天股票是會漲還是會跌,他們在做的事情,就是在跟你講瀑布中的水滴下一秒鐘會流到什麼地方。你覺得他們猜得準嗎?你還會相信他們嗎?一群自稱是趨勢專家的人在電視上講得口沫橫飛,說出千萬個理由分析給你聽,要你去買什麼什麼股票。在我看來,他們只是用極有限的知識在跟隨機現象對抗。像預測趨勢這種連那些科學家和統計學家都還做不好的事情,你覺得這些老師做得好嗎?一家公司的股價圖對於人類現在有限的認知而言,完全就是隨機的,你不可能準確預測下一秒鐘準確的走向。股市甚至於連長期的趨勢都難以預測,還記得我們的水滴例子嗎?如果你連長期的趨勢都看不清楚,想要微觀地分析更是難上加難。即使這個世界上沒有真正隨機的事情,一切都是命中注定的,以人類現在有限的知識和電腦的運算能力來說,也還是無法完全掌握的。

同樣的,在股票市場上你會常常看到一些靠股市成為百萬或是千萬富翁的人出書大談自己的投資經,說明自己如何致富,講得真是天花亂墜。我現在舉一個簡單的運算給大家看:假設以你現在的資本,在股市連續賭一支股票十次漲跌,十次都成功,你就可以成為百萬富翁,這樣的機率是多少?既然你每次都是閉上眼睛瞎猜,所以每次的成功率都是一半,連續十次成功就大約是千分之一。看起來連續十次成功真的很難,不過換個角度想,如果台灣有兩百萬人同時做這樣的事情呢?你會發現平均來說,會有兩千人在這十次賭博之中成為百萬富翁,如果這兩千人之中有一些人跑來出書或是上節目大談自己的投資經驗呢?沒錯,他們就變成老師了。隨機現象讓這些人成為百萬富翁,然後這些人以及週遭的人開始用過度解釋和吹捧的方式來大談他們賺錢的成功,最後的結果就是:大家都被隨機現象給唬了。連這些老師自己都相信自己真有一套本領能在股市呼風喚雨。

曾經有一些學者找來一群猩猩做實驗,這些學者把華爾街日報的股票版釘在牆上,讓這些猩猩對那些股票名稱射飛鏢,當作是猩猩建議他們買的股票。結果矇著眼睛的猩猩,朝報紙股票版擲飛鏢所射中的股票,並不比投資專家們的選股遜色。看到這個實驗結果,你作何感想呢?

講了以上這麼多例子,並不是要告訴大家這個世界是隨機的,所以我們做出再多努力也是枉然。人類真正可貴的地方,就在於對這些不確定性所做出的努力,能夠讓人類的智識更推進一步,讓我們更加了解這個世界。談隨機現象只是要提醒大家,很多我們想盡辦法解釋的現象,其實往往都是隨機的結果,這是這個世界運作的機率,確確實實存在,支撐著量子力學,也支撐著我們的現實生活。我們應該做的,是去看整體的趨勢,而不是對於一個短期的現象,鑽牛角尖地想盡辦法去解剖它。解剖的結果就會讓你像量子物理學家一樣,困惑地發現井然有序的世界,竟然是由一些到處亂跑的粒子組成。長期的趨勢是可以透過努力研究在一定程度上達到預測的效果,短期趨勢是誰也說不準。

隨機現象本身是一個相當深奧的議題,談到最後往往都會淪為「上帝究竟丟不丟骰子?」的哲學議題, 人類也許永遠都無法了解這個世界是不是一切都命中注定,抑或是人總是可以隨時透過外在力量改變一些事物的隨機世界。無論是怎麼樣,努力之後得來的果實永遠都是甜美的。只是要記住,別被一些人解釋隨機現象的嘴砲所唬了,好像這些隨機現象真的像他們講的那樣完全可以預測。

別把隨機當必然

喜歡這篇文章嗎? 分享出去給作者一點鼓勵吧!
  • 您這篇寫的很好!

    不過有個小地方可能值得商榷。

    蘇聯解體是1991年12月間,戈巴契夫辭職那段時間的事,但是造成LTCM危機的一般看法是1998年俄羅斯政府對於國債的意外處置方式。所以您的文章可能需要小小修改一下。

  • 您這篇寫的很好!

    不過有個小地方可能值得商榷。

    蘇聯解體是1991年12月間,戈巴契夫辭職那段時間的事,但是造成LTCM危機的一般看法是1998年俄羅斯政府對於國債的意外處置方式。所以您的文章可能需要小小修改一下。

  • 精采的文章!

    有很多想法我蠻認同的,例如我就這樣認為,拿人們迷信的算命來講,在隨機的巧合中,碰巧命中的部份會被放大並且存活下來,而沒中的部份會被遺忘、淘汰,這樣的結果下來當然只會被信以為真,要用天上的星星人的生辰等等單一的因素來預測人的未來實在是蠻可笑的。

    說到無名小站,我記得我去逛資訊展,結果被巨X電腦拉去聽他們推銷,他們說得像是考到證照就和成功劃上等號一樣,規劃自己人生等等,接著又聊到無名小站,他說無名小站一開始規劃到今天的地步,我心理出現了一個問號,怎麼跟我認知的不一樣,我的印相中是剛開始只是為了測試自己的程式和一些有的沒有的理由才創辦的,他們壓根沒想到會有今天,所以說有時候運氣也是很重要的一個因素,我認為無名小站會成功的原因在於,那個切入的時間剛好是跟著數位相機的成長一起的黃金時間,又碰到國內剛好沒有一個像樣的競爭對手,再加上得天獨厚的交大大水管,再者是大學生活圈,當你看到你同學的相片是透過無名小站,一次活動、一個社團、一個班級…等等為中心,會以病毒式的方式傳染到幾乎整個團體,其中的人際關系網路已經成熟到可以達成六度分割的的程度了,這個就是很好的證明,天時地利人合。

    很多時候我想過很多東西可以做,但是卻又會考慮到很多因素,但是沒有做,只是想,怎麼知道會不會成功呢? 程式碼你知道要那樣寫,但是! 你沒去寫他他就不會實現,所以有時候千思萬慮,不如放手去做來得實在。

    國內喜歡炒短線的人太多了,這真的很糟糕….
    把眼光放遠才是王道阿….

    阿….抱歉 我只是路過,難得看見有那麼精彩的文章忍不住多打了一些字,如果覺得不妥可以刪掉沒關係

  • 精采的文章!

    有很多想法我蠻認同的,例如我就這樣認為,拿人們迷信的算命來講,在隨機的巧合中,碰巧命中的部份會被放大並且存活下來,而沒中的部份會被遺忘、淘汰,這樣的結果下來當然只會被信以為真,要用天上的星星人的生辰等等單一的因素來預測人的未來實在是蠻可笑的。

    說到無名小站,我記得我去逛資訊展,結果被巨X電腦拉去聽他們推銷,他們說得像是考到證照就和成功劃上等號一樣,規劃自己人生等等,接著又聊到無名小站,他說無名小站一開始規劃到今天的地步,我心理出現了一個問號,怎麼跟我認知的不一樣,我的印相中是剛開始只是為了測試自己的程式和一些有的沒有的理由才創辦的,他們壓根沒想到會有今天,所以說有時候運氣也是很重要的一個因素,我認為無名小站會成功的原因在於,那個切入的時間剛好是跟著數位相機的成長一起的黃金時間,又碰到國內剛好沒有一個像樣的競爭對手,再加上得天獨厚的交大大水管,再者是大學生活圈,當你看到你同學的相片是透過無名小站,一次活動、一個社團、一個班級…等等為中心,會以病毒式的方式傳染到幾乎整個團體,其中的人際關系網路已經成熟到可以達成六度分割的的程度了,這個就是很好的證明,天時地利人合。

    很多時候我想過很多東西可以做,但是卻又會考慮到很多因素,但是沒有做,只是想,怎麼知道會不會成功呢? 程式碼你知道要那樣寫,但是! 你沒去寫他他就不會實現,所以有時候千思萬慮,不如放手去做來得實在。

    國內喜歡炒短線的人太多了,這真的很糟糕….
    把眼光放遠才是王道阿….

    阿….抱歉 我只是路過,難得看見有那麼精彩的文章忍不住多打了一些字,如果覺得不妥可以刪掉沒關係

  • To bwPingu:

    謝謝你的鼓勵和指正,你說的沒錯
    LTCM的確是因蘇聯國債的關係走下坡然後倒掉
    我已經更正我的文章了 🙂

  • To bwPingu:

    謝謝你的鼓勵和指正,你說的沒錯
    LTCM的確是因蘇聯國債的關係走下坡然後倒掉
    我已經更正我的文章了 🙂

  • To Victor:

    謝謝你的comment!你一開始舉的類似算命仙的例子
    也是一個隨機現象唬人的經典案例,亂猜的人多了,
    自然就有人誤打誤撞猜對了。我這篇文章的重點其實
    就像你說的一樣,把眼光放遠才是重點。謝謝你的支持,
    希望你繼續看我們的文章,並隨時留下你的評論!

  • To Victor:

    謝謝你的comment!你一開始舉的類似算命仙的例子
    也是一個隨機現象唬人的經典案例,亂猜的人多了,
    自然就有人誤打誤撞猜對了。我這篇文章的重點其實
    就像你說的一樣,把眼光放遠才是重點。謝謝你的支持,
    希望你繼續看我們的文章,並隨時留下你的評論!

  • Mr. Saturday,

    您真是一個負責的好作者。

    您和其他諸位朋友寫的文章很有意思,很高興認識您們。

  • Mr. Saturday,

    您真是一個負責的好作者。

    您和其他諸位朋友寫的文章很有意思,很高興認識您們。

  • Pingback: Yi-Feng Tzeng’s Blog » Blog Archive » 「別把隨機當必然」讀後感()

  • Pingback: 別把隨機當必然 - Don’t Be Fooled By Randomness « MasterEnfant()

  • ericpony

    >> “既然你每次都是閉上眼睛瞎猜,所以每次的成功率都是一半,連續十次成功就大約是千分之一…”
    這裡的”既然…所以” 是沒有道理的. 您似乎把股票漲跌當成是如同丟銅板般的獨立事件了, 這個假設顯然和事實相去甚遠, 建議您換一個比較切實的例子, 可以讓這篇文章的論點更有說服力

  • ericpony

    >> “既然你每次都是閉上眼睛瞎猜,所以每次的成功率都是一半,連續十次成功就大約是千分之一…”
    這裡的”既然…所以” 是沒有道理的. 您似乎把股票漲跌當成是如同丟銅板般的獨立事件了, 這個假設顯然和事實相去甚遠, 建議您換一個比較切實的例子, 可以讓這篇文章的論點更有說服力

  • To ericpony:

    謝謝您的指教,你說的沒有錯,把股票漲跌當成是丟銅板顯然是低估了股票市場的複雜度。然而我會把每次投資股票當成是Bernoulli trial,有幾個簡單的原因。首先是我看到許多人投資股票的方式其實是透過人云亦云的方式,人家說好就去買,這樣完全缺乏資訊或是資訊嚴重不足的情況之下,我認為投資對於這些人而言就是一種完全丟銅板式的賭博,當然同一支股票每天的走向彼此之間並不會是獨立事件,而且每個人一定會因為今天的漲跌而影響到明天的買進賣出,甚至於我們可以將許多市場因素考慮進來,用一些random variables去建構出Dynamic Bayesian Network,然後用prediction的演算法去算出我們對於各種股價預測的機率。我之所以假設每天的股價都是獨立事件,只是為了簡化我整篇文章的討論,以及避免一些不必要的繁冗細節。透過簡單的計算,告訴大家股市總是有人賠錢有人賺錢。整篇文章的目的,主要也是在於各訴大家,不必要去追逐短期的隨機現象或被這些現象所困惑。往長期的趨勢去看才是最重要的。 :)

  • To ericpony:

    謝謝您的指教,你說的沒有錯,把股票漲跌當成是丟銅板顯然是低估了股票市場的複雜度。然而我會把每次投資股票當成是Bernoulli trial,有幾個簡單的原因。首先是我看到許多人投資股票的方式其實是透過人云亦云的方式,人家說好就去買,這樣完全缺乏資訊或是資訊嚴重不足的情況之下,我認為投資對於這些人而言就是一種完全丟銅板式的賭博,當然同一支股票每天的走向彼此之間並不會是獨立事件,而且每個人一定會因為今天的漲跌而影響到明天的買進賣出,甚至於我們可以將許多市場因素考慮進來,用一些random variables去建構出Dynamic Bayesian Network,然後用prediction的演算法去算出我們對於各種股價預測的機率。我之所以假設每天的股價都是獨立事件,只是為了簡化我整篇文章的討論,以及避免一些不必要的繁冗細節。透過簡單的計算,告訴大家股市總是有人賠錢有人賺錢。整篇文章的目的,主要也是在於各訴大家,不必要去追逐短期的隨機現象或被這些現象所困惑。往長期的趨勢去看才是最重要的。 :)

  • 人多多少少都會想試著去掌握無法掌握的東西:)

    然後以為似乎掌握到的人,就指導完全不想掌握的人

    試圖去掌握的人,好像還是相對比較努力吼:)

    呵呵

    但也因為充滿隨機,人生才會有趣:)

  • 人多多少少都會想試著去掌握無法掌握的東西:)

    然後以為似乎掌握到的人,就指導完全不想掌握的人

    試圖去掌握的人,好像還是相對比較努力吼:)

    呵呵

    但也因為充滿隨機,人生才會有趣:)

  • Sin

    很巧地~
    讀到這篇文章時我的論文指導老師剛好提到這個概念!
    綜合老師.版主所言以及這一年來看過的國內外paper的心得,
    深深體會到,為何國內大部份的商管碩班論文水準會如此不堪(我是最不堪那個…)
    也難怪博班學長老是說:碩班論文只是過程和方法的訓練,不要想去突破啥. >

  • Sin

    很巧地~
    讀到這篇文章時我的論文指導老師剛好提到這個概念!
    綜合老師.版主所言以及這一年來看過的國內外paper的心得,
    深深體會到,為何國內大部份的商管碩班論文水準會如此不堪(我是最不堪那個…)
    也難怪博班學長老是說:碩班論文只是過程和方法的訓練,不要想去突破啥. >

  • Pingback: Swarchy 御言堂 股市預測到底重不重要 «()

  • HC

    Randomness is indeed a fascinating phenomenon. Brownian motion has often been used to model random behaviors in many aspects, say, pricing of financial derivatives:

    dS = mu S dt + sigma S dW
    V(S,t) is the time t price of a derivative.
    W is a Brownian motion.

    Yet, randomness could also a ‘seemingly’ random phenomenon in the sense that it is actually attributable to some complexity inherent in a system. That is, chaos!

  • HC

    Randomness is indeed a fascinating phenomenon. Brownian motion has often been used to model random behaviors in many aspects, say, pricing of financial derivatives:

    dS = mu S dt + sigma S dW
    V(S,t) is the time t price of a derivative.
    W is a Brownian motion.

    Yet, randomness could also a ‘seemingly’ random phenomenon in the sense that it is actually attributable to some complexity inherent in a system. That is, chaos!

  • Pingback: » MMDays - Mr. Saturday - 別把隨機當必然 2()

  • Pingback: » MMDays - mmdays - MMDays 本週回顧〈2/18-2/24,2008〉()

  • Frank

    我看到標題和第一段話的時候就覺的矛盾了,請問我們要怎麼知道那滴水會最後到大海裡? 它可以在中途被人喝掉帶去幾百公里外的廁所排出後進了化糞池,然後又被蒸發進了大氣層不是嗎? 人愚笨的地方不在於試圖以模型或公式去預測絕對會發生的事情,愚笨的是以為自己知道結果,以為自己知道長期的趨勢。我都不能知道我自己五年後的工作內容改變,要怎麼知道五年後的經濟狀況? 所謂的長期投資只是盲目的信心,而且只適用在成熟的股票市場。一件事情可能有五萬個變數來組成一個複雜的方程式,而模型是試著找到那些變數並且放進去。沒錯,事情總有第一次,而且他複雜的程度遠遠超過人腦的算計。但這些只是試著在一堆亂數點中找到最接近的曲線去描述。不然大家以為你買的金融商品,和你所謂的眼光放遠,到底是以何為本呢? 在你提到那些股市得奇怪想法時,我建議你去看看Keynes的理論和模型(沒記錯的話Limitless裡也有提到一個小例子)

    對不起,這篇文章我有太多矛盾和自我觀點,我沒辦理解