Mr./Ms. Days (MMDays) – 網路, 資訊, 觀察, 生活

(Photo Courtesy: Scott Adams) 常說人類已經從有形物質商品經濟的時代，進入了無形服務、知識為主的知識經濟時代。當然在這個時代有形商品還是很重要，但服務與知識將扮演日益重要的角色，不只在「純」知識服務的創造上，也在有形商品的加值上。好比消費一隻手機，並不單純只是硬體與原物料的加工，其上的軟體與附加價值或許也會是你決定購買的重要因素。今天 Mr. Valentine’s Day 想就知識經濟時代的最重要原物料 — 人的心智運作及其生產力，閒聊一下。

Read Full Post »

Posted by Mr. Thursday 恭喜新年好！今天要和各位介紹的，是有關我們天天都會使用的視覺。視覺是非常重要的，有視覺是非常幸福的一件事。在資訊科學裡面，如何讓電腦也可以看到圖片、看懂圖片，目前也仍舊是一個困難的問題，但也是可以有許多應用的問題。之前在MMDays上面的文章就曾經介紹過電腦視覺的相關應用，譬如說以圖找圖、超影像連結(hyper video link)、AdSense for video、CAPTCHA、以及無人車比賽等等。 有這麼多應用急待電腦視覺來解決，但是有些解答，或許可以從生物模型上面得到靈感。因此，這篇文章就把過去曾經介紹過的視覺路徑整理起來，從一開始的視網膜、到中繼站的LGN、到大腦皮質的第一站V1、以及之後兩條路徑裡面處理物體移動資訊的MT、和今天會新介紹的和辨識物體形狀有關的IT。最後，也會就目前未知的部分，提供一些假說作為參考。

Read Full Post »

Posted By Mr. Thursday 從簡單的生物到人類，無論是只有幾個神經細胞的海星，或是有數億個神經細胞的大腦的人類，神經系統都讓我們不是只有活著，而是能夠產生有智慧的行為，和這個真實的外在世界互動。也因此，神經科學的一些發現，有可能對資訊科學裡面的人工智慧的問題，作出一些貢獻。之前也寫了一些神經科學一些基本的介紹，不過本篇希望可以把這些基本的觀念，用更直觀的方式和例子，再敘述一次，讓各位讀者無論背景是研究哪一方面，當看到「神經網路」的時候，可以當下在腦中浮現一些印象，即使不是專家對於神經網路的印象，卻也能夠比一般常識範圍的印象，稍微增長一些。每年多增加一些印象和了解，日積月累下來或許還是可以有可觀的知識累積，讓自己在知識的領域裡面，也多長一歲喔！ 接下來就讓我們分別了解一下神經網路是什麼 (what)，以及為什麼研究神經網路(why)，並且有一段比較數學角度來分析神經網路，給數理背景的讀者參考，也有一段比較人文哲學角度來分析神經網路，給人文背景的讀者參考，最後有一個總結。

Read Full Post »

Posted By Mr. Thursday 在之前有寫了一些神經科學相關的文章，有些是偏向認知心理的，有些是偏向細胞分子的，或是偏向視覺處理的。神經科學的研究，我本身的是以人工智慧作為出發點，往神經科學研究方向進行。至於為什麼要在人工智慧以外加上神經科學呢？這兩者似乎有一點距離？原來資訊工程的技術是否已經足夠了呢？ 這邊我提出幾點研究的動機。首先，目前的機器學習的方式，和人類學習的方式比較起來，有個最大的不同，就是我們人類可能從上課或是閱讀當中自我學習，或是由外在環境給予的經驗來學習。機器同樣也是接收外界的刺激，調整自己的反應來學習，然而機器學習過程當中，有時候會需要滿多人類的介入，譬如說調整參數、調整模型或演算法等等。如果用類比的方式來說，目前機器學習的方式如果用到人上面，就像是把人的腦蓋打開，調整裡面的神經連結，關起來以後再讓人腦跑跑看有沒有學習到。其實這種方式學習也沒有什麼不好，因為機器的目標，其實是服務人類，學習的東西有學到，怎樣子學習到就不那麼重要了。 那麼機器目前學習的情況如何呢？其實目前的電腦和機器算是滿先進的，加上運算速度快，純粹數字計算的能力就比人類心算能力還快，許多應用服務也讓人類生活改善不少。然而有些比較難處理的問題，像是需要人類智能才能完成的問題，譬如說翻譯、圖形辨識、影像辨識、語音辨識、語意了解等等，這些都算是人工智慧 (Artifitial Intelligence 人工智能) 所需要解決的問題，這些問題的解決，沒有隨著硬體速度的增加而解決，因此軟體上面的進步，就是關鍵了！目前對於這些難以解決的方式，有兩種解法：(1) 運用大量的訓練資料，譬如說Google翻譯，使用大量的訓練資料，或是PDA的手寫辨識，大量的訓練資料都讓正確率大大提升。(2) 運用人工運算 (Human Computing) 結合Web2.0的方式，提供人性化的介面，讓每個人在趣味中貢獻微小的人類智力，解決一些大量資料也無法解決的東西，譬如說reCAPTCHA、語意辨識、圖形的ROI (region of interest) 等等。

Read Full Post »

Posted by Mr. Thursday 之前曾經介紹過〈海扁學習與神經網路的同步化〉，今天則是要和各位介紹和長期記憶相關的一個腦部結構，叫做「海馬迴」。「海馬迴」英文稱為 hippocampus，是從希臘文字根 hippos (馬) + kampos (海怪)而來的。 圖1 海馬迴在人腦裡面的位置  海馬迴重要在哪裡呢？主要是因為海馬迴和我們形成長期記憶的過程有關。怎樣子曉得和長期記憶有關呢？最重要的是因為在1953年，有一為病人，名字縮寫為H.M. (Henry M.) ，因為一直為癲癇 (epilepsy) 所苦，因此醫生決定為他開刀，把癲癇的來源，也就是腦部顳葉 (temporal lobe) 的地方，摘除掉。這個部分剛好也就是海馬迴的地方，因此他的左右的海馬迴、以及杏仁核 (amygdala, 負責情緒功能的區域)，也被摘除掉了。 手術之後，病人H.M.好像恢復正常，不再癲癇。但是，他開始產生嚴重的失憶症，手術往前一部分時間的記憶消失，手術後無法形成新的長期記憶。人沒有長期記憶的功能，是非常不容易生活下去的！醫師發現這個情況以後，也就在沒有其他醫生會使用這種切除海馬迴的方式來治療癲癇了。對於科學研究來說，我們則是順便從這個病例，了解到海馬迴具有形成長期記憶的功能，詳細迴路可能還不知道，但是至少知道如果整個海馬迴摘掉，就無法形成長期記憶，因此非常重要！ 下面是另外一張海馬迴的立體位置圖：(尋找hippocampus的地方) 圖2 海馬迴位置圖

Read Full Post »

Posted By Mr. Thursday MIT News前陣子有一篇報導，敘述有一些和認知語言有關的研究。他們主要是研究南美洲一些原住民部落的語言，主要是巴西的西北部一個叫做Piraha的部落。在那邊除了研究語言之外，也研究該部落的語言，對於數字的概念是如何？他們發現到一個有趣的現象，就是在Piraha這個部落的語言裡面，對於數字的觀念非常模糊，幾乎沒有精確的數字描述。譬如說研究者請他們從1數到10，或是從10數到1，結果用他們的語言，1和2兩個字都有，但是數到3以上，都是同一個單字。也就是說，他們對於數字的觀念，只有「1」、「2」、和「很多」這三種區別。(圖: Edward Gibson教授) 就我們的工作記憶(working memory) 來講，的確也是有類似的現象，譬如說我們印象深刻的數字，第一個大概是「3」，大於「3」的數字，我們比較不容易捕捉其概念。舉個例子來說，中文字的1是「一」，2是「二」，3是「三」，但是4呢？就不是四條橫線了！又另外一個數字比較印象深刻的，大概是7。不是因為7乘以4等於28天，也不是一個禮拜剛好七天，而是因為工作記憶的容量，通常就在7到8位數字左右，觀察一下我們的電話號碼，你說手機有10位數字，但是開頭兩位可能都是固定的，所以其實只要記住8位數字就好，室內電話最多也是8位數，第一位數有時候也是固定的。如果要再科學一點，我們也可以用實驗的方式，來證實工作記憶的儲存容量，對一般人來說就是7到8位數。譬如說亂數唸出一堆數字，然後請受試者寫下記得的數字，一般人大概最多回憶到7組數字 (如果兩個數字一組，7組數字就是14個數字，也就是7個二位數的數字)。 而這則新聞和認知科學上面對工作記憶的發現，也讓我產生了一個大膽的假設，或許有興趣的話，可以實驗來證明一下。我的假設是說：人類數字功能，是一種類似「繞道」而行的方式產生，也就是說數字功能可能不是天生的，但是後天可以勤能補拙，產生數字的功能。為什麼會這樣子假設呢？

Read Full Post »

Posted By Mr. Thursday 下面的FLASH是由 Arthur Shapiro 所製作的視覺錯覺。原本固定形狀的花朵，加上邊緣的線條，就會開始規律地扭轉，好像在呼吸一樣呢！ FLASH1 呼吸的花 Arthur Shapiro會在他的blog每天製作一個視覺的錯覺 (Visual Illusion)。也許會納悶，怎麼人的視覺系統會產生錯覺呢？這樣子不就不大好？其實我們也可以說，因為人類視覺系統如此特別，所以可以輕鬆地辨識物體，尤其在切割兩個重疊的影像的時候，我們可以很輕鬆地把同一盤菜裡面的菜和湯分開來，如果要用電腦來處理，目前仍然無法很容易地進行。 其中部分原因，是因為我們的視覺系統是用對比的訊號 (contrast)，而不是像電腦的編碼，儲存的時候是用點陣圖的方式儲存，對比的資訊需要另外計算。電腦似乎就是用「絕對」的方式來處理視覺資訊，而人腦就是用一種「相對」的方式來處理視覺資訊，因此對電腦來說不容易的視覺工作，人腦是非常容易辦到，不過也因此會有副產品的產生，就是視覺上的錯覺了。之前曾經介紹的Ebbinghaus Illusion，就是可以說明我們使用相對資訊來處理視覺，因而產生錯覺的例子，您看！中間兩個圓圈是一樣大的，但是因為週遭圓圈大小不同，我們相對的視覺系統，就產生大小不同的錯覺了。 圖1 ebbinghaus illusion 除了「相對」的處理方式是人腦和電腦有所不同的地方，「平行計算」是另一個可以比較的地方。不過無論是電腦或是人腦，都會有平行計算，因此今天想探討的是另外一個問題，請各位先觀察一下下面這張圖片： 圖2 人腦XOR 這個圖片是由 Mark Changizi 所製作的，主要的想法是希望能夠利用人腦平行計算的能力，來解決一些邏輯上的運算。譬如說上面這張圖，是希望在圖的最上方可以放0或1，0的盒子會遠離觀賞者，1的盒子看起來會朝向觀賞者。接著觀賞著沿著這張設計好的圖，運用人腦的平行計算能力，看到圖片最下方的地方，如果感覺是朝向觀賞者，就說是1，如果最下面看起來是遠離觀賞者，就說是0。而這張圖的設計，可以讓觀賞者自然地從上面看到下面的時候，做了一個XOR (exclusive OR) 的運算。 不過我想探討的問題就是：平行計算應該是發生在運算初期的部分，無論是人腦還是電腦的平行計算。

Read Full Post »

Posted By Mr. Thursday 由匹茲堡大學 (University of Pittsburgh) 和卡內基美隆大學 (Carnegie Mellon University) 的研究團隊所做的研究，把電極插到猴子的頭腦裡面，接著用電腦分析讀取電極傳出來的大腦訊號，轉換成機械手臂移動的指令，猴子便能夠用「想」的，移動機械手臂來自行拿取食物來吃。讓我們先看一下 DEMO 的影片。 這個研究如果將來技術成熟之後，可以應用在一些癱瘓病人身上。他們大腦裡面負責運動的區域可能還是好的，但是運動的肢體像是手臂等等，可能已經無法使用，這個時候就可以用機械手臂來取代，並且透過電及和電腦分析，讓使用者可以用意念，來指揮機械手臂。 目前比較困難的是，研究人員發現插進大腦的電極 (electrode) 在幾個月之後就會無法使用，因此這部分還有待突破。然而大腦運動區域訊號的分析，則是已經有顯著進展，只要先有一小段訓練時間，電腦就可以慢慢了解猴子移動手臂往上、往下、往前、往後、往左、往右、開始、停等訊號。 此外，我個人的觀察是，首先，因為運動神經在腦幹 (brain stem) 的區域會左右交換，因此影片中猴子右手一邊在動，但是我猜他們放置電極的地方可能是左腦的運動區。其次，運動訊號主要就是從大腦的主要運動皮質 (primary motor cortex) 區域裡面，負責手臂運動的地方的訊號來分析。不過不知道如果加上小腦 (cerebellum) 的訊號，會不會讓效果更好？因為小腦主要就是對運動進行微調，負責無意識的運動調節學習 (adapt)。 大腦的運動區域對身體的分佈，可以參考大腦一日遊裡面的這一張圖的說明： 左邊是主要感覺區的分佈，右邊是主要運動區 (primary motor cortex) 的分佈，臉部無論是感覺或是運動，都佔了很大的比例，代表對臉部的感覺和運動很細膩，需要比較大的區域來處理或產生訊號。另外，皮質區 (cortex) 是有意識的資訊的處理，訊號離開大腦後，會延著腦幹，往脊隨 (spinal cord) 的方向傳遞，中間會經過小腦，也會隨著訊息的目的地在不同的地方左右互換，這部分滿複雜，可能要重新複習一下課本才會記得，有興趣的讀者在繼續深究這一部分吧！

Read Full Post »

Posted By Mr. Thursday 在本體論: 讓舉一反三變得可能裡面提到了機器在規則上面的學習，本體論 (ontology)是一件重要的事情，因為有了ontology，機器可以舉一反三，一件事情學習一次，可以以此類推到其他相同性質的事情上面，就如同我們第一堂數學課，學過了一顆蘋果加上一顆蘋果等於兩顆蘋果，考試的時候問一顆橘子加上一顆橘子等於幾顆橘子，我們知道是兩顆橘子，因為我們學到的是一個抽象後的規則： 1 + 1 = 2 ，不會因為蘋果換成橘子，就無法變通。 早期的人工智慧系統，是從邏輯出發，把外在的世界，轉換成一句一句的邏輯規則。或許我們會想問，為甚麼要用邏輯來表示外在世界呢？我們的大腦是用邏輯來處理事情嗎？首先，邏輯 (logic) 可以保證 sound and complete。甚麼又是 sound and complete呢？或許西方的法院裡面，證人作證之前，會先發誓說：I will tell the truth, the whole truth, nothing but the truth. (我會說實話，全部的真話，除了真話以外的都不說。) 因此 complete (完備) 就像是裡面所說的，「全部」的真話，不是部份的真話。sound (可靠) 就像是證人說的，「真話以外」都不說。因此我們如果使用邏輯內在表示法，來表示外在的真實世界，我們進行推理的時候，就不會推理出不會發生的事情。然而真實世界非常複雜，一滴雨滴從天上掉下來，中間溫度的變化，空氣摩擦力，地心引力，旁邊的雨滴，有許多的因素 (factor) 可以影響最後雨滴的位置。我們如果要用邏輯推理，前提的部分可能就要考慮所有可能的因素，才能保證我們用邏輯寫下來的規則，是真實的。 近代人工智慧系統，則是用機率表示法，加上統計對觀察資料的處理，來表示外在的世界。機率不會保證一個規則的sound and complete，但是會給這個規則一個機率值。如果機率值是0.7，代表說如果用了這個規則，100次裡面會有70次正確。或是說，如果有100次機會，70次用這個規則，會有最好的結果。再舉一個例子來說，今天我的手對著一把刀片揮下去，會被砍出一個傷口。我們就學一個規則：比手硬的東西，揮下去會受傷。但是一片硬的牆壁，手揮下去卻又沒有傷口，我們只好修改一下邏輯規則：比手硬，又尖尖的東西，揮下去會受傷。可是一堆沙堆出來一個刀片形狀，手揮下去，是沙堆破掉手沒有事情。因此對於邏輯系統來說，總是會一直出現「例外」，前提必須要不斷修改，才能保證整個規則的真實性。機率表示法來說，就是把例外當成可能發生的事情，「比手硬的東西，揮下去會受傷」的機率是0.8等等，剩下0.2的機率就是那些例外。不過機率也不全然是隨便給定，沒有真實的參考價值，也是要滿足一些基本條件，像是所有事件的機率加起來等於1等限制，因此可以證明如果照著算出來的機率值來行動，可以得到最好的期望值。 但是，除了邏輯和機率這兩種內在表示法，是否就沒有其他表示法，可以保證推理結果的真實性，又能夠處理真實世界複雜的各種因果關係，讓我們繼續活下去呢？或是說，怎樣子讓電腦計算機，可以像人類一樣，舉一反三，能夠化整為零，察覺到最細微的關鍵變化，又能夠「見樹又見林」，知道各個部分之間的關聯性，對整個全局 (big picture) 能夠有所了解呢？在這邊我想提出一個想法，就是「化整為零」。

Read Full Post »

Posted By Mr. Thursday 我們的大腦複雜無比，裡面的神經網路錯綜複雜，也因此讓我們能夠表現智慧的行為。現今一些人工智慧 (AI: Artificial Intelligence) 的問題，或許可以透過參考人腦的神經網路，來設計一個可以處理視覺、聽覺、文字等資訊的人工智慧系統。除此之外，如果還能夠像人類一樣，能夠自我調整、自我學習，儘量減少人類對系統直接的調整，是最好的了。然而人腦的神經網路，又是如何自我學習、自我調整呢？今天就先和各位分享神經網路調整的兩種方法：海扁學習和STDP，並且另外介紹神經網路同步化 (synchronized)和同多步 (polychrnous)的模型，進一步探討可能的神經網路模式，或許對人工智慧自我學習的方法上，也能提供一些參考！ Hebbian Learning Donald O. Hebb (1904 – 1985) 是一位神經心理學家 (圖1 Donald O. Hebb)，他對神經網路最重要的一個貢獻，就是 Hebbian Learning ，在這邊我就暫且先翻譯成 海扁學習法。甚麼是海扁學習法呢？海扁學習是在學習甚麼東西呢？首先，讓我們先回憶一下，我們的大腦裡面，是由許許多多的神經元 (neuron) 所組成，神經元和神經元之間，有著連結，叫做神經鍵結 (synapse)。神經元和神經鍵結整個形成一個網路，可以讓神經訊號到處傳遞，就稱為一個神經網路 (neural network)。 我們外在的行為，就是因為神經網路接受了刺激，處理之後產生了反應。然而從刺激到反應之間訊號如何被處理、被轉換，讓我們的行為表現出有智慧的樣子呢？這就牽涉到神經元之間的連結了，因為某些神經元之間連結弱一點，某些神經元之間的連結強一點，我們就可以針對不同的刺激，產生不同的反應，進而表現出智慧的行為。如果我們再縮小範圍來看整個網路裡面的某兩個神經元，接著我們就要問，這兩個神經元之間的連結強度，要怎樣子變強變弱呢？Hebb就針對這個部分提出他的假設，後來也經由許多實驗資料證實，成為海扁學習法了。

Read Full Post »