恭喜新年好！今天要和各位介紹的，是有關我們天天都會使用的視覺。視覺是非常重要的，有視覺是非常幸福的一件事。在資訊科學裡面，如何讓電腦也可以看到圖片、看懂圖片，目前也仍舊是一個困難的問題，但也是可以有許多應用的問題。之前在MMDays上面的文章就曾經介紹過電腦視覺的相關應用，譬如說以圖找圖、超影像連結(hyper video link)、AdSense for video、CAPTCHA、以及無人車比賽等等。

有這麼多應用急待電腦視覺來解決，但是有些解答，或許可以從生物模型上面得到靈感。因此，這篇文章就把過去曾經介紹過的視覺路徑整理起來，從一開始的視網膜、到中繼站的LGN、到大腦皮質的第一站V1、以及之後兩條路徑裡面處理物體移動資訊的MT、和今天會新介紹的和辨識物體形狀有關的IT。最後，也會就目前未知的部分，提供一些假說作為參考。

光進入瞳孔之後，會先被視網膜上面的光感受體 (photo receptor)所吸收，之後驅動了一連串化學反應，變成了神經的電訊號，開始往後傳遞。上面這張示意圖裡面，我們也看到，視網膜其實可以詳細區分為更多層，可以作為第一階段視覺訊號的整合處理。

如果要詳細的介紹，可以參考：〈靈魂的紗窗：走訪人類的視網膜〉

視網膜的光刺激轉換成神經訊號之後，會延著視神經往後傳遞，左右眼睛的視神經分別會有部分先交叉，接著進入大腦下方的一個區域，就是丘腦 (thalamus) 的其中一小塊，英文縮寫為 LGN (lateral geniculate nucleus)。LGN相當於視覺訊號從視網膜到視覺皮質V1的一個中繼站。

在LGN主要是有一些注意力的功能，以及其他大腦區域的回饋訊號 (feedback) 一些調節功能。此外，視覺訊號到LGN為止，每個神經細胞有反應的影像，都是一個圓圈的形狀，中間和外圈有亮度對比 (內亮外暗、內暗外亮)，才會引起視網膜或是LGN細胞的反應。

在LGN也初步區分兩個路徑，課本通常會稱為 M Pathway和P Pathway，無論名稱如何，只要曉得這兩個路徑的訊號，分別是和「移動」的訊號以及「形狀色彩」的訊號有關。這兩種訊號在最後也會分別傳到不同的區域作處理。

LGN詳細的介紹可以參考〈視覺交響曲第二樂章: LGN〉。

接著，如前面那一張人腦的圖，視覺訊號從視網膜出發，經過LGN中繼站，接著到達大腦後腦杓的地方，也就是視覺皮質第一站，名字常常稱為V1。V1和LGN最大的不同在於，需要一條直線，而不是一個有對比亮度的內外圓圈，才能讓一個細胞有反應。

下面是一段實驗影片，裡面就有分別對圓圈形狀才會反應的LGN細胞，對直線才有反應的V1細胞等等。V1其實可以細分simple cell和complex cell，詳細介紹可以參考〈視覺交響曲第三樂章: V1〉。

此外，視覺皮質V1區域，在前面那一張圖有一個 ice cube model，是描述V1細胞有一個一個直列，每一個直列(column)就代表一群對某一個方向的直線會有反應的細胞。方向角度相似的細胞會在腦區上也接近。不過後來的研究結果發現，比較符合的模型應該是pinwheel model。

不同的顏色，代表不同的方向，譬如說紅色的區域，都是會對某一個方向的直線有反應，以此類推。

此外，因為V1會整合左右眼的資訊在一起，變成右大腦處理左視野，左大腦處理右視野，所以同一邊的大腦，左右兩眼的資訊會有不同的傳遞目標的分布，稱為 Ocular Dominance。

上面這張圖就代表，右腦的V1處理左視野的資訊，但是黑色腦區域是處理左眼來的左視野資訊，白色區域是處理右眼來的左視野資訊。

所以一路走來，從視網膜到LGN，從LGN到視覺皮質V1，訊號從圓圈對比，到直線對比。上圖的右手邊就是眼睛的方向，左手邊就是後腦杓的視覺皮質V1。經過這趟旅程之後，視覺從眼睛傳到了後腦杓。接下來又要往大腦前方傳遞。不過，這時候分為兩個路徑，和物體移動有關的訊息，會往上傳，到MT (Medial Temporal Lobe) 的區域。和物體形狀有關的訊息，會往下傳，到IT (Inferotemporal Lobe) 的區域。

視覺的訊號到這邊就算到一個段落。之後就提供給其他腦區做為輸入的訊號來源，譬如說提供給杏仁核 (amygdala) 作為情感反應的視覺訊息，提供給前額葉 (prefrontal lobe) 作為視覺分類 (categorization) 的訊息。

也因此，在MIT的一位教授 Tomaso Poggio 就提出了一個最開端的視覺模型，希望把這些在神經科學裡面，有關視覺的研究成果，轉化成資訊科學裡面可以使用的演算法 (Algorithm) ，讓電腦借鏡這個生物模型，幫助人類完成一些圖片影像分類的工作。

上面就是 Poggio 提出來的模型。然而有些問題，是這個模型可以在繼續修改的地方。首先在物體移動的資訊方面，視覺孔徑 (Aperture Problem) 問題，牽涉到了不同區域的資訊如何彼此連結成整體的資訊，也就是 Binding Problem。譬如說神經元A對往左移動的影像有反應，神經元B對往右移動的影像有反應，但是如果一張大影像整體往上移動，但是區域上來看分別是往左往右移動，這種問題要用什麼模型解釋呢？

像上面這張圖，某個神經元可能只看得到中間圓圈的範圍，但是整張圖的移動方向，有可能是往右、往下、或是右下的方向，怎樣子結合其他神經元的資訊，才能判斷出整體移動的方向，就是Binding Problem想要找的答案。

另外在IT也有新的問題。Poggio的最初模型，是一種階層式 (Hierarchical) 的模型。大腦處理資訊也是有階層沒有錯，但是大腦階層的資訊分法，和人類有意識的階層分法似乎不大相同，怎麼說呢？

 IT是大腦處理物體形狀資訊的區域。如果用比較工程的角度，會像Poggio的模型一樣，最底層是判斷點的神經元，在來就是V1對不同方向的直線有反應的神經元，在來可能就是簡單的正方形，最後就是對某一張臉或是形狀的圖片有反應的神經元。

然而一些研究成果，像是Keiji Tanaka對IT的實驗結果發現，IT的神經元，要特定形狀才會有反應，而不是簡單的幾何形狀像是圓形或正方形等等。

譬如說上面這一張圖，是IT裡面某一個神經細胞的反應。左上角那張圖反應最大，是一個大圓圈然後有一個小突起的圖片。反應是1.0。然而如果轉180度，反應就剩下0.01。小突起改成方形，反應也剩下0.01。如果小突起沒有，只有中間的大圓圈，反應居然是0！但是小突起改成細長突起，反應還有0.82。

這邊就可以看到，IT接收來自V1的訊號沒錯，但是中間的連結似乎和人類意識自我想像有所不同。IT對於形狀分解的方式，並不是直接在視野裡面左右切割的方式，也不是直接用人類切割有意義單位的方式來組合會反應的影像 (譬如說我們會想要把大圓圈和小圓圈分開來，然後會假設神經元是接受大圓圈有反應的神經元，以及接受小圓圈有反應的神經元，加總起來才產生反應)，有些細微改變就會讓反應消失，但是有些不大直覺的形狀改變，卻還有0.8的反應。

因此IT對於物體形狀的處理方式，目前仍然未明朗，因為不像V1那麼明顯，某一群神經元，就是對某個方向的直線有反應。IT的每一個神經元，只對某一種特別的形狀有反應，有的特徵很重要，有的特徵卻是可以拿走卻不影響。也因此這部分還有待研究者繼續努力的部分。

Poggio提出的模型也可以在這部分繼續提出修正了！在網路上也有他的演講，有興趣的可以在演講中接觸更多相關的基本知識。演講前半連結、後半連結。

最後，我自己對這種神經反應的假說如下：

(1) 神經反應可能在另外一個數學空間會有比較接近加總(sum)的階層模型。傅立葉轉換可以把神經反應轉換到頻率週期的數學空間，不過似乎這個可能性也不高。

(2) 除了神經活動率，其他數值譬如不同神經元的活動率的差 (difference)，或是活動時間相位差 (phase)，或是同步化的程度 (synchrony)，有可能提供另外一種比較符合階層模型的神經編碼方式。

(3) 簡單幾何形狀，如正方形、三角形、圓形等分割影像的方法，應該和motor指令比較相關，有可能是意識資訊後期接近motor command的地方才會有神經元的反應是針對有意義的幾何圖案。IT則是還很前期的資訊處理階段。

以上都只是假說猜想，僅供作實驗的假設的參考，並非已經確定的生物模型！

今天就和各位介紹到這邊。希望各位讀完這篇以後，可以知道視覺訊號從視網膜、LGN、到腦後杓的V1，接著分兩部分到MT和IT的這整個故事的來龍去脈。也希望各位可以了解目前Poggio提出的模型，以及其他實驗結果帶來的挑戰等等。

期待有更正確的生物模型提出，讓電腦的視覺功能更接近人類，提供更多影像服務給人類。希望這一篇不會太難了解，真的看不懂的話，也許我會再想一下怎樣子用更白話易懂的方式，把這方面的知識傳遞給大家！祝大家新年快樂！

相關連結

• 靈魂的紗窗：走訪人類的視網膜
• 視覺交響曲第二樂章: LGN
• 視覺交響曲第三樂章: V1
• 視覺皮質與孔徑問題
  

加入MMDays在facebook的粉絲團 隨時閱讀最新文章

下面的FLASH是由 Arthur Shapiro 所製作的視覺錯覺。原本固定形狀的花朵，加上邊緣的線條，就會開始規律地扭轉，好像在呼吸一樣呢！

FLASH1 呼吸的花

Arthur Shapiro會在他的blog每天製作一個視覺的錯覺 (Visual Illusion)。也許會納悶，怎麼人的視覺系統會產生錯覺呢？這樣子不就不大好？其實我們也可以說，因為人類視覺系統如此特別，所以可以輕鬆地辨識物體，尤其在切割兩個重疊的影像的時候，我們可以很輕鬆地把同一盤菜裡面的菜和湯分開來，如果要用電腦來處理，目前仍然無法很容易地進行。

其中部分原因，是因為我們的視覺系統是用對比的訊號 (contrast)，而不是像電腦的編碼，儲存的時候是用點陣圖的方式儲存，對比的資訊需要另外計算。電腦似乎就是用「絕對」的方式來處理視覺資訊，而人腦就是用一種「相對」的方式來處理視覺資訊，因此對電腦來說不容易的視覺工作，人腦是非常容易辦到，不過也因此會有副產品的產生，就是視覺上的錯覺了。之前曾經介紹的Ebbinghaus Illusion，就是可以說明我們使用相對資訊來處理視覺，因而產生錯覺的例子，您看！中間兩個圓圈是一樣大的，但是因為週遭圓圈大小不同，我們相對的視覺系統，就產生大小不同的錯覺了。

圖1 ebbinghaus illusion

除了「相對」的處理方式是人腦和電腦有所不同的地方，「平行計算」是另一個可以比較的地方。不過無論是電腦或是人腦，都會有平行計算，因此今天想探討的是另外一個問題，請各位先觀察一下下面這張圖片：

圖2 人腦XOR

這個圖片是由 Mark Changizi 所製作的，主要的想法是希望能夠利用人腦平行計算的能力，來解決一些邏輯上的運算。譬如說上面這張圖，是希望在圖的最上方可以放0或1，0的盒子會遠離觀賞者，1的盒子看起來會朝向觀賞者。接著觀賞著沿著這張設計好的圖，運用人腦的平行計算能力，看到圖片最下方的地方，如果感覺是朝向觀賞者，就說是1，如果最下面看起來是遠離觀賞者，就說是0。而這張圖的設計，可以讓觀賞者自然地從上面看到下面的時候，做了一個XOR (exclusive OR) 的運算。

不過我想探討的問題就是：平行計算應該是發生在運算初期的部分，無論是人腦還是電腦的平行計算。

先以計算機電腦為例子好了，平行計算可能是硬體本身有兩個以上的 CPU ，以及相對應的指令集和作業系統，以及程式語言函式庫支援平行計算的呼叫。然而整個平行計算的程式，表現出來的功能，則是一個完整的功能了，譬如說各種訂票系統，都有多執行緒的能力，如果裡面還能夠平行運算是更好了。不過如果要用一個完整的訂票系統，來模擬一個推薦文章系統，即使訂票系統是平行計算的系統，模擬出來的推薦文章系統就不會是平行計算的系統了。

人腦有很多神經細胞和神經連結，因此經過一些生物實驗之後，也發現至少視覺上，有平行處理的埠份，譬如說顏色相關的資訊，以及物體移動相關的視覺資訊，在視覺初期的處理上是兩條平行的路線，同時處理很多。視網膜上面的每一個光感受體，也是同一時間接受各個位置的訊號往後傳送。因此這部分來說，人腦是平行計算的。但是，當我們要辨認某個物體，或是分析影像輪廓，或是已經看出一個整體的影像的時候，這個階段我們已經不在是平行的，甚至我們無法一心兩用了！

圖3 女孩與老太婆的illusion

上面這張圖可以看成是一張美麗女孩的背影，或是老太婆的側面圖，只要把女孩的耳朵看成是眼睛就可以。

然而如果要同時注意這兩種輪廓，則是困難且不容易的，在這個階段，即使人腦是平行計算沒錯，但是功能上我們已經不是平行的了。因此剛才 Mark Changizi 所提出的，用圖片邏輯閘，應用人腦的平行計算能力，可以快速地執行邏輯運算，我的困惑點就是在這邊。因為這就如同用電腦來模擬人腦平行計算的部分，我們可能因為平行計算的能力，可以在1秒鐘之內辨識一張圖，但是同樣的運算架構，用電腦模擬，即使是多個 CPU ，可能要一天才會辨識出來了。同樣地，電腦可能一秒鐘可以執行一千多的邏輯運算，但是要用人腦運算後期，已經是完整影像的辨識功能，來模擬電腦的邏輯運算，或許不但不會快，反而慢很多倍！因此我認為，這種人腦的邏輯閘圖片，可能不像 CAPTCHA 那樣地具有運用人腦運算的價值了！

相關資料

• (Cognitive Daily) Fantastic new illusion blog by Arthur Shapiro
• http://www.illusionsciences.com/ (Arthur Shapiro每天會製作視覺錯覺放在上面)
• (Illusion Science) Lucy In the Sky (裡面有那朵呼吸的花)
• (MMDays) 認知與記憶 (提到Ebbinghaus illusion)
• (PHYSORG.com) Study suggests human visual system could make powerful computer
• Mark Changizi

加入MMDays在facebook的粉絲團 隨時閱讀最新文章

由匹茲堡大學 (University of Pittsburgh) 和卡內基美隆大學 (Carnegie Mellon University) 的研究團隊所做的研究，把電極插到猴子的頭腦裡面，接著用電腦分析讀取電極傳出來的大腦訊號，轉換成機械手臂移動的指令，猴子便能夠用「想」的，移動機械手臂來自行拿取食物來吃。讓我們先看一下 DEMO 的影片。

這個研究如果將來技術成熟之後，可以應用在一些癱瘓病人身上。他們大腦裡面負責運動的區域可能還是好的，但是運動的肢體像是手臂等等，可能已經無法使用，這個時候就可以用機械手臂來取代，並且透過電及和電腦分析，讓使用者可以用意念，來指揮機械手臂。

目前比較困難的是，研究人員發現插進大腦的電極 (electrode) 在幾個月之後就會無法使用，因此這部分還有待突破。然而大腦運動區域訊號的分析，則是已經有顯著進展，只要先有一小段訓練時間，電腦就可以慢慢了解猴子移動手臂往上、往下、往前、往後、往左、往右、開始、停等訊號。

此外，我個人的觀察是，首先，因為運動神經在腦幹 (brain stem) 的區域會左右交換，因此影片中猴子右手一邊在動，但是我猜他們放置電極的地方可能是左腦的運動區。其次，運動訊號主要就是從大腦的主要運動皮質 (primary motor cortex) 區域裡面，負責手臂運動的地方的訊號來分析。不過不知道如果加上小腦 (cerebellum) 的訊號，會不會讓效果更好？因為小腦主要就是對運動進行微調，負責無意識的運動調節學習 (adapt)。

大腦的運動區域對身體的分佈，可以參考大腦一日遊裡面的這一張圖的說明：

左邊是主要感覺區的分佈，右邊是主要運動區 (primary motor cortex) 的分佈，臉部無論是感覺或是運動，都佔了很大的比例，代表對臉部的感覺和運動很細膩，需要比較大的區域來處理或產生訊號。另外，皮質區 (cortex) 是有意識的資訊的處理，訊號離開大腦後，會延著腦幹，往脊隨 (spinal cord) 的方向傳遞，中間會經過小腦，也會隨著訊息的目的地在不同的地方左右互換，這部分滿複雜，可能要重新複習一下課本才會記得，有興趣的讀者在繼續深究這一部分吧！

下面是一張神經左右交叉的示意圖，不過是感覺神經的交叉示意圖。

最後，大腦的運動訊號，相較起來，是比較容易處理的。運動，或是手臂運動，就是各種方向和運動的開始或結束等訊號，因此是有限且少量的動作，另外因為這些訊號一定會從運動皮質發出，而且還按照人體比例分佈下來，波形我想應該也不會太複雜。如果和人工智慧想要研究的訊號比較起來，人工智慧要處理的訊號就比較複雜，甚至不知道要從哪一塊區域讀取訊號，譬如說各位現在回想一下今天午餐吃了什麼東西，這個訊號是儲存在大腦的哪個地方？這就不像運動皮質一樣，也不像人手造的電腦一般，有個細胞，專門儲存今天午餐吃的東西。又或者請各位回想，昨天午餐吃的東西，上個星期午餐吃的東西，上個月午餐吃的東西，去年午餐吃的東西，有些甚至忘記了。然而「記憶」這種複雜的訊號，似乎是分散在大腦各處，或者有可能集中在某一個區域，但是因為資訊千變萬化，午餐有各式各樣，而不是只有上下左右，因此這種人工智慧想要讀取和分析的訊號，和這個移動機械手臂的訊號，比較起來會是比較難的，但也是研究人員，可以繼續探險的另一塊地方！

參考資料

• (New York Times) Monkeys Think, Moving Artificial Arm as Own
• (Nature) Cortical control of a prosthetic arm for self-feeding
• (MMDays) 大腦一日遊

加入MMDays在facebook的粉絲團 隨時閱讀最新文章