恭喜新年好！今天要和各位介紹的，是有關我們天天都會使用的視覺。視覺是非常重要的，有視覺是非常幸福的一件事。在資訊科學裡面，如何讓電腦也可以看到圖片、看懂圖片，目前也仍舊是一個困難的問題，但也是可以有許多應用的問題。之前在MMDays上面的文章就曾經介紹過電腦視覺的相關應用，譬如說以圖找圖、超影像連結(hyper video link)、AdSense for video、CAPTCHA、以及無人車比賽等等。

有這麼多應用急待電腦視覺來解決，但是有些解答，或許可以從生物模型上面得到靈感。因此，這篇文章就把過去曾經介紹過的視覺路徑整理起來，從一開始的視網膜、到中繼站的LGN、到大腦皮質的第一站V1、以及之後兩條路徑裡面處理物體移動資訊的MT、和今天會新介紹的和辨識物體形狀有關的IT。最後，也會就目前未知的部分，提供一些假說作為參考。

光進入瞳孔之後，會先被視網膜上面的光感受體 (photo receptor)所吸收，之後驅動了一連串化學反應，變成了神經的電訊號，開始往後傳遞。上面這張示意圖裡面，我們也看到，視網膜其實可以詳細區分為更多層，可以作為第一階段視覺訊號的整合處理。

如果要詳細的介紹，可以參考：〈靈魂的紗窗：走訪人類的視網膜〉

視網膜的光刺激轉換成神經訊號之後，會延著視神經往後傳遞，左右眼睛的視神經分別會有部分先交叉，接著進入大腦下方的一個區域，就是丘腦 (thalamus) 的其中一小塊，英文縮寫為 LGN (lateral geniculate nucleus)。LGN相當於視覺訊號從視網膜到視覺皮質V1的一個中繼站。

在LGN主要是有一些注意力的功能，以及其他大腦區域的回饋訊號 (feedback) 一些調節功能。此外，視覺訊號到LGN為止，每個神經細胞有反應的影像，都是一個圓圈的形狀，中間和外圈有亮度對比 (內亮外暗、內暗外亮)，才會引起視網膜或是LGN細胞的反應。

在LGN也初步區分兩個路徑，課本通常會稱為 M Pathway和P Pathway，無論名稱如何，只要曉得這兩個路徑的訊號，分別是和「移動」的訊號以及「形狀色彩」的訊號有關。這兩種訊號在最後也會分別傳到不同的區域作處理。

LGN詳細的介紹可以參考〈視覺交響曲第二樂章: LGN〉。

接著，如前面那一張人腦的圖，視覺訊號從視網膜出發，經過LGN中繼站，接著到達大腦後腦杓的地方，也就是視覺皮質第一站，名字常常稱為V1。V1和LGN最大的不同在於，需要一條直線，而不是一個有對比亮度的內外圓圈，才能讓一個細胞有反應。

下面是一段實驗影片，裡面就有分別對圓圈形狀才會反應的LGN細胞，對直線才有反應的V1細胞等等。V1其實可以細分simple cell和complex cell，詳細介紹可以參考〈視覺交響曲第三樂章: V1〉。

此外，視覺皮質V1區域，在前面那一張圖有一個 ice cube model，是描述V1細胞有一個一個直列，每一個直列(column)就代表一群對某一個方向的直線會有反應的細胞。方向角度相似的細胞會在腦區上也接近。不過後來的研究結果發現，比較符合的模型應該是pinwheel model。

不同的顏色，代表不同的方向，譬如說紅色的區域，都是會對某一個方向的直線有反應，以此類推。

此外，因為V1會整合左右眼的資訊在一起，變成右大腦處理左視野，左大腦處理右視野，所以同一邊的大腦，左右兩眼的資訊會有不同的傳遞目標的分布，稱為 Ocular Dominance。

上面這張圖就代表，右腦的V1處理左視野的資訊，但是黑色腦區域是處理左眼來的左視野資訊，白色區域是處理右眼來的左視野資訊。

所以一路走來，從視網膜到LGN，從LGN到視覺皮質V1，訊號從圓圈對比，到直線對比。上圖的右手邊就是眼睛的方向，左手邊就是後腦杓的視覺皮質V1。經過這趟旅程之後，視覺從眼睛傳到了後腦杓。接下來又要往大腦前方傳遞。不過，這時候分為兩個路徑，和物體移動有關的訊息，會往上傳，到MT (Medial Temporal Lobe) 的區域。和物體形狀有關的訊息，會往下傳，到IT (Inferotemporal Lobe) 的區域。

視覺的訊號到這邊就算到一個段落。之後就提供給其他腦區做為輸入的訊號來源，譬如說提供給杏仁核 (amygdala) 作為情感反應的視覺訊息，提供給前額葉 (prefrontal lobe) 作為視覺分類 (categorization) 的訊息。

也因此，在MIT的一位教授 Tomaso Poggio 就提出了一個最開端的視覺模型，希望把這些在神經科學裡面，有關視覺的研究成果，轉化成資訊科學裡面可以使用的演算法 (Algorithm) ，讓電腦借鏡這個生物模型，幫助人類完成一些圖片影像分類的工作。

上面就是 Poggio 提出來的模型。然而有些問題，是這個模型可以在繼續修改的地方。首先在物體移動的資訊方面，視覺孔徑 (Aperture Problem) 問題，牽涉到了不同區域的資訊如何彼此連結成整體的資訊，也就是 Binding Problem。譬如說神經元A對往左移動的影像有反應，神經元B對往右移動的影像有反應，但是如果一張大影像整體往上移動，但是區域上來看分別是往左往右移動，這種問題要用什麼模型解釋呢？

像上面這張圖，某個神經元可能只看得到中間圓圈的範圍，但是整張圖的移動方向，有可能是往右、往下、或是右下的方向，怎樣子結合其他神經元的資訊，才能判斷出整體移動的方向，就是Binding Problem想要找的答案。

另外在IT也有新的問題。Poggio的最初模型，是一種階層式 (Hierarchical) 的模型。大腦處理資訊也是有階層沒有錯，但是大腦階層的資訊分法，和人類有意識的階層分法似乎不大相同，怎麼說呢？

 IT是大腦處理物體形狀資訊的區域。如果用比較工程的角度，會像Poggio的模型一樣，最底層是判斷點的神經元，在來就是V1對不同方向的直線有反應的神經元，在來可能就是簡單的正方形，最後就是對某一張臉或是形狀的圖片有反應的神經元。

然而一些研究成果，像是Keiji Tanaka對IT的實驗結果發現，IT的神經元，要特定形狀才會有反應，而不是簡單的幾何形狀像是圓形或正方形等等。

譬如說上面這一張圖，是IT裡面某一個神經細胞的反應。左上角那張圖反應最大，是一個大圓圈然後有一個小突起的圖片。反應是1.0。然而如果轉180度，反應就剩下0.01。小突起改成方形，反應也剩下0.01。如果小突起沒有，只有中間的大圓圈，反應居然是0！但是小突起改成細長突起，反應還有0.82。

這邊就可以看到，IT接收來自V1的訊號沒錯，但是中間的連結似乎和人類意識自我想像有所不同。IT對於形狀分解的方式，並不是直接在視野裡面左右切割的方式，也不是直接用人類切割有意義單位的方式來組合會反應的影像 (譬如說我們會想要把大圓圈和小圓圈分開來，然後會假設神經元是接受大圓圈有反應的神經元，以及接受小圓圈有反應的神經元，加總起來才產生反應)，有些細微改變就會讓反應消失，但是有些不大直覺的形狀改變，卻還有0.8的反應。

因此IT對於物體形狀的處理方式，目前仍然未明朗，因為不像V1那麼明顯，某一群神經元，就是對某個方向的直線有反應。IT的每一個神經元，只對某一種特別的形狀有反應，有的特徵很重要，有的特徵卻是可以拿走卻不影響。也因此這部分還有待研究者繼續努力的部分。

Poggio提出的模型也可以在這部分繼續提出修正了！在網路上也有他的演講，有興趣的可以在演講中接觸更多相關的基本知識。演講前半連結、後半連結。

最後，我自己對這種神經反應的假說如下：

(1) 神經反應可能在另外一個數學空間會有比較接近加總(sum)的階層模型。傅立葉轉換可以把神經反應轉換到頻率週期的數學空間，不過似乎這個可能性也不高。

(2) 除了神經活動率，其他數值譬如不同神經元的活動率的差 (difference)，或是活動時間相位差 (phase)，或是同步化的程度 (synchrony)，有可能提供另外一種比較符合階層模型的神經編碼方式。

(3) 簡單幾何形狀，如正方形、三角形、圓形等分割影像的方法，應該和motor指令比較相關，有可能是意識資訊後期接近motor command的地方才會有神經元的反應是針對有意義的幾何圖案。IT則是還很前期的資訊處理階段。

以上都只是假說猜想，僅供作實驗的假設的參考，並非已經確定的生物模型！

今天就和各位介紹到這邊。希望各位讀完這篇以後，可以知道視覺訊號從視網膜、LGN、到腦後杓的V1，接著分兩部分到MT和IT的這整個故事的來龍去脈。也希望各位可以了解目前Poggio提出的模型，以及其他實驗結果帶來的挑戰等等。

期待有更正確的生物模型提出，讓電腦的視覺功能更接近人類，提供更多影像服務給人類。希望這一篇不會太難了解，真的看不懂的話，也許我會再想一下怎樣子用更白話易懂的方式，把這方面的知識傳遞給大家！祝大家新年快樂！

相關連結

• 靈魂的紗窗：走訪人類的視網膜
• 視覺交響曲第二樂章: LGN
• 視覺交響曲第三樂章: V1
• 視覺皮質與孔徑問題
  

加入MMDays在facebook的粉絲團 隨時閱讀最新文章

各位經過理髮店的時候，或許都會注意到理髮店有一個捲軸，捲軸不停旋轉，但是看起來會像是有一圈圈的條紋往上移動。今天要和各位介紹的是另外一個類似的錯覺，叫做「孔徑問題」 (Aperture Problem)。

圖1 理髮店捲軸錯覺

何謂孔徑問題呢？我們可以先看看下面這個動畫：

圖2 孔徑問題 (Aperture Problem)

我們可以看到，中間有一個圓圈，我們透過這個圓圈，會看到有斜線，沿者「右下」的方向移動。然而如果要造成這種視覺效果，卻有三種可能。第一種可能是一個「橫向」的紙條，往「正右方」拉動，但是紙條上面有「斜線條紋」，因此透過孔徑來看的時候，會有錯覺。第二種可能是一個「直向」的紙條，往「正下方」移動，但是因為紙條上面有「斜線條紋」，因此透過孔徑來看的時候，還是感覺往右下方移動。第三種可能是一張紙條，上面有著「直線條紋」，但是往「右下方」移動，因此透過孔徑觀看的時候，會和前面兩個看到的移動方向一樣。

因此雖然三張紙條「移動方向」不同，甚至紙條上面「條紋的方向」也不盡相同，但是透過孔徑來觀察的時候，卻都會有條紋移動方向相同的錯覺。這就是「區域 (local)」 和「 全域 (global)」 視覺處理的差別。我們的視覺系統區域上 (locally) 可以有孔徑問題的錯覺，但是當我們觀察的範圍是全域 (globally)的時候，卻又分析的出來三張紙條不同的移動方向。我們的視覺系統怎樣子達成這樣子的功能呢？

視覺訊號傳遞路徑的回顧

首先，讓我們先複習一下，之前提過的視覺系統部份。〈靈魂的紗窗：走訪人類的視網膜〉介紹了視網膜，〈視覺交響曲第二樂章: LGN〉介紹了視覺訊號傳遞的中繼站：LGN，〈視覺交響曲第三樂章: V1〉則是介紹了視覺皮質的第一站：V1。下面簡單的再重新整理一下相關的重點。

圖3 視網膜

視網膜位在眼球的底部，其功能有如相機裡面的底片一般，接受經過瞳孔進來的光線，把光能轉換成細胞裡面的化學能，再轉換成神經的訊號。視網膜如果細分可以分為10層，從接受光刺激的感光細胞開始，中間有一些細胞來整合區域的資訊，最後透過最後的神經節細胞 (ganglion cell) 在眼球盲點的位置 (blind spot) 形成視神經束 (optic nerve) 穿透眼球，往大腦走去。

圖4 視覺神經路徑圖

視覺神經離開眼球之後，會分成幾條路徑，有些訊息會傳送到腦幹 (brain stem)，提供眨眼、眼球肌肉、瞳孔收縮等反射動作的資訊。其他主要視覺上的資訊，則是往大腦最後方，也就是我們頭腦後面的腦室 – 枕葉 (occipital lobe) 的視覺皮質區傳送。上面這張圖就是從眼球到大腦皮質中間的神經連接圖。兩種顏色分別代表視覺裡面的視野 (visual field)。視神經離開眼球後，會在大腦前端有一次交叉，這一次交叉，會讓左眼的右視野資訊，和右眼的右視野資訊，通通傳送到左大腦去！同哩，左眼的左視野，和右眼的右視野，交叉之後，通通都會傳送到右大腦去。從此之後，右視野的資訊就先到左大腦，左視野的資訊就先到右大腦，再更後面的時候，才會經由其他路徑左右腦互通資訊。

交叉之後，接著會先有一個中繼站，英文縮寫為LGN，全名為Lateral Geniculate Nucleus，是一個位在丘腦 (thalamus) 下方外側的一個核區，主要是把視野再做一次分區投射，譬如說上下視野會投射到不同區域。此外也會對不同的視覺訊號做不同的投射，譬如說視網膜可以概分為兩種感光細胞，一種比較模糊適合夜間感光，另一種比較清晰適合日間感光，同時也包含了色彩的資訊。這兩種訊號在LGN就會分別投射到不同的區域，連帶影響之後在視覺皮質的投射。

經過LGN投射整理之後，最後就會走到大腦最後面的視覺皮質區V1。視覺皮質，英文稱為Visual Cortex。所謂皮質就是大腦表層的區域，和很多有意識的資訊處理有關係，譬如說視覺、聽覺、嗅覺，運動、語言、決策等功能，都各有皮質 (cortex) 區域來負責處理相關的訊息，形成一個複雜的神經網路。視覺皮質區V1則是視覺訊號最早到達的皮質區，因此稱為V1。

V1的特性是處理初步的視覺特徵，譬如說視網膜上面的感光細胞，只對視野裡面的一個圓點的亮光和色彩有反應。V1接收LGN整理的資訊後，會分析出進一步的初級資訊，主要是「線條」的初級資訊。譬如說某一群V1細胞，會對85度的直線有反應，另一群細胞對水平的直線條有反應等等。這些初級資訊，已經把視網膜傳過來的「點」的資訊，變成「線」的資訊了。之後會繼續傳往V2和其他區域，得到更高階的資訊，讓我們可以辨識出一張桌子、一張人臉，作出有意識的認知與判斷，進而作出有意識的反應和行為。

孔徑問題的和神經訊號處理

經過上面的回顧，我們可以稍微回想起來，光訊號從視網膜，到LGN，到視覺皮質V1的大致過程。然而到V1的時候，因為還是基本的線條資訊，因此在孔徑問題中，我們透過孔徑看到的移動方向，就是一個V1細胞典型的反應，這個反應是區域的反應 (local)，要等到訊號傳遞到更高層的皮質區，才能看到全域的移動方向，判斷紙條真正移動的方向。

圖5 Aperture Problem孔徑問題解決方法

因此，孔徑問題後來提出的解決方法，就是有一顆神經元，負責接收兩個以上區域(local)的孔徑資訊，就可以判斷出全域(global)的移動方向了！譬如說在初級的V1區域，某一群細胞對往右上角移動的45度反斜線有反應，另一群細胞對往右下角移動的45度斜線有反應，(斜線是指右上到左下的斜線，反斜線是指左上到右下的斜線)。這兩群細胞，就有如孔徑問題裡面的圓圈一樣，只能觀察到區域的移動情形。然而比較高層的細胞，可能接受這兩個孔徑的細胞，並且作整合，當這兩個細胞都反應的時候，就會判斷這兩個移動方向的向量和方向，作為全域的移動方向，產生反應的時候，也就是我們產生整個物體全域(global)移動方向的感覺的時候。

以上面的這張圖左手邊的例子來說，高層細胞分別接受「右上移動」和「右下移動」兩個孔徑細胞的區域反應(local)，產生整個物體往「正右方移動」的全域反應(global)。

不過這種神奇的高層細胞位在哪邊呢？這部分就要等下回再詳細介紹了！今天先簡單提一下大概。首先，視覺訊號到了V1之後，會繼續往V2視覺皮質走，其中會有一些回饋(feedback)訊號作更複雜的處理。V2之後會分成兩個主要的傳遞路徑：背部路徑和腹部路徑(dorsal and ventral pathway)。

圖6 視覺訊號傳遞路徑 (dorsal and ventral visual pathway)

上面這張圖右手邊是大腦前面額頭的方向，左手邊是大腦後面的方向。視覺皮質V1就位於大腦後方，也就是圖片裡面左手邊的部分。訊號到了V1之後，就往兩個方向，一上一下，往上的稱為「背部路徑」 (dorsal pathway)，這條路徑和「物體移動」相關的資訊有關 (motion)，往下的稱為「腹部路徑」 (ventral pathway)，和物體的「形狀」 (form)和「顏色」(color)的處理有關。因此剛才孔徑問題裡面的高層細胞，雖然是全域(global)的資訊，但是是和物體移動相關，因此會在背部路徑(dorsal pathway)上面。

背部路徑(dorsal pathway)的終點稱作MT，是Middle Temporal lobe的縮寫。腹部路徑(ventral pathway)的終點IT，是Inferior Temporal lobe的縮寫。就如剛才所說，MT處理移動(motion)相關資訊，IT處理形狀(form)相關資訊。當然這兩者彼此之間也會有互相的聯繫(crosstalk)。關於後面這幾站視覺處理的詳細介紹，就讓我們下一篇再繼續介紹吧！

圖7 孔徑問題 (Aperture Problem)

延伸閱讀

• 靈魂的紗窗：走訪人類的視網膜
• 視覺交響曲第二樂章: LGN
• 視覺交響曲第三樂章: V1

加入MMDays在facebook的粉絲團 隨時閱讀最新文章