[MMDays 專欄] 走進圖片的世界

Posted by Mr. Monday

(圖片來源: 聆聽雨中的旋律)

一張圖片訴說著千言萬語。古人說: 「一張圖勝過千言萬語」。每張圖片似乎都有著一長串的故事等著被訴說。而如何說這個故事呢? 這就牽扯到了故事訴說的手法,也就是呈現方式。

通常來說最簡單的呈現方式就是靜態呈現,也就是圖片長成什麼樣子我就表現什麼樣子,這樣子很像書桌前面的像框。靜態呈現有它美妙的地方,一張圖在細細長久觀看下,總有發現的樂趣,還有通常在觀看單一張圖片時,你不會希望這張圖片動來動去的。

(Ken Burns; 圖片來源: wikpedia)

說到動來動去,這就是另外一種圖片的表現手法。我們有時候在看圖片影片的播放時,會看到鏡頭緩慢的從左邊晃到右邊,或是從上邊晃到下邊。在產品的名稱上面,我們稱之為 Motion Slideshow。而這個最古老的表現方式來自於一位叫做 Ken Burns 的紀錄片作家,因此這種表現的手法也稱之為 Ken Burns Effect

(ROI 示意圖)

而這種鏡頭移動的方式通常是繞著圖片中的 ROI 來作移動。所謂的 ROI 就是 Region of Interest,白話的說,就是一張圖片中大家所感興趣的地方。一張圖片中 ROI 的地方或許是人臉,或許是色差比較大的地方,或許是圖片中央的地方,或許是焦距的地方。而利用這些規則電腦或許就有可能自動找到 ROI。

(Motion Slidehow 範例)

因此,如果有自動找到 ROI 的方式之後,在套用 Ken Burns Effect 之後,就可以作出一個可以自動幫使用者產生良好鏡頭移動的 Slideshow 影片了。然而有了鏡頭移動,有了 ROI,似乎在表現的手法上面還略有不足,好像還少了什麼? 是的,少了音樂! 有了音樂的 Slideshow,比沒有音樂的 Slideshow 來說生動了不少。而搭配良好的音樂不僅僅是加分,而是完全表達了圖片的意境。

(圖片來源: 東京都)

除了 ROI 配上移動之外,不同表現的形式也會產生不一樣的感覺。上圖是從一個很有名的作品東京都 Slideshow 中所擷取出來的畫面。這是以三個人在去東京的旅程中所拍攝的 2700 張照片中所整理出來而成。其表現的手法是利用一格一格的切割畫面來表現照片,而其中最大的特色的地方在於,同一個主體的照片會出現在同一個畫面之中,以及照片在轉換到下一個照片的瞬間是跟後面的音樂的節拍所結合的。如果滿分是 100 分的話,那這個簡直是 200 分的作品。然而這要達成這樣子的展示的效果,作者是用手一個一個對準音軌拉出來的,圖片的擺放位置也是自己精心排列的,因此不難想見工程之浩大。

(圖片來源: Tiling Slidehsow 論文)

所謂的進步的電腦科技就是要幫助大家簡單的達到我們想要的效果。而要達到如東京都的效果,其實在電腦科技進步的現代是有機會達成的。我們之前已經說過了,我們有找 ROI 的方式,那麼現在只差將照片自動群組以及找出音樂節拍的演算法。這個方面由台大多媒體實驗室的陳駿丞、朱威達、郭晉豪、翁仲毅在吳家麟教授的指導之下於 2006 年研發成功。而這一篇論文也發表於在這個領域中頂尖的論壇 ACM Multimedia 中,不用我說,如此重大的技術突破當然是獲得了當年的 Best Paper Award。對於欲瞭解其中實作方法的人可以參考此篇論文,在網站當中有精采的 DEMO 以及投影片,雖然我很想讓大家看看他們的 Demo但是當我遇查訪他們的 Project 網頁時,發現網頁已經失效了。不過,台大多媒體實驗室跟訊連科技一直有著技術合作的關係,因此可以預期在不久的未來應該可以看到這個功能在相關產品中出現。

(FlipTrack效果範例)

談到跟切換照片跟音樂節拍結合這點,其實也已經有相關的服務了,正所謂太陽底下沒什麼新鮮的事。這邊介紹一個服務叫做 FlipTrack,FlipTrack 是去年三月上線的 Slideshow 服務。使用者可以將照片上傳,然後挑一首歌之後,Slideshow 播放的效果就會隨著歌曲的節拍來切換。由於音樂有版權問題,以及分析節拍不易,因此使用者 “不能” 上傳自己的音樂,只能用他們所提供的音樂。筆者猜測,他們節拍的分析多少應該都有用手動調校,而並非全自動。效果非常的好,所製作出來的 Slideshow 也可以插入到自己的部落格當中,這個網站有支援中文,有興趣的人可以去看一下。

(Tour Into the Picture 示意圖)

除了,以上的表現照片的手法之外,還有別的嗎? 當然有! 其中比較知名的就是 Tour Into the Picture,中文來說的話就是畫中遊。這項技術概念是由日本人 Horry 於 1997 年提出,主要概念是將一張圖 3D 化。而作法就是利用作者所謂的 Spidery-mesh 來重建 3D 空間。而所謂的 Spidery-mesh 就是利用圖片中的消失點或是消失線來達成。說到了消失點或是消失線,這就牽扯到了人的視覺,當我們看著兩條平行的線時,它們似乎會在遠方交錯在一點,這就是消失點。所謂的消失線,嗯,當你跟你女朋友或是男朋友去漁人碼頭看著太陽往地平線線面鑽時,你所看到的海面就是消失線。因此,找到了消失點之後,就可以建立 Spider-mesh,然後還原了 3D 空間之後,使用者就可以藉由軟體 “悠遊” 在畫作或是圖片 “裡面”。這篇論文收錄於圖學最高論壇 SIGGAPH 1997 當中。非常有趣的應用,有興趣的人可以在這邊下載香港人的作品

說到讓一張平面的圖片變成 3D 的空間,這還不夠炫麗,更炫的是讓圖片中的物件可以栩栩如生地移動。這方面的研究在莊永裕教授的手中達成了,莊永裕教授結合物理上面的算式,像是花該怎麼搖動之類的知識跟圖學知識相結合而產生了 圖片動畫 (Animating Picture)

(解說圖出自 Animating Picture 論文)

而實作 Animating Picture 之前必須要先將圖片中各個關鍵物件先切出來,因此不能說是完全自動。但是一但將物件切出來之後,就可以利用軟體來調整參數讓圖片中的物件移動,如上圖莫內的這幅圖 The Bridge at Argenteuil,在參數調整之後,愛讓船多晃,就可以讓船多晃,水波紋亦然。這個論文同樣也於 2005 年發表於圖學最高論壇 SIGGRAPH 中。有興趣的讀者可以在這個網頁中觀看它們的 demo video。(不知道為什麼不上傳到 YouTube…)

 

同樣在 2005 年 SIGGRAPH 上面發表的還有另外一個作品叫做 Automatic Photo Pop-up,這篇論文 Demo 了如何將一張 2D 的圖片自動長成 3D 的圖片,而在這個 3D 的場景中,鏡頭還可以任意悠遊。後來他們還利用了這項技術成立一家公司叫做fotowoosh。我只能說,美國人真的很有創業精神。雖然Mr. Monday 在這邊介紹了許多如何表現一張照片的手法,也介紹了許多較為尖端的圖學技術應用,但是大家可別認為達到這樣子的效果是一蹴可幾的。光是背後所要用的基礎理論包括如何找尋一張圖片當中最好的 ROI 等問題,目前在學術界都還是個難解的問題,因此更別說要廣泛的家他們實作到一般應用軟體之中。但是也正因為硬體技術的進步,促成了圖學在這幾年的蓬勃發展,試想以過去的硬體要做 3D 運算的話,一個畫面可能好幾天都出不來。但在硬體的進步之下,這些創意總算在這些年間可以逐漸實現了,而這些只是這個創意冰山的一角。讓我們期待更有趣的表現手法吧!

喜歡這篇文章嗎? 分享出去給作者一點鼓勵吧!