日本 UI 之神 – Takeo Igarashi – 研究的進行曲

Posted By Mr. Monday (最新 UI 訊息同步 update 在 UIUI)

在我有閒暇的時間,我除了喜歡瀏覽一些設計作品,或是創新的互動科技之外,我另外一項嗜好就是瀏覽大師們的著作列表,透過著作列表的時間序,我彷彿也親眼看見了一個大師的成長歷程。台灣對於 HCI 或是 UI 方面的研究資訊相對較少, 因此, 我也希望能夠利用閒暇的時間來幫大家做個介紹。不過要介紹誰, 總是一個 trade-off. 在 UI 眾神系列當中,之前已經為大家介紹過德國 UI 之神 Patrick Baudisch 以及日本 UI 之神 Takeo Igarashi,當我再次提筆之時, 我腦子裡閃過了數個大師,包括美國多點觸控之神 Andy Wilson日本 AR 先驅 Jun Rekimoto新加坡身體介面之神 Desney Tan…等 (或許讀者們可以期待^_^) 。這些人的確都很特別,不過,再特別,也沒有腦中突然閃過的 Takeo 特別。相隔了四年半的介紹,Takeo 的成長可以用驚異來形容,因此,我決定再度為文介紹 Takeo, 一個大師的研究進行曲 🙂


(圖片來源: Igarashi網站)

我四年前為文介紹 Takeo 時,Takeo 當時只是個副教授,然而我不知道,當年我下筆的同時,正也是 Takeo 人生的轉捩點。 同年 12 月,JST ERATO Igarashi Design Interface Project 成立,Takeo在日本國科會(JST)的資助之下正式成立了所屬的國家級 UI Lab,在洋洋灑灑的名單當中,由一個副教授來做總 Director 領導以及組織一群教授以及研究員,這件事情可以說是破格,在日本這樣子的體系當中,可以說是破格中的破格。Takeo 用著優異的實力技壓群雄,讓眾研究員都對他刮目相看。日本的學術體系的話通常助理教授是不能授課的,而副教授是通常會跟著一個教授的實驗室,而沒有自己的實驗室。這樣子看來,大家就明白這件事情有多麼破格了。而在今年中,一個好消息捎來了,Takeo 正式升為了東大的正教授。從 2000 年拿到 PhD 學位,到正教授,走過了說長不長、說短不短的 11 年,Takeo 再度用自己的實力打破了日本傳統的學術界的倫理制度,以著不到 40 歲的年紀再度破格拔擢為正教授。這或許也意味著,日本正在尋找著像是 Takeo 這般代表新世代的年輕人,來為日本停滯不前的僵局創造出一番新的氣象,或許日本還沒有我們想像得這般僵死,而像 Takeo 這般優秀有熱情的年輕人或許可以重然日本的引擎。

從事 GUI 研究的 Takeo,很早(1999)就開始踏入 HCI (Human Computer Interaction) 的研究領域,不過大多還是著重在傳統的 GUI 設計上面。然而創辦了 JST ERATO 之後,Takeo 決定要再度擴大他的研究領域,用 GUI 的力量來改善傳統的機器人互動界面。因此在研究上面,Takeo 不再著重於軟體的研究,同時也開始機器人介面的硬體研究,有著國科會的經費的靠山之後,Takeo 開始大刀闊斧地實踐他的夢想,不僅僅是在國內招募了優秀的年輕研究員,像是知名的 AR (Augmented Reality) 達人 Sunao Hashimoto 和機器人專家 Daisuke Sakamoto 外,也開始在全世界募集一流的 UI 軟硬體研究人才。整個 Lab 充滿了天才的 Engineer,可以在一個禮拜前打完嘴砲後,第二個禮拜就把 workable prototype 做出來的 Geek 大軍。偌大的 Lab 空間內,堆滿了各式各樣的機器人,其中有一半是自己 Lab 所改造或是從無到有所建出來的。各種昂貴的 UI 器材更是應有盡有,要 Motion Capture ,有! 要 3D 出模機器,有! 有新的機器人出來了,買! 下個禮拜送到! 如此高效率的執行團隊,讓 Takeo 的研究又更上了一層樓。熱情的年輕大師,引領著熱情的年輕人,這個 Lab 像是一發衝天的火箭一般,你看不到它的盡頭,因為它還沒完全加速!

(Teddy System Demo)

就在此時,我又重新地認識了 Takeo,一個冷酷,但是對於研究如此熱情而執著的大師。自從 Teddy 系統一戰成名之後 (瞧,連 JST ERATO 都是小熊為 LOGO,可見 Takeo 有多麼愛他這個 project),Takeo 並沒有就此就把編譯器從他的電腦給移除了,相反的,Takeo 秉持著天天 programming 有益身心健康的態度,每年還是日復一日地 programming 自己所感興趣的 project,如果要用 GPU 加速,他就買 GPU 的書來看;如果要用到物理模擬,他就買 JAVA 物理模擬的書來看 (Takeo 只用 Java, 他自己維持了一堆 Java 的代源碼);你跟他合作,他還會問你需要他 programming 哪一塊。大家可以轉身看一下您四周的教授,還有多少人的電腦裡面還灌有著編譯器 (哪一種都好) ? 如此的熱情,渲染著整個 Lab,大家皆以身為 geek 為榮。

(Takeo 於 JST ERATO, 其所做的 Chair 亦是研究產出結果之一; 圖片來源 Flickr)

雖然 Takeo 身為日本人,PhD 也是從東京大學取得,可說是土生土長的日本博士,但是在 Takeo 的 Lab 內卻沒有著一絲絲的日本嚴謹氣息 (或許有一點啦)。一般的 Lab 的學生有著嚴格的上班時間,在 Takeo 的 Lab 內,卻是什麼時間想來就來,什麼時間想走就走,天才管理天才是不需要硬性規定的,Takeo 深知這一點。除此之外,Takeo 也知道自己的行為將會成為大家的模範 (在日本,主管尤其會被大家所關注),因此,Takeo 在 Lab 待的時間,沒有意外的話,絕對不會超過七點,就連投 paper 的 deadline 當天,他都提早回家了。Takeo 不喜歡 social,因此你也不用跟他套人際關係,更沒有什麼下班後喝酒的文化,他唯一關心的就是你的研究議題跟你的研究進度。效率,是 Takeo 所在意的,如果你表現得太蠢的話,他可是會皺眉頭的!

(JST ERATO Project list)

在創立了 JST ERATO 之後,Takeo 開始積極的將 GUI 的介面跟知識導入到家庭機器人的互動模式之上。並且在 AR 達人 Sunao 的幫助之下,建立起了獨一無二的機器人 AR 識別系統。藉由著 AR 標籤的辨認來操作指揮 Robot,因此,一個嶄新的研究系列誕生了。

(Magic Cards System Demo)

2009 Magic Cards

在 2009 年,Takeo 首度在 CHI 這個 HCI 頂尖的國際會議上面發表的有關機器人互動的界面研究。在這篇研究裡面,Takeo 用著跟傳統不一樣的思考角度,來思考機器人的互動。在傳統當中,機器人的操作是需要當場下指令,並且直接操作機器人。Takeo 在這篇研究裡提出了另外一種模式,使用者只需要把下達的指令卡放在需要處理的地方,機器人在接到指令卡之後,辨識上面的指令,就接著完成所指示的任務。這將大大減少人直接 monitor 機器人的 effort。當然,這篇研究也牽扯到了如何設計這種卡片系統,亦可以說是融合了設計跟科技的研究。有興趣的人可以直接參考其計畫網頁

sketch

(Sketch and Run 示意圖; 圖片來源: Sketch and Run)

2009 Sketch and Run

有了 Sunao 所建置的 AR Marker 系統之後,Takeo 開始把所有 GUI 的可能都拿下來試試看了。在傳統的 GUI 上面,我們會有很多的 Sketch 手勢,因此 Takeo 就想,為什不能也利用 Sketch 來直接對 Robot 下命令呢? 直接 sketch robot 所要移動的路徑不是更加直覺嗎? 因此這樣子的互動界面就誕生了,並且也同時發表在當年的 CHI conference 上面 (demo video 在其網站上,有興趣者可前往觀看)。

(Stroke Gestures from Laser Pointer System Demo)

2009 Laser Control

延續著 Sketch User Interface 的想法,Takeo 想著,如果可以在電腦內用 gesture 來操控 robot 的話,為什麼不能在真實世界裡面畫 gesture 來操作 robot 呢? 因此,利用 laser point 來操作 robot 的 idea 就此誕生。這個研究並且在當年的 SIGGRAPH Asia 的 E-Tech 做當場 Demo。

(Andy Toolkit Demo)

2009 Andy

瞭解到了 AR Marker 系統如此的好用,如此地有幫助,Takeo 馬上將這個系統模組化,並且做成了 Toolkit,這個 Toolkit 不僅僅用在 Takeo 自己的課堂教學之上,他同時也將這個 Toolkit 於 UIST 2009 之上分享給所有的研究學者。(UIST 為 HCI 裡面做技術這個 spectrum 的人的聖杯之一)。

(Cooky System Demo)

2010 Cooky

延續著 2009 年 Magic Cards 的想法跟理念,Takeo 這次把 Card system 從家庭打掃延伸到了煮菜這件事情上面了。藉著卡片系統來指揮小小的 robot 就像指揮著一個個小廚師一般。神奇的卡片系統再一次在烹調領域上面發揮了作用。這個前端的研究也被收入在 CHI 2010 當中。

DragAndDrop

(Drag and Drop 互動示意圖)

2010 Drag-and-Drop

當 Takeo 挾著在圖學方面的知識在 CHI 領域初試啼聲之後,Takeo 決定正式用圖學的知識跨足到 Robot 的領域。這邊的正式是指,他開始將 research 投稿到 robot 的知名 conference 如 HRI、ROMAN 以及 ICRA。這篇投稿於 ROMAN 2010 作品,延伸著直接 sketch 操作 robot 的想法,不過這一篇更不一樣的是,直接讓使用者拖動螢幕上面的物件,而螢幕上的物件的最後的移動狀態就可以顯示在螢幕之上,而相對應的 robot 就會來處理這個物件移動的事情。這個處理物件最後位移的狀態牽扯到了圖學的 GrabCut 演算法,這也是 Takeo 將圖學演算法順利地帶入機器人互動領域的代表作。相關 Demo video 見其網站。

dipole

(Dipole 演算法示意圖)

2010 Dipole

瞭解到了在系列研究之中,機器人最常處理的就是移動物體,因此 Takeo 決定親自下來改善機器人移動物體的演算法。Takeo 結合磁極的概念,發明並且親自測試了自己所研發出來的物體移動演算法 (親自 code),此後這個演算法幫助了 Lab 所要要移動物體的研究一個大忙,因為從此以後,大家只要 call 一個 API 就好了。這篇研究也同時發表在 ICRA 2010 之上。

(Homotopic Path Planning 演算法示意圖)

2010 Homotopic Path Planning

Takeo 由於親自參與第一線的研究,因此對於機器人操作所發生的問題倍感深刻。除了發現機器人處理物體移動的問題之外,Takeo 也發現了機器人目前也都帶有著延長線的尾巴。而這個延長線的尾巴可能會讓機器人在空間中移走產生問題。瞭解到了這問題之後,Takeo 開始思考著新的演算法來解決這個問題,並且第一次踏足了演算法證明的領域。在 Takeo 講解著這個 project 時,可以看出他的興奮之情,這代表著,他自己又將自己的知識跟技能向前拓寬了一大步。此篇研究發表在 WAFR 2010 之上,這個是專門出演算法的 conference。Demo video 跟程式都可以在其 project 頁面下載。

(Snappy System Demo)

2010 Snappy

除了在演算法上有所斬獲之外,Takeo 也繼續致力地引入更直覺以及方便的方式來讓 Robot 移動物體。因此,Snappy 這個 project 就誕生了。使用者只需要將最後的完成狀態照一張相,之後想要再回復到這個狀態,就只要再秀出照片即可。此篇延就收入在 HRI 之後,也是 Takeo 第一篇攻入 HRI 的 paper。

robotjacky

(RoboJacky 系統示意圖)

2010 RoboJacky

如果循著歷程的話,不難發現,Takeo 的 robot design 都是處理一些重複的事情。Takeo 也發現了這個事情,他也發現了,Robot 似乎很適合處理 repeat 的工作,那這個樣的話,何不就重新設計 timeline,讓 timeline 可以重現 repeat 的動作。一但這個可以不斷 repeat 的 timeline 被發明之後,他們發現,這樣子正好適用於有節奏的跳舞,於是 RoboJacky 這個 project 就是在這樣子的思維下誕生。這篇 Paper 後來被 ACE 2010 (一個 game 的 top conference) 所接受,並獲得了Best Paper Silver Award。其 Demo video 可見其計畫網站。

Roboshop

(RoboShop 系統示意)

2011 RoboShop

時序進入到了 2011,Takeo 連續三年在 Robot 的領域在 CHI 這個 HCI 的最高論壇上面有所斬獲。延續著 MagicCards 在家庭打掃的概念之上,Takeo 構思著,如何讓使用者能夠利用系統來規劃這些重複性很高的系統,並且方便儲存這些已經事先安排好或是安排過的事物。因此,這個類似 PhotoShop 的圖層概念的 robot 互動就誕生了,並且被 CHI 2011 所接受。目前 Project 網站上無 demo video,有興趣的人可前往 ACM 網站上觀看。

(Actuated Physical Puppet 系統示意)

2011 Actuated Physical Puppet

融合著圖學的概念,Takeo 真是將圖學的概念在 robot 互動上面發揮地淋漓盡致。對於人形 robot 的操作,Takeo 瞭解到了,人的關節會有一些互動模式,像是你彎腰的時候,腳也會跟著微曲等。這些人的互動模式都可以透過 motion capture 這個裝置來事先截取,而 motion capture 這樣子的 device 之前是用在電腦動畫之上,來幫助 3D 動畫師來作人物的 animation。現在這個裝置也可以來幫助人形機器人的互動了。此篇研究亦發表在 CHI 2011,這是 Takeo 第一次有兩篇 CHI 的 full paper 關於 robot interaction 發表在 CHI,對於 Takeo 來說也是一個新的突破。Demo video 可見其 project 網站

(TouchMe 系統示意)

2011 TouchMe

持續地將圖學的知識灌入 robot interaction 的領域,Takeo 持續地這麼做著。關於如何直覺得操作 robot,Takeo 在度把虛擬 model 的操作跟實際的 robot 合在一起。使用者可以操作著虛擬 model,並且看到虛擬 model 的最後模擬的動作,然後在操作的同時就可以獲得立即的視覺回饋。這樣子的計畫,正在持續地進行著。

(smoon System Demo)

2011 smoon

Takeo 不僅僅是個 engineer,Takeo 其時也非常喜歡設計跟 digital art,如果你觀看 Takeo 的 publication 的 list 的話,你會看到一些很有趣、很無厘頭的 work,如 Another shadow,這個利用 shadow 的暫留時間來創造出有趣的互動,後來被收錄在 SIGGRAPH Asia Art Gallery 2009 當中。如果你去日本一些互動藝術展覽的地方買書的話,你多少也會看到關於 Takeo 的作品的章節的書本。在 JST ERATO 裡面,Takeo 不僅僅只是招收了engineer researcher,Takeo 也招收了有著 design 趨向的 researcher,因此也才會有 Sketch Chair 這樣子的 project,大家也才會看到 Takeo 親自作在他們親自設計出來的 chair 上面的照片(上圖 flickr)。smoon 就是利用機器人的科技來完成的 design project,雖然只是一個小小的 design 發明,讓機器人可以自動衡量要加入的粉末成分多寡,但是這或許是在告知大家,或許 Takeo 的下一步,就是要正式跨入設計領域了!

研究的進行曲

Takeo 一個新世代的研究巨星,引領著新一代日本年輕人一次又一次的創新。一次又一次地自我突破之後,一次又一次地打破日本倫理常規,不斷地破格、不斷地超越,Takeo 本身作為一個向上的指標來說,不僅僅對日本的年輕人最了良好的示範跟激勵之外,對全世界的研究學者來說,也是一個景仰的模範: 專注於研究的最前線。然而,不論 Takeo 是否自己有意識到這一點,Takeo 本身依然故我地沉浸在他的研究樂趣裡面,你如果到他 Lab 參訪的話,或許你有機會看到他斜躺在沙發上面看 paper 的輕鬆樣;或者是,你會看到他更隨性的一面,將數個椅子拉起來拼成一張 “床”,斜靠在 “床” 跟牆壁的交界處,思考著 paper 上面的問題。

對於 Takeo 來說,或許獲得更多的資源,是用來實踐他夢想的手段。當大家喝采著 Takeo 的教授升等時,Takeo 只是淡淡回應: “thanks, but this also means more management meetings and less research time… (或許這意味著更多的管理的會議以及更少的研究時間)”。這多少表現出了 Takeo 的無奈,而且是出自於對於研究熱愛所散發出來的無奈。不過,或許 Takeo 自己也瞭解到這一點,唯有他要自己不斷地向前走,他的夢想,以及他所引領的新一代的年輕人的夢想才能有一個出口。用了 11 年的光陰,從助理教授到正教授;從圖學領域橫跨 HCI 領域,又再橫跨到 Robot 領域,或許現在只是在 Takeo 夢想的半路之上。這個火箭還沒完全加速,而此時此刻,又再度到了 Takeo 人生的轉捩點,研究的進行曲還在持續著,或許我們可以再度期待下一個四年 🙂

(如果你想要跟我討論 UI,或是閱讀及時 UI 資訊,你可以訪問 facebook 的 UIUI)

喜歡這篇文章嗎? 分享出去給作者一點鼓勵吧!