願景驅動的造山者 — 專訪實體媒體之父石井裕教授

台灣設計研究院
18 min readNov 23, 2023

--

Vision-Driven Mountain Builder — An Exclusive Interview with Professor Hiroshi Ishii, the Father of Tangible Media

圖:石井裕在2016年林茲電子藝術節《激進原子(Radical Atoms)》特展。(Photo by MIT Media Lab Tangible Media Group)

「位元」是電腦儲存數據的單位,是一個計算專用的數學名詞。然而,MIT媒體實驗室的石井裕教授卻提出了「實體位元」這個顛覆性的名詞,將無形概念有形化、獨樹一幟的理論,對於全球科技介面設計帶來了極大影響。2019年他獲得2019 美國電腦協會人機互動學會(註 1)(ACM SIGCHI)終身研究成就獎,2020年成為美國電腦協會院士。對於台灣的人機互動領域的設計師和研究者而言,是一位耳熟能詳的大師。

石井裕教授是一位電腦科學家,他創立了MIT媒體實驗室的實體媒體小組,是人機互動領域的大師,並受到科學、藝術、科技、設計等不同專業領域的讚賞。台灣設計研究院特別訪問他的研究歷程和理念,一窺他願景驅動的研究與創作哲學。

顛覆主流的實體位元和激進原子

石井在1997年正式在CHI年會(註 2)上發表「實體位元 (Tangible Bits)」這個觀念,表示可以將數位資訊實體化,將數位資訊寫入日常物件或建築表面之中,讓使用者能抓取和操作位元(註 3)。「算盤」可以言簡意賅地傳達這個精神。算盤以物理珠子的形式呈現所有數字位數,人們可以使用雙手直接觸摸並操控數字,在算盤上,數學資訊是有實體的。這樣獲得觸覺反饋的精神,便是「實體位元」的起點之一。

現今人們對於數位資訊的使用習慣,是經由滑鼠、鍵盤在螢幕上操作虛擬像素,通稱為「圖形使用者介面(Graphic User Interface)(註 4)」。因此,石井裕所提出的「實體使用者介面(Tangible User Interface)」,是一個完全相反、突破性的觀點,強調如何以日常物件操作數位資訊,等於是將數位資訊由螢幕裡拉到現實世界之中。

換句話來說,實體使用者介面就是追求人類、物件、資訊之間,在認知、感受和操作上的無縫互動。石井裕的早期作品《音樂瓶》(圖 1)是最具代表性的作品,目的是讓人們以最簡單、直覺性的操作方式取得資訊。《音樂瓶》是一個能夠播報天氣的瓶子,觀眾只要打開瓶蓋,便會聽到以不同的聲音所象徵的氣候資訊。例如,若為晴朗的好天氣,開瓶後會聽到清脆的鳥鳴,取得資訊的方式就像「打開一個醬油瓶子」一樣簡單(註 5)。

圖 1 《音樂瓶》。(Photo by MIT Media Lab Tangible Media Group)

2012年,石井裕發表了更進一步的突破性概念 — 激進原子(Radical Atoms)。延續追求無縫介面的動機,激進原子是一種假想的材料,可以動態地改變形狀和外觀,就像螢幕上的像素一樣可重新配置(註 6)。早期所提出的實體位元就像算盤一樣,雖然可以移動,但整個結構是固定的。然而,原子可以任意改變形狀或屬性,是一種全新的材料,可以更自由地被使用和操作,更接近操作虛擬數位資訊時的無限可能性。

《inForm》(圖 2)便是激進原子的代表性作品。它是一個互動溝通的裝置,以Xbox的Kinect技術偵測遠端使用者的動作,這些動作指令傳達到另外一個由許多白色方塊組成的實體介面之中。因為這些白色方塊已被寫入程式,它們便依據指令改變形狀,所以遠端使用者可以藉由這些變形的方塊和現場人員進行物理性互動,像是讓現場摸到遠端物件的形體、操作現場物件、握手、畫出實體3D模形等(註 7)。

圖 2:《inForm》為形狀變化的使用者介面提供了新的互動技術。(Photo by MIT Media Lab Tangible Media Group)

激進原子的精神在於,原子是活著的、可以記憶、改變外形,具有許多可能性。實體媒體研究團隊設計了許多不同的材質,結合新穎的感應器、驅動元件和顯示器。Lining Yao副教授團隊的作品《Bio-Logic: From Build to Grow》(圖 3)便可以充份代表這個精神(註 8)。團隊將枯草桿菌納豆亞種在衣服上,這種細菌會隨著溼度變化而膨脹。當這個特殊織物成為舞衣時,會隨著舞者體溫和排汗而自動調節衣服的通風性(圖 4)。因此,生物性的材料成為新的介面設計材質,透過Bio-Logic計畫,實體媒體團隊嘗試跨越人機介面,走向人與有生命機器 (Human Living Machine Interaction) 的介面,創造出身體週圍第二層會呼吸的肌膚 (圖 5),這件作品將為生化產業帶來許多可能性。

圖 3 《Bio-Logic: From Build to Grow》。(Photo by MIT Media Lab Tangible Media Group)
圖 4:《Bio-Logic: From Build to Grow》對舞者的身體熱量和汗水做出反應。(Photo by MIT Media Lab Tangible Media Group)
圖 5: 呼吸中的「第二層肌膚」。(Photo by MIT Media Lab Tangible Media Group)

此外,還有許多突破想像力的創意作品。我們不禁好奇,目前由像素帝國(註 9)主導的GUI才是主流的資訊操作介面,石井裕對於使用者介面的未來,是否有什麼預測或想像呢?然而,他卻表示,他不會提供某一種觀點,「每個人都應該思考你真正想要看見、實踐或創造的未來」。就像他獨樹一格的實體媒體理念一樣,持續開創著不可預測,不受框架限制、創意無窮的作品。

既要藝術,又要分析;既要詩意,又要務實

實體媒體研究團隊這些充滿啟發性、震撼性的專案,也跨足到科技藝術、設計美學場域。2016年,被稱為「科技藝術界奧斯卡」的林茲電子藝術節(註 10)(Ars Electronica Festival)以《激進原子 — 和我們時代的煉金術師 (RADICAL ATOMS — and the alchemists of our time)(註 11)》為題,邀請石井裕及其團隊展出藝術節主題特展(註 12)。引用「煉金術士」的概念,石井裕表示,製造全新媒材,再用這些媒材創作,是接下來他意圖啟發人們的重大方向。

石井裕的作品以兼具詩意和美感聞名。他及團隊的作品持續在林兹電子藝術節(圖 6、圖 7)、米蘭設計週、維多利亞與亞伯特博物館、Cooper Hewitt設計博物館等藝術殿堂展出。作為一個電腦科學家,為何能夠在藝術、設計美學等跨域場域備受讚譽呢?

圖 6: 石井裕於2016年,林茲電子藝術節展示其互動作品- ZeroN 。其為一種有形界面元素,可以透過電腦在半空中自由懸浮和移動。(Photo by MIT Media Lab Tangible Media Group)
圖 7: 展示於林茲藝術節的Cillia 專案,Cillia 提出了一種3D列印頭髮狀的方法, 它能產出小於 100微米的頭髮幾何形狀,及毛皮等複雜結構。(Photo by MIT Media Lab Tangible Media Group)

他的座右銘是:「既要藝術,又要分析。既要詩意,又要務實。」他認為藝術是科學家或設計師不可或缺的涵養,作為人類需要欣賞美和審美,同時也追求互動中的愉悅。要做到這點,所要理解不僅是電腦科學、工程學,還有心理學、藝術和文學等。研究的養份包含藝術的靈感,像包浩斯的設計師MaxBill的色塊作品也包含哲學的啟示,像日本侘寂的審美觀等。

因此,沒有規則說必須學習多少學科才能創作。創作時必須綜合所有觀點,擁有自己的哲學本體論,才能創造出一些美麗、令人印象深刻、吸引人或有意義的作品,所以要超越設計的範疇(意即產品設計、平面設計、時尚設計等框架)。實體媒體就是將人們、資訊、想法的感知存在帶到靠近你的身體或物理空間之中,所以應該對所有學科都感到非常好奇,不僅是科學工程,還有創新的藝術,才能處理這麼複雜且困難的問題。

有趣的是,這些藝術展演的機會都是受到邀請,自然發生的。雖然石井裕的專業身份是電腦科學家,他的研究和作品在藝術、設計領域引起了強大的共鳴,受影響人數可能超越了原本的科學社群。石井裕強調,在藝術場域與各種哲學家、藝術家、設計師、觀眾互動給予他許多剌激,藝術展及博物館是他研究的重要引擎。他也認為,博物館不是關於過去的,而是未來的(註 13),如何為下一個世紀典藏這些作品是目前的重要課題。

打造獨一無二的山脈 — 願景驅動、探究本質的研究熱情

「實體媒體已經發展到一定的境界,如今人們相信,並且理解實體媒體。」石井裕擁有著實體媒體之父的美譽,然而,他也承認,將近30年前,他開始這個非主流研究時,沒人理解、投投稿常被拒絕,是一段非常孤獨的過程。

1995年他從日本電信電話 (NTT) 被挖角到MIT時,原本以為他的工作是「爬一座高聳入雲、找不到路徑的高山」,沒想到事實上他的工作是「從平地建造一座山,並在5年內爬到山項」(註 14),這個造山時期是非常艱辛與孤獨的。「你必須享受孤獨,因為當沒有人能夠理解你時,代表著你的願景是非常原創的」,作為一位有遠見的創作者,必須擁有偉大的決心,且不害怕失敗。

那麼,又要如何不斷堅持信念呢?「請時刻保持渴望的心,問自己為何存在,希望後人如何記住自己,去看看這個世界,尋找屬於你的山脈 (Mountain Range),也許它可能被埋沒在人群中或不在地圖上,仍必須努力找到它。」石井裕認為,這個過程沒有所謂標準的目標以及自身所應具備的特質與能力,創意產業並沒有一個標準的模版或模範生,「就只有一個強而有力的願景而已。」

「科技容易過時,需求會在10年內被滿足,願景才能點亮未來」(註 15)現在有許多市場預測工具、或是引領潮流的活動,讓人們判斷哪些事比較容易成功。然而石井裕認為,每個人應該要有自己的願景,也不要害怕變化不斷的世界巨浪,而是嘗試新的方式並找到自己的路,決定自己的未來,即使有效也好,無效也罷,不管結果如何都值得一試。

此外,還要保持著對學習的飢餓以對抗隨之而來的挑戰,「因為人若沒有感覺飢餓,他人是無法強迫他進食的」石井裕說,我們應該時常感到渴望,問自己這些問題:「我為何存在?我應該如何結束我的人生?後人會如何記住我?」人們必須找到存在的目的,並嘗試在幸運獲得的有限生命中做出對自己而言有意義的事情。

石井裕的團隊的專案具開創性、實驗性,挑戰媒材的運用的新層次,這些成果需要跨領域團隊的協力合作。實體媒體研究團隊的許多博士生之中,不少人了成為了長春藤盟校的教授,領導這些優秀的跨域人才,最重要的關鍵是什麼?

「如果人們都因此感到興奮,便會想要一起參與讓它成真」石井裕認為,形成團隊最重要的關鍵是有意義的願景與目標,人們會因此產生熱情。所以不該糾結於管理、領導,或糾正錯誤這種事,提出使命和實踐的關鍵點子,便會吸引許多有志一同的人,形成一個很棒的團隊。然而,要讓他人心甘情願跟隨自己,則必須時時提醒自己必須做個好人並擁有同理心,而不是自我為中心或單純倚靠金錢或名聲,在這樣的前提下,「當你擁有很好的願景,自然而然就會有人跟隨你了。」

結語

如今世人驚嘆著石井裕的成就,推崇他為實體媒體學派開創者、電腦科學家、科技藝術家等多重身份,驚嘆著他能夠同時做到學術、實踐與藝術創作的能力,然而他卻認為能夠抵達如今高度的路途上並沒有所謂的標準程序。對他而言,「這沒有固定的配方,沒有一定程序,如果你有了強而有力、共通的願景,這一切將自然而然地發生。」

本次石井裕難得來到台灣,他的期待是什麼?「我想聽到來參加論壇的人們提出好問題,提出他們自己的願景,他們的夢想,他們的山脈。」他期盼利用論壇零碎時間與擁有鬥志的台灣年輕創作者見面,「我想要點燃那些率領著台灣、亞洲、地球成為更好的地方,以及解決很多地球上複雜問題的下一個世代人們心中的火焰」,他期待著與這些後輩相見、相談彼此的點子,進而得到啟發,引起共鳴,那麼這趟台灣行便將不虛此行。

2023.12.03 前沿設計研究國際論壇

超越像素:為人類表達、溝通和設計而發明實體媒體 — 完整記錄

顧問:許峻誠、林家樑
編輯:劉世南、佘佳慧
撰稿:郭唐菱、陳玥蓁、薛聿棠、黃莉庭

備註說明

註 1: Association for Computing Machinery(簡稱ACM),創立於1947年,為現今全球最大規模的電腦從業員專業組織,圖靈獎的主辦單位,致力於發展進階藝術、最新科學、工程技術與應用領域中的最新資訊技術。ACM SIGCHI則為ACM旗下組織,主要關注人機互動議題,並自1982年每年舉辦計算機系統中的人為因素會議(Conference on Human Factors in Computing Systems,簡稱CHI),該會議普遍被認為是人機互動領域中最負盛名的會議。(參考自維基百科)

註 2: Ishii & Ullmer, ”Tangible Bits: Towards Seamless Interfaces between People, Bits and Atoms.” in CHI 97, 1997.

註 3、註 4:同上註

註 5:Sophia Wu,〈可觸媒體之父 石井裕:以日本的美學詩意為基底,不斷釀造 HCI 中獨樹創見的大師〉,網址:<https://ixdtw2021.ixda.org.tw/press/hiroshi-ishii/>(2023 年11月15日檢索)

註 6: Hiroshi Ishii et al., “​​Radical Atoms: Beyond Tangible Bits, Toward Transformable Materials” (ACM Interactions, 2012), pp.38–51.

註 7:Follmer, Sean, et al., “inFORM: Dynamic Physical Affordances and Constraints through Shape and Object Actuation“, UIST’13(2013.10), pp. 417–426.

註 8:Tangible Media Group, <Hiroshi Ishii IxDTW 2021 Lecture: Making Digital Tangible, the Battle Against the Pixel Empire>, 網址:<https://vimeo.com/680971195> (2023 年11月15日檢索)

註 9:「像素帝國」是石井裕常使用的比喻,為實體媒體所對抗的巨人,意指不論是日常生活中的使用習慣,還是主流的學術研究,皆以圖形使用者介面(GUIs)為主,由像素所組成的圖形主導了資訊呈現方式,各種數位資訊的操作皆是限縮於螢幕之中。而圖形主導的主流典範,也延伸至各種產品或介面設計上,因此像素帝國的「陰影」無所不在。(參考自IXDA Taiwan 石井裕介紹)

註 10:林茲藝術節成立於1979年,目的為探討科技、藝術與社會三者之間的關係,並藉由每年的策展主題回應世界當前的議題與局勢,並展開對社會人文的關懷、科技應用與及未來可能性的想像。(參考自典藏 ARTouch)

註 11:Menezes, <The Ars Electronica Festival 2016: Radical Atoms and the Alchemists of our Time>, 《studiointernational》, 網址:<https://www.studiointernational.com/ars-electronica-festival-2016-radical-atoms-and-the-alchemists-of-our-time> (2023 年11月15日檢索)

註 12:Tangible Media Group/MIT Media Lab, <Radical Atoms Exhibition>, 《ARS ELECTRONICA FESTIVAL 2016》, 網址:<https://webarchive.ars.electronica.art/festival/2016/radicalatoms/en/index.html%3Fp=666.html>(2023 年11月15日檢索)

註 13:ACM SIGCHI, <CHI 2019 SIGCHI Lifetime Research Award — Hiroshi Ishii: Making Digital Tangible>, 網址:<https://youtu.be/T6D1A9J0qIE?si=VmddfUXVOXqajkES>(2023 年11月15日檢索)

註 14:同上註

註 15:ACM SIGCHI, <CHI 2019 SIGCHI Lifetime Research Award — Hiroshi Ishii: Making Digital Tangible>, 網址: <https://youtu.be/T6D1A9J0qIEsi=VmddfUXVOXqajkES>(2023 年11月15日檢索)

參考文獻

1. ACM SIGCHI. “CHI 2019 SIGCHI Lifetime Research Award — Hiroshi Ishii: Making Digital Tangible”, May, 2019, <https://youtu.be/T6D1A9J0qIE?si=VmddfUXVOXqajkES>

2. Follmer, Sean, et al. “inFORM: dynamic physical affordances and constraints through shape and object actuation.” Uist. Vol. 13. №10. 2013.

3. Ishii, Hiroshi, and Brygg Ullmer. “Tangible bits: towards seamless interfaces between people, bits and atoms.” Proceedings of the ACM SIGCHI Conference on Human factors in computing systems. 1997.

4. Ishii, Hiroshi, et al. “Radical atoms: beyond tangible bits, toward transformable materials.” interactions 19.1 (2012): 38–51.

5. IXDA Taiwan, April 21, 2021, <https://ixdtw2021.ixda.org.tw/press/hiroshi-ishii/>

6. Menezes, Caroline. “The Ars Electronica Festival 2016: Radical Atoms and the Alchemists of our Time>”, studio international, August, 2016, <https://www.studiointernational.com/ars-electronica-festival-2016-radical-atoms-and-the-alchemists-of-our-time>

7. Tangible Media Group. “Hiroshi Ishii IxDTW 2021 Lecture: Making Digital Tangible, the Battle Against the Pixel Empire”, May, 2021, <https://vimeo.com/680971195>

8. Tangible Media Group/MIT Media Lab. “Radical Atoms Exhibition”, ARS ELECTRONICA FESTIVAL 2016,September, 2016, <https://webarchive.ars.electronica.art/festival/2016/radicalatoms/en/index.html%3Fp=666.html>

9. Wu Sophia.”可觸媒體之父 石井裕:以日本的美學詩意為基底,不斷釀造 HCI 中獨樹創見的大師”, April, 2021,<https://ixdtw2021.ixda.org.tw/press/hiroshi-ishii/>

--

--

台灣設計研究院

Taiwan Design Research Institute (TDRI)是臺灣唯一以設計為核心的機構,設研院所承擔的使命,在於透過跨部會、跨地方的合作,將設計導入成為中央與地方的共同施政價值,讓設計力成為臺灣重要的國家戰略。