第一次被電腦深深吸引,是小學開始寫網頁,發現我只要改一點點 HTML/CSS 的程式碼,網頁上就會完全聽我的指令,變成我要的樣子,然後遠端的朋友就可以連上來,看到最新的網頁。這真的太神奇了!

仔細想想,我當初畫的綠色方塊,對電腦來說就只是一串的資料,一點也沒有綠色和方塊的樣子,直到它在螢幕上被畫出來。如果不是螢幕的話,那它似乎也可以是聲音,也可以是任何東西。「資料本身」(Data) 和「它被感知的方式」,也就是「介面」(Interface),已經完全的分離。

電腦,和其他的東西:紙張、金屬等,似乎有本質上的差異。也許是類比和數位的差別,但這到底是什麼意思呢?Lev Manovich1 描述了電腦這個新媒體最重要的特性,即是「以數字作為表徵」(Numerical Representation),所有的媒體,文字、影像、聲音,全都是數字,電腦一視同仁,我們都可以用程式操作它們(programmable)。所有的媒體都變成兩個東西所組成,「儲存的資料」以及「解讀的介面」。於是「介面」從媒體本身解放出來,文字不一定跟著紙筆黏在一起,聲音不一定跟著樂器不放,我們可以重新設計適合的「介面」,來傳達我們想要的資訊,而且這個介面是動態,可以改變的。

美國 MIT Media Lab 的 Tangible Media 實體媒介實驗室,嘗試各種材料與方法,超越平面的螢幕,讓人們可以接觸實體三維的物件,就像是立體的顯示器,直接操作其代表的數位資訊。他們遠大的夢想是用「根本原子」(Radical Atom2 取代現有的「螢幕像素」(Pixel),拆解物體的本質,讓所有物體的特性,例如大小、形狀、質量、彈性等特性,都視為「資料」,可以傳輸在電腦之間,而在適合的「介面」中,將特性完整的呈現出來。上面的影片 Materiable 3 即利用柱狀的變形顯示器,模擬出人們接觸後的物質彈性和黏性。


Mark B. N. Hansen 重新省思「介面」的意義,說道:「當媒介喪失了它的材料特定性,我們的『身體』,作為資訊選擇的處理器,就站上更重要的角色…」4 介面不再是傳統工業設計受限於物質本身,而可以更接近人的身體,甚至和人體無法分離。

德國 Hasso-Plattner-Institut HCI 實驗室做的 Affordance++ 5,利用電擊刺激肌肉 6,讓手不自主地動起來,用「動作」來告訴人們如何使用日常生活的用品。人們拿到噴漆罐時,不知道應該搖一搖,此時電擊讓手「直接感受到運動」,來接收物體的資訊。人們用「動作」,這種全新的方式去感知物體帶有的資訊,儘管看起來很可怕,卻是和電腦最為緊密相連的介面。


電腦作為一個計算力和資料量驚人的裝置,能有更好的介面和其結合一同思考,或稱為「人機共生」(Human-Computer Symbiosis)7,是 HCI 研究者的夢想。當我們手邊的智慧型裝置從筆電、手機、手錶、衣服等越來越小,融合進生活之中,看得到的介面似乎越來越少,我們更少干擾,更快速完成我們的工作和決定。會不會到時我們就不需要如今我們所知的介面,而依舊能與電腦緊密相連?

HPI 研究者大膽提出 Imaginary Interfaces 8 的構想,如果我們能夠用「想像力」想像自己的介面,然後讓電腦理解呢?那麼我們就不需要視覺介面,隨時隨地能夠喚來電腦的計算力,好像電腦是我們的一部分。他們甚至設計了一個籃球遊戲 9,不需要有真實的一顆球,透過每個球員的「想像力」知道球在哪裡,電腦也能夠理解,知道該如何計分。


科技導向的人機互動 (HCI),透過『發明』,拓展我們能做到的事情,或是找到更好的方式做事情。10

HCI 研究者乘著想像力,在人機互動的邊界上,超越現有介面的限制,帶人們做到過去所無法做到的事情,開啟全新的互動方式。HCI 沒有極限,因為介面永遠由我們定義。

  1. Lev Manovich: The Language of New Media (2001) 

  2. Radical Atoms 具備三種概念,除了能夠隨著數位資訊改變(transform)物質特性,作為終極的物質顯示器之外,還要能夠適應(conform)環境和使用者給予的資訊,並且告訴(inform)使用者如何操作(dynamic affordance,可以參考 inFORM 有列舉各種例子)。 

  3. Materiable: Rendering Dynamic Material Properties in Response to Direct Physical Touch with Shape Changing Interfaces (CHI ‘16) 基於 inFORM 的硬體(pin-based shape display)。 

  4. “… as media lose their material specificity, the body takes on a more prominent function as a selective processor of information.” Mark B. N. Hansen: New Philosophy For New Media (2004) 

  5. Affordance 這個詞最早由心理學家 James J. Gibson 提出,用來描述環境或物件可以提供的可能動作,例如馬克杯的把手能夠提供「握住拾起」的 affordance。Affordance 的概念廣於應用在工業設計與建築,後來 Donald Norman 將這個概念放到 HCI ,在《設計的心理學:人性化的產品設計如何改變世界》中有較多闡述。Affordacne++ 即是加強 affordance 的概念,不只是用產品靜態外型來告訴使用者如何操作,而直接透過驅動使用者的身體來讓使用者學習。Affordance++: allowing objects to communicate dynamic use (CHI ‘15) 

  6. 電擊刺激肌肉 Electrical muscle stimulation (EMS),藉由產生和肌肉相似的電訊號,透過電擊貼片驅動肌肉收縮。德國 HPI 人機互動實驗室的 Pedro Lopes 做了一連串關於 EMS 互動的研究,EMS 的特色在於,直接刺激動作讓人體感受到引導,同時肌肉也能夠主動運動,實現「輸入和輸出合一」(參考 Proprioceptive Interaction)。如此直接的資訊傳遞,更接近於 Andy Clark 在 Natural-Born Cyborgs 書中提到擴增認知 (extended cognition) 概念,人類已經接近於無意識到這個工具的存在,直接變成我們思考與行動的一部分。 

  7. 人機共生由 J. C. R. Licklider 在1960年於文章 Man-Computer Symbiosis 提出,他描述人機共生的主要目標為: “1) to let computers facilitate formulative thinking as they now facilitate the solution of formulated problems, and 2) to enable men and computers to cooperate in making decisions and controlling complex situations without inflexible dependence on predetermined programs.” 

  8. Imaginary Interfaces: Spatial Interaction with Empty Hands and Without Visual Feedback (UIST ‘10) 

  9. Imaginary Reality Games: Ball Games Without a Ball (UIST ‘13) 

  10. “… the fundamental activity of technical HCI is one of invention—we seek to use technology to expand what can be done or to find how best to do things that can already be done.” Scott E. Hudson, Jennifer Mankoff: Concepts, Values, and Methods for Technical Human–Computer Interaction Research (2014)