来自麻省理工大学媒体实验室的Daniel Leithinger,在2014腾讯WE大会上展示了一款名为inFORM的3D交互界面,它颠覆了我们熟知的触摸屏,让用户可以用手来感受和触摸数字信息。通过inFORM,你可以和千里之外同样坐在电脑前的人握手,一起玩传球游戏,甚至自如的挪动他面前的水果。Daniel Leithinger在演讲中说道:“我希望未来不是一个像素主宰的世界,我们的手不是处于次要的位置,而是能够感受彼此,并与这个丰富的世界交互。”


一、平面图形交互是对双手资源的浪费

我们讨论的是未来,而我将从我自己的过去说起。我来自奥地利,在欧洲中部的一个乡村长大。奥地利有个古老的智慧——“地球不是平的”。如果你在奥地利长大,你肯定知道这一点,因为四面都是山,你根本想不到地球是平的。这里面有一个很根本的东西,那就是人类是在三维世界中成长的我们的身体是进化的结果,是与环境交互的最佳形态。我们有空间的意识,用四肢在空间中操作世界。当你去看人类发明的工具时,你会发现,原来我们为自己设计了一个可以用工具强大地操作的世界,这也是人之所以为人的部分原因。


这个世界里,哪些东西不是三维的呢?我想这两张图很说明问题。左图里的材料很丰富,人与人用手交互;右图是现在最先进的电脑,可以多点触控。右图比左图单调了许多,对身体的调动少了许多,一切都化于一块“平板”上,与世界的交互少了些精彩。Malcolm McCullough说得很好,我们的双手真是被低估了。我们的眼睛负责学习,大脑负责说话,手用来打字,因此手并非闲置,而是“不充分就业”,这很遗憾。



我觉得这是有历史原因的。电脑的屏幕几乎从一开始就是平的。1960年代 Ivan Sutherland在 MIT 研发的 Sketchpad可以说奠定了我们今天所见的图形交互模式。当然,苹果在1980年代使之进入寻常百姓家。今天最尖端的设备依然主要是基于平面的图形交互。这种交互对于眼睛很方便,但就是有点浪费我们的手。我觉得不一定要这样子,我对这种设计一直不满意。


二、奠定未来的“实体用户界面”

我还在奥地利念书时,很幸运地在一间博物馆打暑期工。那是十年前 2004年,我在那间电子博物馆编程,馆里有很棒的项目展览深刻地影响了我,我看见过“实体用户界面”,是由 MIT 媒体实验室下的“实体媒体组”开发的。项目的名字叫SandScape,这是个做地景设计的项目,就像在 CAD 程序上做一样。你可以动手用不同的材料去制作地景,电脑会感应你用的材料并进行相应的模拟,最终建立出一个数字模型。


从我看到这个项目的一刻起,我便想去 MIT 的这个小组学习,我想发明这样的电脑界面,这奠定了我的未来。四年后 2008年,经过努力,我考上了 MIT 媒体实验室的研究生。当时我的问题是,我有什么作品可以摆上台面,在目前的基础上我可以做什么。我和同事便开始分析,我们的注意力落在了这种界面的一个大问题上。这种界面确实非常直观,用起来很有乐趣,但也有点“不太好用”,因为假如你想保存这个模型,两周后再打开,把它分享给朋友,在网上进行协作,这是做不到的。你的朋友需要亲手再建一次模型,这需要另一台3D打印机,要花一天的时间。也许我们可以做一个这东西的电脑版或电机版?可以实时建立出我们所需的形状。

三、从“针幕”屏到“数字化粘土”

我们开始了解各种技术,其中一种是“针幕”屏,一项诞生于1970年代的发明,发明者是 Ward Fleming。这跟一种玩具很像,把手放在这一边,手的形状就出现在另一边。我们可以做一个这种针幕屏的电机版,因为人们已经在制造等领域用过这项技术。当时还是学生的我便做了第一个“针幕”屏,用到了120个电机,我给它取名叫“Relief”,因为它的样子像浮雕 (relief),而且大功告成时我也是长舒了口气 (relief)。



这是我同事在我的基础上做的新的东西。这里的想法就是电脑辅助设计。电脑能够建立物理形状,我们把这称为“数字化粘土”。你可以拉出个形状,拉完以后可以操作它,譬如移来移去或用双手直接改变形状,重新定一个形状。我们想也许这可以用于3D建模和协作,因为你可以把它发给同样拥有这种屏的朋友,你们可以同时雕塑。


这是我们的起点,虽然分辨率很低,但我们觉得这有前景。于是我和朋友便着手制作分辨率更高的版本,也就是大家这里看到的。我们便想象,如果除了多点触控,我们还有真实的形状可触摸,那电脑会是什么样的?例如实体菜单,不但可以眼看手摸,还可以去感觉菜单项。譬如我可以感受一个按钮,或一张幻灯片的边界。


这是另一个3D建模的例子,同样我可以拉一个形状出来,然后给它指定形式。这是一个建筑模型,也可以给一个汽车模型指定形状,之后还可以上色。总之一切都在实体世界中完成。其实我们的想法就是,让资料以实体形式出现在眼前,这样我们可以更好地理解现在我们看到的。这可能可以用于数学教学,你可以在这个表面上构造函数,这样去理解微分方程的效果可能比在平面屏上要来得更好,因为斜面什么的都是真实可感的。有了这些工具以后,我们就把这些工具玩来玩去,例如放个物体上去。我们注意到我们可以利用形状去操作物体,这里大家可以看到一个演示,我没注意到伙伴打来的电话,这张桌子于是就不平静了,仿佛在说:“快接电话!”好吧,那我就接吧。



四、 “实体显灵”——人、物的远程交互

我们还想,这可不可以用于人际协作、沟通呢?也许这不但可以用于改善人与电脑以及人与资料的沟通,还可以用于人与人的远程交互。于是我们便用 Kinect 的深度感应摄像头来捕捉人体的动作,然后传输到别的地方,在那里以实体形式还原形状,这样我们就可以远程地与人或物体交互,我们把这概念称为“实体显灵”。这种技术美就美在,你不仅可以自己做动作,还可以操作物体,例如翻书,甚至进行更复杂的操作。当然目前还很有限,只能做上上下下的操作,不过其中已有相当大的真实度。对于我而言,这是我的一个愿望,我的侄女侄子生活在奥地利,他们一年只见得到我一次,也许将来我们可以远程地一起玩乐高,享受这种实体游戏的乐趣。另外,这也许可以让远在别处的专家帮助到某地的用户,例如这里指指那里指指,告诉你该怎么做。我们认为这与单纯的视频协作会很不一样,尽管我们现在用的都是这种。



我们的研究主题不只是与电脑交互,也许未来我们会被可交互的环境所包围,一面墙、一张桌可能都可以实体变化,向我们响应。这位是我的研究顾问,他正在玩我们今年在米兰家具展亮相的桌子。这桌子就好像在和你讲故事,可以对你作出反应,仿佛桌子里住着只宠物,这就是交互环境,而不是静物。

五、概念和实验才是关键

当我介绍我们的项目时,很多人都会说这真的激动人心,什么时候能买到呢?其实这是我们面对的大问题之一,尤其是对我们的项目而言。我们一切制作的原料都是市场上买得到的,我们没有自己的工厂,因此这很复杂。一张大桌子,低分辨率的有30×30根针,也就是有900根针要控制。也许在未来我们会有更智慧的方法,来向人们提供实体输出,但关键的不在硬件,而在概念以及实验。因此我们在做的是用一些简单的物品,来证明没有必要搞得太复杂。这里有个例子,也许我们无法实体模拟一艘船,但我们可以模拟出硬质材料的感觉。例如像粘土、生面团那样具有延展性的计算材料,可以变形,可以像岩石一样坚硬,也可以像水袋那样软。我们便开始准备,我们跟MIT的机械工程系合作,他们在“软机器人技术”上很有实力,那种技术可以控制材料的刚性,但人们还没想过把这运用到电脑交互上来。


你去商店买咖啡,咖啡硬得像块砖,因为那是真空包装的,里面的咖啡粉都挤在一起,这叫做“颗粒堆挤”。只要你在包装上挖个洞,就会变得很软,因为此时包装内外压力接近,咖啡粉就变成流体系统了。你可以自己动手做,我们就是这么做的,非常简单。我们做了些实验,我们把咖啡粉倒进一个小包里,连到一个针筒上,如果我们抽那个针筒,这个小包就会很硬,像块砖一样。我们可以这样来回反复,当然用计算机方法来做很容易,只需要真空泵和电磁闸,其实没什么神奇的。我们觉得这种材料可能会改变我们将来和电脑交互的方式。



六、创意地表达就是我们所想象的未来

未来的手机也许就不是硬邦邦的、掉地上就坏了,也不是千篇一律的外观。现在无论是贵的还是便宜的手机都是方方正正的,也许以后外观会很不一样。如果将来的电子零件是软的,屏幕是软的而且能拉伸,我们就可以这样做:这是我们想象的未来的手机,当你想用它时,它可以变硬,变成手机的形状,我的同事正在研究这个。如果我们想用平板,那就把它拉大,然后它会变硬,这样你就可以当它是平板用了。或者又把它变软,把它当游戏设备来用。因为我们可以控制材料的属性,控制手机在软硬之间变换,我们便可以赋予它我们所需的形状。也许我们甚至可以把它绑在手腕上当手表用,这很简单。未来的手机可能未必是这个样,但我们要打破陈规,这是我们所想象的未来。



作为媒体实验室的学生,有很多公司来我们那里拜访时会说,你是MIT学生,你肯定知道未来是什么样的。我怎么知道呢?我不知道。我们想的就是,与其声称知道未来是什么样的,不如提出未来可以是什么样的。我希望未来不是一个像素主宰的世界,我们的手不是处于次要的位置,我们可能可以设计出像右图那样的感觉的电脑,我们可以感受彼此,彼此交互,并与这个丰富的世界交互。用上我们的双手,有创意地表达自己。因为我觉得,我们一起协作时会快乐,我们是社会动物,我们需要社交。随着远程协作工具越来越丰富,我想这个是很有力量的概念。我很相信要快乐,就要发明新东西,并且要有创意地表达我们自己。我想我们会有相应的工具和环境来做到这一点。假如让我来说我心目中所向往的未来,那就是从电脑这种消费品前走开,去有创意地表达自己,并彼此沟通。