|
仅仅借助一个便宜的硬件设备:一双彩色的手套,美国麻省理工学院(MIT)的研究者使我们离科幻电影《少数派报告》中的电脑操作界面又近一步。
一个全新的基于手势动作的计算机操作系统的硬件只包括一个普通的网络摄像机和一双色彩明亮的莱卡手套。
计算机科学与人工智能实验室的研究生罗伯特·王展示了一个新系统,这个系统是由他和副教授乔文·波波维克共同开发的。供图:贾森·多尔夫曼。
网易探索5月21日报道 仅仅借助一个便宜的硬件设备:一双彩色的手套,美国麻省理工学院(MIT)的研究者使我们离科幻电影《少数派报告》中的电脑操作界面又近一步。
自斯蒂芬·斯皮尔伯格2002年拍摄科幻电影《少数派报告》以后,电影中一身黑衣的汤姆·克鲁斯(Tom Cruise)站在一个透明的电脑屏幕前,仅仅通过挥动他的手就能够操作大量的视频图像,这个基于手势的电脑操作界面的思想已经生动刻画了技术爱好者想象中的图景。学术机构和工业公司的实验室已经联合开发出了一系列手势操作界面的原型,从具有多个摄像机的房间大小的系统到内置在笔记本电脑屏幕中的探测器。但是麻省理工学院的研究者开发出了一种手势化的电脑操作界面,这个界面系统更具有可操作性。除了一个标准的网络摄像机之外,就像很多新买的电脑中自带的那些网络摄像机一样,这个系统仅仅只使用了一个硬件设备:一双造价大约1美元的彩色莱卡布料(人造弹力纤维)的手套。
其他廉价的手势操作界面的原型使用的多是缠在指尖上的反光带或者彩色的带子,但是“那些界面操作的都是2-D的平面信息,”罗伯特·王(Robert Wang)说。王是麻省理工学院计算机科学与人工智能实验室的一名研究生,他与电气工程与计算机科学副教授乔文·波波维克(Jovan Popović)共同开发了这套新系统。“在那些系统中,你只是在舞动你的指尖,甚至都不知道到底是哪一个指尖(指尖上的带子)与电脑相对应。”相比之下,王和波波维克的系统则能够将一只戴手套的手做出的手势动作转化成电脑屏幕上对应的3-D立体手部模型的手势,而且几乎没有延时。“这是真正获得了你的手和手指的3-D立体的形状,”王说。“我们获取了你的手指如何弯曲的一系列动作。”
王说,这项技术最显而易见的应用将会是视频游戏:给一个虚拟游戏世界导航的游戏玩家,可以仅仅通过手的手势动作抓住并操控物体。不过王也想象过,工程师和设计师能够使用这个系统更加简便和直观地操控商业产品或者大型城市结构的3-D模型。
罗伯特·王在演示这个系统判断三维手部位置,包括单个手指的弯曲速度与准确性,他还谈到了这个系统在机械工程领域应用的可能性。
手套的拼布方式
这个手套经过了一系列的设计,试过不同形状和颜色的点状和块状布料,不过目前的版本是覆盖着20种不规则形状、10种不同颜色的块状布料。颜色的数量必须有一定的限制,这样系统就能够在多种不同光线条件下,从那些背景物体的颜色中可靠地区分出不同的颜色。块状布料的排列和形状是精心挑选的,所以手心和手背将能够完全分开,而且类似颜色的布块发生冲突的可能性将会很少。王解释说,比如,分布在指尖顶端的颜色可以在手背进行重复使用,但是却不能在手心再次使用,因为手指将会频繁地弯曲,这样会与手掌的前部靠得非常近。
技术上,这个系统的另一个关键是一套能够快速在数据库中查找视觉数据的新算法,王自称这个算法受到了安东尼奥·托拉尔巴(Antonio Torralba)最近一项研究的启发。托拉尔巴是麻省理工学院电气工程与计算机科学系的埃斯特与哈罗德·埃杰顿(Esther and Harold E. Edgerton)电子工程与计算机科学副教授,同时还是MIT计算机科学与人工智能实验室(CSAIL)成员。一旦网络摄像机捕捉到了手套的图像,王的软件算法就会将背景裁剪掉,所以手套被单独叠加在一个白背景上。然后软件会大大降低经过剪裁的图像的分辨率,降低到仅有40个像素乘以40个像素的水平(像素太高的话数据库就会非常大)。最终,软件在一个包含大量40×40分辨率手部模型的数据库中搜寻,它只搜寻与手套的位置相对应的手部模型位置。由于这个系统没有去计算运动过程中手指、手掌与手背的相对位置(这些会占用大量的系统资源),所以软件能够在非常短的时间内提供符合的答案。
当然,一个包含40×40彩色图像的数据库需要占用大量的内存——王说,包含几亿个字节。但是今天,一台常规的台式电脑就拥有40亿字节的高速随机存储器内存(RAMmemory)。王说,同时将来台式电脑的内存数只会继续增加。
改变游戏规则
“人们在过去已经尝试过进行手势跟踪,”保罗·克里(Paul Kry)说。克里是加拿大麦吉尔大学计算机科学学院的一位助理教授。“这是一个非常复杂的问题。虽然很多人做过尝试,但是我仍然无法说出有哪一项纯粹基于视觉的手势跟踪研究可以称得上成功。稍微给这个游戏带来一点点改变的研究者可能都会说,‘嘿,是的,我只是为这个游戏添加了少量的信息’”——比如,布块的颜色——“‘同时,我能够比那些纯粹基于视觉的技术走得更远。’”克里尤其喜欢王与波波维克的系统的简易,因为新用户很容易学会使用他们的系统。由于手套是用有弹性的莱卡布料制成的,所以它能够显著地改变大小以适应不同用户的手;但是为了判断手套与摄像机的距离,系统不得不对手套的大小形成良好的判断力。为了调校这个系统,用户只需在网络摄像机前的一个平整表面上放置一张8.5×11英寸的纸张,把手贴在上面,大约三秒钟后,系统就调整好了。
王最初在去年的计算机图形图像技术展(Siggraph)——计算机图形学领域最重要的会议上发布了这个手势跟踪系统。他说,但是当时这个系统需要花大约半个小时去调校,而且在光线太强的环境中的运行情况不是太好。不过,既然现在这个系统运行情况很好,他就想扩展这个想法,比如设计模式相似的能够被用于捕捉几乎全身运动的衬衫。这些身体动作捕捉系统已经被普遍用于评估运动员的体型,或者将演员的现场表演转化成数字动画,但是基于王和波波维克的技术的系统却要便宜得多,而且更方便使用。 |
|