不必触摸屏,手指在手背上便可以独霸智能设备
导读
用过智好手表的同伙都深有体味:智好手表的触摸屏太小,独霸起来特别很是利便。可是,比来一项立异技能,让你只需求穿戴一个深度摄像头设备,便可以用拇指和食指在手背和其上方,逍遥操控智好手表,甚至还可操控智好手机、智能电视、和AR/VR设备等。
关头字
深度传感器、人机交互、AR/VR、智好手表、深度进修
布景
跟着技能不竭进步,新一代的智能设备比如智好手表、智好手机、智能电视、AR/VR设备等等,在措置器、展示屏、摄像头、传感器等方面的功用更佳,下场更多。
可是,人机交互,次要仍是依托触摸屏。当然,触摸屏技能不时在进步,展示了包含“3D touch”三维多点触控技能等良多立异盼看。可是,因为智好手表的触摸屏面积很小,用户手指和多么的触摸屏交互起来,会特别很是利便。
为此,John 之前给大年夜师引见过一些立异的人机交互编制,以下:
FingerIO技能,它独霸传统的声纳技能,追踪手指在设备邻近的行动,从而完成人机交互。
(图片本源:Dennis Wise/华盛顿除夜学)
SkinHaptics 超声波技能,它经由过程手掌后背的超生波产生发火器,发送超声波,检测手心产生发火的人机交互的触觉旗子记号,将人的手掌变成触控屏。
(图片本源于:英国萨塞克斯除夜学 )
SkinInte***ce 技能,它独霸人体作为电波导拆卸,延续监测皮肤上的手指行动。
(图片本源于:卡耐基梅隆除夜学)
「Whoosh」、「WatchOut」、「TapSkin」 等几种独霸智好手表的技能。
「Whoosh」向触摸屏吹气
(图片本源于:佐治亚理工学院)
「WatchOut」手指在表壳或表带上点击或动弹
(图片本源于:佐治亚理工学院)
「TapSkin」手带领击皮肤区域
(图片本源于:佐治亚理工学院)
立异
除以上这些人机交互立异筹划,我们往日要引见一项最新的人机交互方面的立异技能:“WatchSense”,它次要独霸了深度传感器,在手背外不雅和其上方空间,追踪拇指和食指的行动,作为人机交互的输进编制独霸。
这项技能是由马克斯普朗克信息学研究所、哥本哈肃除夜学、阿尔托除夜学的科研人员连络斥地,次要研究人员有马克斯普朗克信息学研究所图形、视觉和视频研究组的 Srinath Sridhar 和 Christian Theobalt,和哥本哈肃除夜学的 Anders Markussen 和 Sebastian Boring、芬兰阿尔托除夜学的 Antti Oulasvirta 。
(图片本源于:Oliver Dietze)
该琐细仅仅独霸了一个小型深度摄像头,便可以追踪位于手背上方的手指三维职位,还能检测手指与手背的触摸,同时剖断出是哪个手指。复杂点说,它可和时检测指尖、手指身份和触摸义务(在平板电脑上除夜于 250 Hz,在智好手机上除夜于 40 Hz ),支撑空中和多点触摸。
(a, b) WatchSense 追踪指尖在空中的职位和手背的触摸。
(c) 它可以分辨不合手指,比如拇指和食指。
(d) WatchSense 可以更好的辨认半空中的手指职位(上右)、手背上的触摸(下左)、和这两种编制的连络。
(图片本源于:参考材料【2】)
(a) 用户佩带一个深度传感器,经由过程WatchSense技能,能在手背皮肤外不雅和上方举办交互输进。
(b)这个原型经由过程在用户前臂佩带一个小型深度摄像头,模仿智好手表的设置。
(c)它可以在挪动消费电子设备上,及时追踪指尖3D职位,用户身份、手背上的触摸,使得用户在举办活动的同时,也可以大年夜大年夜约展开空中和多点触摸交互。
(图片本源于:参考材料【2】)
技能
(图片本源于:参考材料【1】)
硬件
硬件真实很复杂,就是一个深度传感器,它比 Xbox 360 视频游戏中的 “Kinect”游戏独霸器要小良多。它真实也是一个3D摄像头,穿戴于用户前臂,离智好手表约20厘米处,可捕获手背外不雅及上方空间中的拇指和食指行动。
软件
该软件的中心是算法,此顶用到了图象措置技能和深度进修技能,经由历程度析3D图象,辨认手指职位和行动。这个软件算法次要措置了手背外不雅凹凸不服、和手指熟行动时会彼此遮挡的问题。
用户可以经由过程软件,独霸智好手机或此外设备的独霸法度圭表类型。
测试
研究人员成功在几个挪动设备(平板电脑、Nexus 9平板、OnePlus 3手机)上模仿不合场景,对 WatchSense 原型设备的下场举办测试。
(图片本源于:参考材料【1】)
(图片本源于:参考材料【1】)
价值
这类新型的交互技能,带来了史无前例的交互编制,疾速而便捷。为了简明叙说这项技能的价值,研究人员也列举出了它的一些独霸:
音乐独霸器
运转在安卓手机上的 WatchSense 独霸法度圭表类型,主动供给音乐播放器独霸下场,它具有三个下场: (1) 调剂音量 (2) 改削音轨 (3) 音乐回放,且独霸音乐播放下场的终局比安卓手机默许的编制要更好,更疾速,更逍遥。
AR/VR 输进设备
研究人员独霸了一个 VR/AR游戏,经由历程度歧的手指的组合独霸编制,独霸这些纸箱。
(图片本源于:参考材料【2】)
智好手表上的地图独霸
独霸WatchSense拆卸,用户可以经由过程手指控制智好手表上的地图独霸,比如经由过程食指触摸手背挪动地图,经由过程食指和拇指的触摸手背缩放地图,经由过程拇指触摸手背,食指悬停于手背上方,翻看地图菜单。
(图片本源于:参考材料【2】)
在除夜屏幕上搜检图片
WatchSense 拆卸可用于在除夜型内部屏幕上搜检图片,上面展示了几种手指行动的合营编制,用于挪动图片、缩放图片等等。
(图片本源于:参考材料【2】)
所以说,这项技能不单可以用于独霸智好手表、还可以用于独霸智好手机、智能电视、和AR/VR设备。绝对之前的感知技能,它更矫捷,更利便。
将来
如今来讲,这个设备另有以下一些偏向:
之一,有点粗笨,需求进一步小型化。
第二,受限于近距离感知,深度传感器必须放在离身手20厘米放置处。感知的距离和终局另有待于进一步进步。
第二,这个设备只支撑拇指和食指,将来需求支撑更多手指行动辨认。
第三,软件算法有待拓展,以支撑任何物体外不雅的独霸。
将来,研究人员会进一步拓展这项技能,带来更丰富的人机交互编制,并且传感器会愈加小型化,甚至可以嵌进到智好手表中。
参考材料
【1】http://handtracker.mpi-inf.mpg.de/projects/WatchSense/
【2】http://handtracker.mpi-inf.mpg.de/projects/WatchSense/content/WatchSense_CHI2017.pdf
需求进一步参议交换的同伙,请直接联络作者微信:JohnZh1984,或微信存眷群众号:IntelligentThings。
立异机警