对于热门的FPS第一人称射击游戏,提升沉浸感是厂商关注的一个重要课题。由于VR设备提供的是一对左右控制器,而非枪型外设,所以有效模拟实际枪械的操作画面非常关键。例如,在手持步枪时,左手控制器可以模拟枪托/枪管,而后手控制器可以模拟握把和板机。然而,当用户需要希望通过瞄准镜来进一步瞄准敌人时,如何将视图自动切换成瞄准镜视图并将目标对象自动居中成为了一个问题。
在名为“Aiming display automation for head mounted display applications”的专利申请中,索尼就介绍了一种相关解决方案,并旨在帮助用户进一步获得身临其境的体验。
图2是示出了一个用户交互方法流程图200。特别地,流程图200允许玩家能够在手持枪械武器时获得完全身临其境的体验。
在210,渲染游戏虚拟游戏环境的正常视图,并在玩家的头显中显示。
在220,检测持有第一控制器和第二控制器的用户姿势,并判断姿势指示用户正在持有虚拟枪械武器。
在230,检测玩家的姿势抬到射击位置。例如,游戏系统可以检测到双臂抬高到腰身上方,这表明双手处于握持武器和发射攻击的位置。特别地,游戏系统可以确定两个手臂和/或控制器都有抬起,并且一个手臂/控制器延伸远离身体,而另一个手臂和/控制器靠近玩家的胸部。
在240,检测玩家的姿势与用户的面部对齐。这表明用户准备在虚拟游戏环境中发射武器。
在250,检测用户的第一只眼睛是闭着的。例如,游戏系统可以配置为检测玩家的至少一只眼睛已经闭上。这可能表明玩家正尝试使用位于虚拟武器上方的虚拟瞄准镜。
在260,检测虚拟环境中的对象,并确定与用户对准姿势作为目标的对象。特别地,游戏系统可以配置为确定玩家在虚拟游戏环境中作为目标的对象。例如,目标对象可以位于离从武器末端绘制的视线最接近的位置。
在270,在虚拟环境中渲染作为目标对象的放大视图,并在头显中显示瞄准镜视图。这种瞄准镜模式视图可以自动将目标对象居中,例如以瞄准镜的虚拟十字准线为中心。以这种方式,当发射虚拟武器时,用户将有高纪律击中以瞄准镜十字线为中心的目标对象。
图3示出了一个游戏系统300。系统300可以用于追踪与用户350相关联的移动。用户350穿戴头显310。
用户350可以操作控制器360A和360B以提供游戏输入。在一个实施例中,控制器360A和360B可以包括用于追踪控制器的定向和位置的惯性传感器。如图所示,控制器360A由用户350的右手352握持,而控制器360B由左手356握持。控制器360A和360B中的每一个可以与计算设备330通信。
与头显310集成的内向外摄像头和/或追踪系统320可以与计算设备330通信,并可以配置为捕获图像或其他数据。以这种方式,系统可以追踪用户的移动并转换为姿势,例如用户正在尝试使用武器的瞄准镜,并触发的瞄准镜视图。
在一个实施例中,注视点系统325用于追踪用户的视线。在一个实施例中,注视点追踪系统325配置为确定眼睛的状态,例如当眼睛睁开和/或闭合时。
图4A-4C示出了将用户动作转化为操纵和瞄准武器,以触发进入瞄准镜模式视图的情况。
图4A示出了玩家350的姿势。如图所示,控制器360A由右手351握持,控制器360B由左手355和握持。
从玩家350投影出各种水平线450,并用于定义玩家可以参考的视线范围。线450D从玩家350的腰身延伸。换句话说,线450D大致定义玩家350的腰高。另外,线450A、450B和450C的组合限定了玩家350的眼睛可以参考的高度范围。
如图所示,游戏系统检测到控制器360A和360B姿势,以指示由玩家控制的角色应该在游戏环境中操作虚拟武器。如图所示,手351和355和/或控制器360A和360B都在指示玩家350的腰身上方。当检测到这个姿势时,游戏系统识别出玩家控制的角色现在正在操作虚拟武器。
在一个实施例中,姿势可以指示用户处于准备位置,亦即处于一个可以瞄准和射击的位置。例如,游戏系统可以配置为检测玩家用一只手拿着第一控制器,并且用第二只手拿着第二控制器。另外,游戏系统被配置为检测第一控制器与玩家的身体非常接近,检测第二控制器远离用户的身体。
在图4B中,玩家350做出将虚拟武器抬升到射击位置。在图4A中检测到玩家350的姿势之后,玩家可以做出进一步的动作和/或姿势以指示虚拟武器应该处于射击位置。换句话说,角色应该以允许立即开火的方式操作虚拟武器。
如图所示,游戏系统检测到控制器360A和360B抬升到比图4A所示更高的位置,例如更靠近眼睛水平的下边界,如线450C所示。另外,游戏系统可以检测到一个控制器保持为从玩家350的身体伸出,并且另一个控制器保持为更靠近或接近玩家350的身体。
图4C示出了图4A-4B的用户或玩家350使控制器360A和360B与玩家的眼睛对准,并检测到玩家正在做出尝试使用虚拟瞄准镜的姿势,以便触发进入瞄准镜模式视图。
图4C中所示的玩家350的位置和方位保持在射击位置,但调整以指示与虚拟武器的虚拟瞄准镜的交互,从而实现增加的瞄准能力。
游戏系统检测到一个控制器(例如,控制器360A)保持为在眼睛的水平处从玩家350的面部伸出,并且另一个控制器保持为更靠近或接近玩家350的脸部。更具体地,游戏系统检测到控制器360A和360B中的每一个抬升高到与玩家350的至少一只眼睛大致水平的位置,并足够高以与用户的眼睛对准。
为了与玩家350的眼睛完全对准,控制器360A和360B中的每一个将沿着线450B定位,线450B处于玩家350的视线水平。以这种方式,在控制器抬高以指示正在射击位置处理虚拟武器之后,当控制器360A和360B与玩家的眼睛对准时,这指示玩家希望使用虚拟武器的虚拟瞄准镜。
另外,可以通过眼动追踪摄像头来进行确定。通过眼动追踪系统检测用户的至少一只眼睛闭合。同时,可以通过追踪用户头部倾斜等动作来进行确定。
一旦检测到额外的一个或多个动作(例如闭上眼睛和头部倾斜等),则在头显310中示出瞄准对象的放大视图。换句话说,头显可以从虚拟游戏环境的正常视图切换到瞄准镜视图。
图5A示出了虚拟游戏环境的正常视图。如图所示,F视场510包括位于明火附近的士兵520的丛林场景,以及遮蔽物530。图5B示出了在玩家350的动作触发查看瞄准镜之后显示的瞄准镜视图550。
当头显310显示目标对象的瞄准镜视图时,被瞄准的对象(士兵520)可以以瞄准镜模式视图的十字线555为中心。在其他实施例中,被瞄准的对象可能不是完全居中,并且需要玩家的额外动作来将目标对象与十字准线555对准。对于这一点,可以通过眼动追踪系统进行确定。
名为“Aiming display automation for head mounted display applications”的索尼专利申请