个人可以直接与物理环境交互和/或感知物理环境,例如通过触觉、视觉、嗅觉、听觉和味觉。对于模拟现实(Simulated Reality;SR),个人同样可以使用任何一种感官(包括触觉、嗅觉、视觉和味觉等)来与SR对象交互和/或感知SR对象。
目前一系列的电子设备都允许个人能够与各种SR对象进行交互和/或感知SR对象,例如头显,平板电脑,智能手机或笔记本电脑。但是,要支持多名用户共享同一个SR环境是一个问题。
所以,苹果在一份专利申请中提出了名为“Display device sharing and interactivity in simulated reality (sr)”的技术,从而允许多名用户就相同的SR环境进行交互。
专利描述的各种实施例主要用于支持不同用户共享同一个SR体验。具体来说,所述方法旨在以SR设置共享同一显示设备的显示内容。
简单来说,用户A可以穿戴头显A并操作智能手机A,然后用户B可以穿戴头显B。然后,对于用户B,头显B可以显示智能手机A的虚拟版本,并允许用户B用真实双手其进行操作。对于用户A,头显A可以显示用户B通过虚拟双手操作智能手机A的增强现实场景。以这种方式,用户A和用户B都可以共享智能手机A的控制和操作。
在一个实施例中,从第一用户获取针对第一显示设备的手势输入,并且第一显示设备与第一SR设备通信。所述方法同时包括,响应于获得手势输入,将第一显示的表示发送到第二SR设备。所述方法进一步包括,从第二SR设备接收针对第一显示设备的输入消息,其中所述输入消息包括由第二SR设备从第二用户获得的输入指令。然后,所述方法将输入消息发送到第一显示设备以供第一显示设备的第一显示设备执行。
例如,第一用户可以穿戴佩戴头显并手持智能手机,其中头显和智能手机通过通信范围内的有线或无线连接进行配对。当第一用户提供与显示设备相关联的手势输入时(例如向第二用户移动或倾斜智能手机),则向第二用户提供显示设备的SR表示。例如,可以将显示设备的显示投影到第二用户可以看到的墙上,或者以SR设置在TV中显示显示设备的用户界面,或者以SR设置显示代表显示设备的浮动面板。
通过共享SR设置,第二用户可以与显示设备交互,并与第一用户共享显示设备的控制和操作。
如上图所示,SR设备104呈现场景106,在一个实现中,场景106由SR设备104或SR设备104中的控制器102生成。在一个实现中,场景106包括模拟替换真实世界场景的虚拟场景。换句话说,在一个实现中,场景106由SR设备104或SR设备104中的控制器102模拟。
在上述实现中,场景106不同于SR设备104所在的真实世界场景。在同一个实现中,场景106包括作为真实世界场景的修改版本的增强场景。例如,SR设备104或SR设备104中的控制器102修改/增强SR设备104所在的真实世界场景,以便生成场景106。
在一个实现中,SR设备104或SR设备104中的控制器102通过模拟SR设备104所在的真实世界场景的副本来生成场景106。在一个实现中,SR设备104或SR设备104中的控制器102通过从SR设备104所在的真实世界场景的模拟副本中移除和/或添加项目来生成场景106。
换句话说,在一个实现中,SR设备104或SR设备104中的控制器102可以生成叠加于真实世界的数字对象的AR场景。
在一个实现中,响应于检测到与第一用户410-1持有的第一显示设备420-1相关联的手势输入,第一显示设备420-1在第一用户410-1和第二用户410-2之间共享。例如,在图5B的示例性SR设置500B中,第一用户410-1手臂垂下地拿住第一显示设备/智能手机420-1(智能手机靠近大腿的位置),过渡到将抬起第一显示设备420-1以进行查看。
在一个实现中,朝另一用户方向移动第一显示设备420-1的手势输入可以触发协作模式。例如,在图5B中,在共享SR设置500B中,即便第二用户410-2(未示出)位于远方,第一用户410-1都可以感知成第二用户410-2(未示出)站在第一用户410-1的前面。因此,第一用户410-1可以在朝第二用户410-2的方向将第一显示设备420-1交给他,使得第二用户410-2可以在共享SR设置中接收、查看和/或与第一显示设备420-1交互。
如图5C的示例性设置500C所示,在进入协作模式时,SR设置包括由第一用户410R-1’的右手握住的第一显示设备420-1’的SR表示。SR设置同时包括第一用户410L-1’的左手。SR设置同时包括第二用户410L-2’的左手的表示,表示第二用户输入模拟触摸输入(例如,模拟点击手势)到第一显示设备420-1’的SR表示。
所以,尽管第一用户410-1和第二用户410-2在现实世界中之间存在物理距离,但通过SR设置500C,第一用户410-1和第二用户410-2都可以与第一显示设备进行紧密交互。
名为“Display device sharing and interactivity in simulated reality (sr)”的苹果专利申请最初在2019年9月提交,并在日前由美国专利商标局公布。