Oculus Mixed Reality Capture
Oculus Documentation - Mixed Reality Capture

以第三人称视角观察玩家和场景

在支持MRC的引擎项目文件夹创建bat

  1. 项目名.exe -mixedreality

Note
在quest中,校准摄像头之后,使用oculus MRC OBS 插件链接到游戏
Oculus会在游戏中自动添加一个和配置一个额外摄像头,跟随游戏中的首个PlayerController

image.png

image.png

image.png
Note
Rift可以做External Composition 和 Direct Composition
Quest 只能做External Composition

当Detatil的Rendering的Owner No See 开启,Rift HMD 只对其他人开放,而非自己。

如何实现MRC蓝图

具体解释上面的节点

Set Tracking Reference Component

让我们可以设置一个场景组件,让camera跟踪。它一般设置在VR空间的中心

Get Tracking Reference Component

可以获取正在使用的是哪个component

默认情况,摄像机会追踪第一个PlayerController

Set MRC Scaling Factor

当Player被放大缩小的时候会被用到,
它将影响追踪到的头部和Controller motion 如何映射到游戏中玩家的运动
注意:pawn被设置不同的是scaling 的时候,这个节点也要被设置成同样的缩放比
而且,xyz是同等缩放的。

Set MRC Scaling Factor

获取正在使用的缩放比

Get Oculus MR Settings

读取和修改 设置集合,这些设置会被写入engine.ini文件中

这些设置不会随着关卡变化,而且控制着游戏捕获的各种属性

一些常见问题 MRC Incompatibilities

Body or hand models

如果为虚拟玩家设置了身体
这时候发现拍摄的真人和虚拟身体之间不同步
这时候需要通过 only owner see 选项解决

Head-locked HUDs and UIs

这些不希望MRC拍摄到

Transparency

半透明物体通常与场景中先前渲染的物体重合,
并在区域中渲染出一种新的颜色
但是由于GPU限制,MRC的前景部分只支持预乘的alpha值
我们无法计算出正确的alpha值

这种情况下,

  • rift中的透明对象会和背景色混合
  • quest中的透明对象不会在前景中渲染,

Tight Corridors,walls,objects close to player

玩家和MRC摄像头可能被一个大墙挡住,这需要检查然后,重新安排物体,确保不会影响MRC

Performance issues

需要测试性能,因为渲染第三个摄像头需要额外的渲染资源
如果没有启用MRC就已经资源紧张,那么启用后,会有严重性能问题

可以采取的方法

  • using fewer particle effects
  • lowering draw distance
  • Reducing the use of transparency
  • Reducing mesh, texture and scene detail

参考资料

Oculus Documentation - Oculus MR Settings Blueprint
Oculus Documentation - Mixed Reality Capture