参考资料

https://docs.microsoft.com/zh-cn/windows/mixed-reality/discover/case-study-expanding-the-design-process-for-mixed-reality

开发工具包

  • Windows Mixed Reality
  • 混合现实工具包 (MRTK)
  • Unity 和 Unreal

概念

混合现实是将物理世界与数字世界相融合的结果。

  • 环境输入
  • 空间音效
  • 真实和虚拟空间中的位置和定位

image.png

人类与计算机的交互方式的改进

image.png
算机与环境之间的交互实际上是对环境的理解或认知，这就是 Windows 中显示环境信息的 API 称作感知 API 的原因。 环境输入捕获如下所述的信息：

  • 用户在世界上的位置（头部跟踪）、
  • 表面和边界（空间映射和场景理解）、
  • 环境照明、
  • 环境音效、
  • 对象识别和定位。

    增强现实与虚拟现实的区别

  • 是否具备具备环境理解功能，具备的是AR不具备的是VR
  • VR提供的体验无法混合物理现实和数字现实。
  • AR在物理世界的视频流中叠加图形的体验是“增强现实”。
  • VR 遮挡视图以呈现数字体验的体验是“虚拟现实”。
  • 在增强现实和虚拟现实之间实现的体验形成了“混合现实”
特征 全息设备 沉浸式设备
示例设备 Microsoft HoloLens

001 混合现实开发guide - 图3		 Samsung HMD Odyssey+

001 混合现实开发guide - 图4
显示器 看透显示内容。 可让用户在戴上头戴显示设备时观看物理环境。 不透明显示。 在戴上头戴显示设备时阻挡物理环境。
移动 六度自由全方位运动，支持旋转和平移。 六度自由全方位运动，支持旋转和平移。

Windows 10 为设备制造商和开发人员提供了一个通用的混合现实平台。 当今的设备可以支持混合现实范围内的某个特定范围，而新设备扩展了该范围。 未来，全息设备将变得更有沉浸感，而沉浸式设备也将变得更有全息感。
image.png

全息图

通过 HoloLens 可以创建全息影像，它们是由出现在你周围的光线和声音组成的对象，就像真实对象一样。 全息影像会响应你的注视、手势和语音命令，并可与你周围的实际表面交互。

如何完成设计

image.png

bodystorming

实际空间中鼓励与物理属性交互。 使用简单、廉价的构造材料，我们构建物理属性来表示数字对象、用户界面和动画，并获得建议的体验。
image.png
Bodystorming 是一种技术，用于快速生成创意，并评估过于含混的概念。
bodystorming 的目的是通过鼓励参与者在空间上快速高效地进行 ideate。
详细的图稿或精确度量并不重要。 物理属性只需满足最小要求才能浏览或传达想法。

操作和专家反馈

image.png

开发旅程

开发选项

Unity - Unity 是市面上领先的实时开发平台之一

C++基础代码 + C# 脚本

可用的硬件平台

增强现实设备
HoloLens（第 1 代）
HoloLens 2
沉浸式 VR 头戴显示设备
HP Reverb 和 Reverb G2
Samsung Odyssey 和 Odyssey+
HP Windows Mixed Reality 头戴显示设备
Lenovo Explorer
Acer AH101
Dell Visor
Asus HC102
Acer OJO 500

可用工具和 SDK

Unity 的混合现实工具包

云服务

Unity 开发历程 — 包含了全系显示的云服务支撑

● Dynamics 365 Guides

可使用 Microsoft Dynamics 365 Guides 直观地将全息说明绑定到应用虚拟环境

示例

HoloLens（第 1 代）开源示例应用