1. 头部指向/眼动凝视
1.1 头控输入/传统QWERTY

1)一个虚拟的 Qwerty 键盘漂浮在用户面前(见图)。要输入一个字符,用户首先将光标移动到一个键上,然后通过在一个预定的时间(超时时间)上停留来选择相应的字符或按控制器键。10.6 wpm 的输入速度和 95.8% 的准确率。
2)该方法使用户能够通过按下控制器键而不是停留来选择字符。他们报告说到第 6次会议的输入速度为 15.6 wpm,准确率达到 98% 。
虽然这些方法可能会导致身体不适,因为它们会迫使用户不断移动头部,但在短期文本输入中可能有效,例如输入密码或搜索关键字, 短期文本输入中可能有效,例如输入密码或搜索关键字
1.2 头控输入/三模块QWERTY
Nibiru VR/AR
http://www.inibiru.com/app.html
1.3 眼动选择/凝视停留/QWERTY
https://dl.acm.org/doi/10.1145/3204493.3204541
通过眼动在QWERTY键盘上选择字母,并凝视该字母550ms确认选择,进行输入。输入速度是9.4 WPM,准确率为99%。
🎬屏幕录制2021-06-18 下午3.32.29.mov
1.4 眼动选择/按键确认/QWERTY
通过眼动在QWERTY键盘上选择字母,并通过控制器按键确认选择,进行输入。输入速度是10.2 WPM,准确率为99%。
屏幕录制2021-06-18 下午5.25.25.mov
https://dl.acm.org/doi/10.1145/3204493.3204541
2. 手势操作键入
这些方法通常使用外部摄像头、传感器和手套来跟踪手指、手腕和手势。
2.1 手指捏合/手腕旋转换行/QWERTY
pinch_keyboard.pdf
(pinchType)

它将第二行字母“a”、“s”、“d”和“f”分别映射到左侧的小指、无名指、中指和食指。使用这种方法,用户首先旋转他们的手来选择一行,然后通过捏合拇指和另一个手指来输入一个字符。该方法在用户研究中得到了评估,平均达到了 6.1 wpm 的输入速度和 90% 的准确率
2.2 手指捏合/键盘分区/智能词组/QWERTY

https://www.youtube.com/watch?v=EPPAGApfAzc
https://news.nweon.com/73935
如图片所示,用户除拇指外的每根手指对应一行或两行字母。例如,左手尾指对应于QAZ,左手食指对应于RFV和TGB;右手食指对应于YHN和UJM,右手尾指对应于P。
当将拇指与一根手指并拢时,用户即可选择与并拢手指对应的字母行。例如,如果左手大拇指与左手食指并拢,你可以选择RFV和TGB。
熟悉中文九宫键智能输入法的用户应该十分熟悉,你只需点击包含所需字母的宫格,智能系统便能够快速地匹配出你需要的字词。与这种方式类似,你只需在Pinchtype中选择包含所需词组的字母的行列,然后Facebook的解决方案将利用AI语言模型确定一系列潜在的单词,并根据概率将其排序在一个列表中。
另外,用户可以从列表中选择正确的单词,以防首先出现的单词不正确。你只需用左手或右手摆出捏合手势并上下移动选择即可。具体请看下面的视频
Facebook对14名被试进行了初步研究。被试都是第一次使用这种新颖的输入方式,而他们必须打出40个句子。结果:被试平均每分钟能够输入12个字。如果无需改正错误,每分钟能够达到20个字。被试同时表示,这种输入方式更为方便。
这项研究尚在研究之中,依然有改进的空间。
2.2 手指点选/9宫格
1)MessagEase


https://www.exideas.com/ME/applications.html
2)3✖️3多步骤AR/VR输入法
使用这种方法,用户首先通过按下按钮选择一个单元格,然后通过按下按钮一次或多次选择目标字符。
对应于字符在单元格中的位置(如 Multi-tap [6])。例如,要输入字母“p”,用户首先选择右上角的单元格,然后按两次按钮。这种方法体积小,节省空间,留出额外的工作空间,这在沉浸式环境中相当重要[8]。该方法尚未评估。https://link.springer.com/content/pdf/10.1007%2F978-3-642-24082-9_94.pdf

2.3 手指比划/手写输入法
FMKit
FMKit目前支持两种类型的输入设备,一种是以每秒110次扫描速度工作的Leap Motion控制器;另一种是以每秒50次扫描速度工作,并使用Python模块来收集、预处理和可视化扫描信号的定制惯性测量数据手套。作为一款用户识别系统,FMKit搭配Leap Motion的精确率达到93%以上,而搭配手套则接近96%。但对于手写识别,Leap Motion的效果更好,系统识别单词的精度最高达到87.4%。这尚不足以取代语音输入,但对于只能使用手指和头戴式传感器的系统而言,这是一个不错的开始。
2.4 Tap指环/手指敲击/新输入规则
Tap Trap2 为AR/VR增加打字输入解决方案

https://yivian.com/news/18053.html
https://www.tapwithus.com/
教学软件示意:https://www.youtube.com/watch?v=yHt5dYWz-dY
2.5 戒指手势滑动/智能词组/QWERTY
https://www.hackster.io/news/enter-text-in-ar-and-vr-using-word-gesture-typing-with-the-rotoswype-ring-bdda347d832e
RotoSwype Ring
当按下按钮时,MPU-6050 的板载 DMP 传感器会启动一种算法来处理加速度计/陀螺仪的值,以在键盘应用程序上提供方向。
2.6 十指映射/拇指选择/新输入规则
BlueTap 键盘
https://medium.com/eunoia-i-o/bluetap-the-ultimate-virtual-reality-vr-keyboard-77f1e3d57d6f
按字母顺序将字母映射到手指上,每个手指最多 4 个字符。用户用拇指轻敲手指的不同部位来选择字符。这种方法使用戴在手腕上的摄像头来检测敲击。
(左:双手,右:单手9宫格输入法映射)
3. 控制器输入
3.1 控制器锚点滑动/智能词组/QWERTY
3.2 控制器敲击/QWERTY/自动矫正
Awesome Virtual Reality Keyboard Created (video)
🎬屏幕录制2021-06-18 下午12.30.13.mov
https://www.geeky-gadgets.com/virtual-reality-keyboard-24-02-2017/
12.7 wpm 和 98.1% 的准确率。
3.3 控制器锚点点选/QWERTY

用户能够将控制器用作激光指示器。用户通过指向控制器将光标锚点移动到键盘上,然后在光标位于其上时通过按键选择一个字符。用户用两只手握住两个控制器,以方便双手输入。15.4 wpm 和 99% 的准确率
3.4 手柄空间移动/QWERTY
3.5 控制器点选/立方体键盘
https://paper.nweon.com/2432
用户通过使用控制器画笔来输入单词。键盘由 27 个按键组成,排列成 3 x 3 x 3(垂直、水平和深度)3D 阵列;字母表中的所有 26 个字母都分配给 26 个键;中心键是空白的。用户将控制器移动到单词的某个字母的键上,然后通过减慢移动来选择该键。
4. 触控板输入
4.1 面前触控板
FaceTouch:在移动虚拟现实的显示固定 UI 中启用触摸交互
https://dl.acm.org/doi/10.1145/2984511.2984576
利用背面作为触敏表面。借助FaceTouch,用户可以利用他们的本体感觉,通过触摸 HMD 背面的相应位置来指向和选择他们视野内的虚拟内容。这允许在移动和游牧场景中进行丰富的交互(例如手势),而无需携带额外的配件(例如游戏手柄)。
- 非正式测试中速度达到10wpm
- 这种方法在长时间使用时也会引起身体压力。
5. 摇杆输入
5.1 遥杆多向连续、离散选择/QWERTY

🎬屏幕录制2021-06-18 下午2.06.03.mov
连续:用户使用摇杆移动连续光标控制。8.4 wpm 和 87.8% 的准确率
离散:用户使用遥感一个个移动,或者按四个方向键移动光标,然后在光标位于目标字母时通过按键来选择一个字符。5.3 wpm 和 77.2% 的准确率
紧密贴合的键盘有一定的误触率(会键入目标字母的上下左右键盘),所以会进行分散字母的键盘进行测试。
5.2 摇杆多向选择/圆形键盘
PizzaText
遥感交互:使用 PizzaText 键盘 [ 42 ],用户可以使用右摇杆在键盘上移动并使用左摇杆选择字符。
5.2 摇杆旋转/螺旋圆键盘


值得一提的是,圆形键盘的输入速度比QWERTY键盘速度高67%(平均15.9wpm vs. 5.3 wpm),可能是因为圆形键盘布局的紧凑性,使其适用于多向的连续控制。 但是圆形键盘有较高的错误率(5.5% vs. 2.8%),可能是因为不熟悉布局。
6. 总结
6.1 五种输入方式的总结
- 头控/眼动

- 手势操作
- 控制器输入
- 触控板输入
- 摇杆输入
6.2 虚拟输入法面临的挑战
https://news.nweon.com/86066
1)XR交互环境中存在众多噪点,并会加剧将人类行为精确地解析成文本的挑战。一个特别具有挑战性的输入噪点源来自手的生理学。有意识的手指运动可以造成其他手指产生无意识的共活动。这种与物理键盘文本键入的根本区别暴露了一个不寻常的挑战:如何区分手和手指的耦合所产生的手指共运动。
对于物理键盘,按键的电阻可以缓解这个问题。但虚拟键盘则不同,共激活可能会引入不期望的输入事件
2)
6.2 虚拟输入法度量标准
1)达到传统键盘的输入效率,甚至可以提高效率。
希望在眼镜端也可以有效输入长文本,甚至可以简单地使用ARVR眼镜编写代码。
2)无认知负担,学习成本低。
用户没有认知负担来记住预定义的命令/键名/手势等。
3)可以在移动和分心或多任务状态下有效使用
(站在排队、公交车站、吃饭时、开车时、走路时、在家看电视时)
4)无需任何额外或补充硬件
用户无需携带单独的输入设备。
https://medium.com/eunoia-i-o/bluetap-the-ultimate-virtual-reality-vr-keyboard-77f1e3d57d6f
几个关键指标:
- 进入速度/学习成本
- 输入速度
- 输入准确度
- 身体与视觉疲劳度
- 物理空间要求
- 设备硬件成本
6.3 相关设备
——————————————————————————————————————————————
其他输入法
- 基于游戏手柄的输入法,全新规则

https://www.youtube.com/watch?v=Y1RhWiCNpe0
手柄输入法比较
虚拟现实中的文本输入:文献综合回顾
https://link.springer.com/chapter/10.1007/978-3-030-22643-5_33
TextEntryInVirtualRealityAComp .pdf
(idea:和tap指环结合,大拇指敲击换行,AR眼镜端有类似上面照片的键盘菜单,只需进行五指一一对应进行输入)
KITTY 键盘
KITTY 键盘 [30] 使用类似的方法,但它不是使用手旋转,而是使用具有六个自由度的拇指来选择一行。拇指前面的三个位置和拇指后面的三个位置被分配到不同的行。例如,左手小指和中拇指之间的捏合输入字母“a”。这种方法也缺乏触觉反馈。
VR虚拟键盘控制器输入评估
https://youtu.be/1NtChwmMQ6U

四种控制器+虚拟QWERTY键盘的评估
1)第一个使用户能够将控制器用作激光指示器。用户通过指向控制器将光标移动到键盘上,然后在光标位于其上时通过按键选择一个字符。用户用两只手握住两个控制器,以方便双手输入。15.4 wpm 和 99% 的准确率
2)第二个使用户能够将控制器用作触控笔,在字符上点击控制器以输入它,
3)第三个使用户能够将控制器用作操纵杆。用户通过按下四个方向键(即触摸板的四个边缘)在键盘上导航光标,然后在光标位于其上时通过按下一个键来选择一个字符。5.3 wpm 和 77.2% 的准确率
4)第四个用连续光标控制而不是离散移动选择。8.4 wpm 和 87.8% 的准确率
这四种技术它们在长时间使用时会造成身体压力。结果显示,后两种技术对体力的要求最低,但由于进入速度较慢,因此最令人沮丧。https://www.youtube.com/watch?v=Oe2byYvKTK8



