视频编码

H.264

H.264 is a new video codec standard which can achieve high quality video in relatively low bitrates. You can think it as the “successor” of the existing formats (MPEG2, MPEG-4, DivX, XviD, etc.) as it aims in offering similar video quality in half the size of the formats mentioned before.

参考资料：

H.264 SVC

参考资料：

HEVC (H.265)

H.265 在相同码率下会比 H.264 编码出更清晰的图像。H.265 能比 H.264 省百分之五十左右的带宽。但是 H.265 的算法复杂度更高，计算能力要求更高。

音频编码

OPUS

OPUS 在实时语音中是一个最优的选择。

VAD

VAD 为人声检测，可降低网络传输的带宽消耗。

硬编码、硬解码

利用 GPU 编码解码的话，就是硬编码、硬解码。在能效比上硬编码硬解码是最好的。

软编码、软解码

利用 CPU 编码解码的话，就是软编码、软解码。软编码、软解码一般是降级的选择。

深度学习

深度学习相比传统的算法，它的优点在于它可以进行样本的学习。

CDN、直播

直播运用到类似于 CDN 的技术，但是达不到实时的效果。

直播中最好的延迟为 1s。

参考资料：

连麦

实时通话或连麦，其平均延迟需要在 400ms 以内。

推流

以直播距离，就是将主播的视频流推给平台，然后其它观众可以看到主播的视频。

合流

主播画面可以与接收到的连麦者的画面合并成一个画面，则为合流

转码

主播直播的时候可能选择的是最高清的画质，但是观众在选择回播的时候，可能回有选择低清的需求，这时候就需要对视频进行转码。

  • 变声
  • 美声
  • 美颜
  • AR

  • VR

  • 大频道

  • 超大频道

  • 麦序

  • 抢麦：谁抢到就谁有发言权
  • 黑麦：我讲话，别人听不到

  • 串麦：

  • H5：手机端的 HTML5 页面

  • 小程序
  • 小游戏
  • WebRTC：基于 Web 端实时音视频技术

常见游戏引擎：

原生游戏引擎

  • Unreal
  • U3D

H5 游戏引擎

  • Cocos2d
  • 白鹭
  • Layabox
  • 自研