李超WebRTC音视频-听课笔记

白天 夜间 首页 下载 阅读记录
  我的书签   添加书签   移除书签

12-28 -FrameBuffer

浏览 104 扫码 分享 2023-11-19 16:50:50
  • 调用栈
  • OnCompleteFrame
  • InsertFrame
  • 解码过程

    调用栈

    image.png

    OnCompleteFrame

    image.png

    InsertFrame

    image.png

    解码过程

    就是解码线程从FrameBuffer中获取视频帧，并且生成一个任务，将该帧放到该任务进行解码处理。
    image.png
    image.png

    若有收获，就点个赞吧

    0 人点赞

    上一篇:
    下一篇:
    • 书签
    • 添加书签 移除书签
    • 1-WebRTC实时互动直播技术入门与实战
      • 目录介绍
      • 第1章 学习指南
      • 第2章 WebRTC原理与架构
      • 第3章 Web服务器原理与Nodejs搭建
      • 第4章 JavaScript必备知识回顾
      • 第5章 WebRTC设备管理
      • 第6章 WebRTC音视频数据采集
      • 第7章 WebRTC音视频录制实战
      • 第8章 WebRTC信令服务器实现
      • 第9章 WebRTC网络基础补充：P2P/STUN/TURN/ICE知识
        • 9-1-7 stun和turn协议
        • 9-8-9 tcpdump 与 wireshark讲解
      • 第10章 端对端1V1传输基本流程
      • 第11章 WebRTC核心之SDP详解
      • 第12章 实现1V1音视频实时互动直播系统
      • 第13章 WebRTC核心之RTP 媒体控制与数据统计
      • 第14章 WebRTC非音视频数据传输
      • 第15章 WebRTC实时数据传输网络协议详解
      • 第16章 Android端与浏览器互通
        • 旧版本Android Studio工程升级AS后的编译
      • 第17章 iOS端与浏览器互通
        • Swift App工程
      • 第18章 课程总结
    • 2-百万级高并发WebRTC流媒体服务器设计与开发
      • 目录介绍
      • 第1章 课程导学与准备工作
      • 第2章 C 语言基础回顾【已掌握，可略过】
      • 第3章 服务器基础编程
      • 第4章 网络编程基础
      • 第5章 异步I/O事件处理
        • 5-3 再论select函数
      • 第6章 epoll实现高性能服务器
      • 第7章 libevent实现高性能网络服务器
      • 第8章 TCP/IP详解
      • 第9章 UDP/RTP/RTCP 详解
      • 第10章 WebRTC协议
      • 第11章 SDP协议与WebRTC媒体协商
      • 第12章 各流媒体服务器的比较
      • 第13章 mediasoup服务器的布署与使用
      • 第14章 mediasoup的信令系统
      • 第15章 mediasoup源码分析
        • 15-5-6 进程间通信之匿名管道
        • 15-7 mediasoup下channel创建的详细过程
        • 15-8 mediasoup中的消息确信与发送事件机制
        • 15-9 mediasoup的主业务流程
        • 15-10 mediasoup连接的创建
        • 15-11 mediasoup数据流转
        • 15-12 WebRTC流媒体服务器大规模布署方案
        • mediasoup学习资料
      • 第16章 课程总结
    • 3-WebRTC源码级深度解析
      • 本课程笔记的webrtc环境
      • webrtc的相关博客推荐
      • 第1章 课程介绍与学习指南
        • webrtc导读
      • 第2章 WebRTC的整体架构
        • 2-7 webrtc整体架构(重要)
        • 2-6 为何要选择使用webrtc？(重要)
        • 2-5 几个重要指标和评测方法
        • 2-3 实时互动直播的难点
        • 2-2 直播技术的方向
      • 第3章 WebRTC源码分析环境的搭建
        • 1-编译WebRTC源码
        • 2-webrtc重要的demo
      • 第4章 开启WebRTC源码分析之路
        • 4-1 分析WebRTC必经之路章节概述
        • 4-2 一对一实时通信架构
        • 4-3 peerconnection_client的构成
        • 4-4 几个重要的信令
        • 4-5 webrtc的媒体协商
        • 4-6 完美协商
        • 4-7 Windows窗口与消息
        • 4-8 实战-实现一个最简单的Windows应用程序
        • 4-9 peerconnection-client界面
        • 4-10 源码分析-client界面
        • 4-11 client的信令逻辑
        • 4-12 client源码分析-信令的实现
        • 4-13 WebRTC-Native开发过程
        • 4-14 源码分析-媒体协商
        • 4-15 源码分析-视频渲染
      • 第5章 抓住WebRTC的脉络 （深入理解WebRTC的线程模型）
        • 5-1 WebRTC线程模型概述
        • 5-2 线程基础知识
        • 5-3 常见的线程模型
        • 5-4 WebRTC中的线程
        • 5-5 WebRTC中的线程管理
        • 5-6 WebRTC三大线程
        • 5-7 WebRTC线程的启动与运行
        • 5-8 WebRTC事件处理基础知识
        • 5-9 WebRTC线程事件处理
        • 5-10 WebRTC接口宏
        • 5-11 WebRTC接口的设计原理
        • 5-12 WebRTC接口调用过程
        • 5-13 Post方法进行线程切换
      • 第6章 开始“聊天”之前先认识一下 （WebRTC媒体协商）
        • 6-1 WebRTC媒体协商--综述
        • 6-2 SDP协议
        • 6-3 WebRTC中的SDP类结构
        • 6-4 如何生成SDP
        • 6-5 编解码器信息的收集
        • 6-6 编解码器信息的收集之二(重要)
        • 6-7 源码分析-CreateOffer之一
        • 6-8 CreateOffer源码分析之二
        • 6-9 源码分析-SetLocalDescription之一
        • 6-10 源码分析-SetLocalDescription之二
        • 6-11 收集Candidate的过程
        • 6-12 生成SDP文本信息
        • 6-13 解析SDP文本信息(代码分析)
        • 6-14 源码分析-CreateAnswer
        • 6-15 源码分析-SetRemoteDescription
      • 第7章 音频数据采集
        • 7-1 音频数据采集与播放章节概述
        • 7-2 ADM的创建
        • 7-3 CoreAudio基本开概念
        • 7-4 CoreAudio-API
        • 7-5 AudioDeviceWindowsCore的构造函数
        • 7-6 ADM初始化
        • 7-7 源码分析-ADM初始化之枚举音频设备
        • 7-8 ADM初始化之InitSpeaker
        • 7-9 ADM初始化之设置通道数
        • 7-10 ADM初始化之InitMicrophone
        • 7-11 AudioState
        • 7-12 Engine_PeerConnection_Call等对象之间的关系
        • 7-13 打开播放设备
        • 7-14 InitPlay基础知识
        • 7-15 InitPlayout源码分析
        • 7-16 播放声音的基础API
        • 7-17 播放声音的具体流程
        • 7-18 源码分析-StartPlayout
        • 7-19 再论音频DMO
        • 7-20 源码分析-InitRecording
        • 7-21 StartRecording处理逻辑
        • 7-22 源码分析-StartRecording
      • 第8章 视频数据采集
        • 8-1 视频采集本章概述
        • 8-2 DirectShow基础知识
        • 8-3 WebRTC视频采集整体架构
        • 8-4 视频处理流程的建立
        • 8-5 源码分析-视频处理流程的建立
        • 8-6 构造设备信息对象
        • 8-7 获取音视频设备信息基础知识
        • 8-8 源码分析-获取视频设备信息
        • 8-9 创建并初始化VideoCapture
        • 8-10 源码分析-构造并初始化VideoCapture
        • 8-11 获取CaptureFilter
        • 8-12 获取CaptureFilter的输出Pin
        • 8-13 构造SinkFilter
        • 8-14 源码分析-SinkFilter的构造
        • 8-15 获取SinkFilter的输入Pin
        • 8-16 Filter之间的连接(重点)
        • 8-17 SetCameraOutput
        • 8-18-19 源码分析-连接Filter(调用SetCameraOutput函数)
        • 8-20 输出采集后的视频数据
      • 第9章 音频引擎（音频编解码）
        • 9-1 音频引擎章节概述
        • 9-2 音频引擎架构
        • 9-3 创建音频引擎
        • 9-4 音频初始化之编解码器的收集
        • 9-5 音频初始化之AudioState对象的创建
        • 9-6 音频引擎初始化之获取音频数据
        • 9-7 Channel-Stream与编解码器(重要)
        • 9-8 创建音频编码器之一
        • 9-9 源码分析创建Opus编码器(重要)
        • 9-10 音频编码
        • 9-11 音频解码器的创建
        • 9-12 音频解码
      • 第10章 视频引擎（视频编解码）
        • 10-1 视频引擎章节概述（本章讲啥内容）
        • 10-2 视频数据采集的时间
        • 10-3 视频分发器VideoBroadcaster
        • 10-4 视频数据是如何进入视频分发器的
        • 10-5 视频引擎及其作用
        • 10-6 -视频编码器的创建与视频编码流程
        • 10-7 -VideoStreamEncoder的创建
        • 10-8 -获取编解码器参数
        • 10-9 -应用视频编码参数
        • 10-10 -创建WebRtcVideoSendStream的时机
        • 10-11 -创建内部VideoSendStream
        • 10-12 VP8编码器的创建及编码
        • 10-13 -应用视频解码器参数
        • 10-14 -编解码器CodecID的设置
        • 10-15 -SessionDescription1
        • 10-16 -创建WebRtcVideoReceiveStream
        • 10-17 -创建解码器及初始化
        • 10-18 视频解码渲染（重点）
      • 第11章 深入理解WebRTC网络传输
        • 11-1 -深入理解WebRTC网络传输-概述
        • 11-2 -网络设备管理
        • 11-3 -读取网卡信息的重要API
        • 11-4 源码分析-CreateNetworks
        • 11-5 获得本地默认IP地址和端口(概念)
        • 11-6 获取本地默认IP地址和端口(源码分析)
        • 11-7 ICE概念
        • 11-8 Candiate
        • 11-9 创建PortAllocator
        • 11-10 创建PortAllocatorSession
        • 11-11 创建AllocationSequence
        • 11-12 收集Candidate
        • 11-13 获取本地Canidadate
        • 11-14 STUN协议
        • 11-15 发送StunBindingRequest消息
        • 11-16 收集Srflx类型的Candidate
        • 11-17 TURN协议基本原理
        • 11-18 TurnClient与TurnServer的连接过程(重要)
        • 11-19 Turn协议数据传输机制
        • 11-20 收集Turn类型Candidate(一）
        • 11-21 -收集Turn类型Candidate(二)
        • 11-22 -收集TCP类型的Candidate
        • 11-23 将获得的Candidate上抛给应用层
        • 11-24 WebRTC网络连接的建立(重要)
        • 11-25 Connection排序
        • 11-26 选择Connection
        • 11-27 Connection的裁剪
        • 11-28 ICE提名(常规和激进提名)
        • 11-29 ICE-FULL与ICE-LITE(重要)
        • 11-30 连通性检测
        • 11-31 网络传输对象的创建与数据传输
      • 第12章 WebRTC服务质量（Qos）
        • 12-1 WebRTC服务质量概述
        • 12-2 WebRTC服务质量综述
        • 12-3 RTP协议
        • 12-4 -RTP扩展头
        • 12-5 RTCP协议一
        • 12-6 RTCP协议二-SDES作用和报文件格式
        • 12-7 RTCP协议三-其它类型的RTCP报文
        • 12-8 RTCP协议四-CompoundRTCP
        • 12-9 丢包重传NACK与RTX
        • 12-10 判断包位置的关键算法
        • 12-11 WebRTC中NACK的处理流程
        • 12-12 判断是否丢包的逻辑
        • 12-13 找到真正的丢包
        • 12-14 -VP8关键帧的判断
        • 12-15 NACK格式
        • 12-16 WebRTC接收NACK消息的过程
        • 12-17 RTX协议
        • 12-18 WebRTC发送RTX包的过程
        • 12-19 Pacer
        • 12-20 RoundRobinPacketQueue
        • 12-21 IntervalBudget控制发送码率
        • 12-22 向Pacer中插入数据
        • 12-23 JitterBuffer整体架构
        • 12-24 PacketBuffer的实现
        • 12-25 -查找完整的帧
        • 12-26 -ReferenceFinder的作用及创建
        • 12-27 -查找参考帧
        • 12-28 -FrameBuffer
        • 12-29 -FEC基础知识和原理
        • 12-30 -WebRTC中FEC的创建
        • 12-31 -为媒体包产生冗余数据
        • 12-32 -FEC保护因子的计算
      • 第13章 NetEQ
        • webrtc NetEq学习资料
        • 13-1 -NetEq在WebRTC中的位置
        • 13-2 -抖动消除的基本原理
        • 13-3 -NetEq整体架构
        • 13-4 -NetEq中的几种缓冲区
        • 13-5 -新版NetEq中的MCU和DSP
      • 第14章 Simulcast与SVC
        • 14-1 -什么是Simulcast
        • 14-2 -开启Simulcast的三种方法
        • 14-3 -Simulcast在WebRTC中的实现
        • 14-4 -什么是SVC
        • 14-5 -WebRTC开启SVC的方式
        • 14-6 -VP9的RTP包结构
      • 第15章 课程总结
        • 15-1 -WebRTC深入剖析总结
    暂无相关搜索结果！

      让时间为你证明

      展开/收起文章目录

      分享，让知识传承更久远

      文章二维码

      手机扫一扫，轻松掌上读

      文档下载

      请下载您需要的格式的文档，随时随地，享受汲取知识的乐趣！
      PDF文档 EPUB文档 MOBI文档

      书签列表

        阅读记录

        阅读进度: 0.00% ( 0/0 ) 重置阅读进度
          思维导图备注