ffmpeg - ffmpeg使用GPU加速环境准备 - 《code》

FFmpeg编译安装
使用FFmpeg
- 识别视频信息
- 视频转码
使用Nvidia显卡GPU进行转码
!/bin/bash
!/bin/bash
- ERROR: freetype2 not found

参考文章：https://www.jianshu.com/p/59da3d350488
里面部分内容过时了，此处订正一下，此处复制一下原作者内容，防止其删除

nvidia官方知道手册
Using_FFmpeg_with_NVIDIA_GPU_Hardware_Acceleration_v01.4.pdf

本文内容包括：

在Linux环境下安装FFmpeg
通过命令行实现视频格式识别和转码

有Nvidia显卡的情况下，在Linux下使用GPU进行视频转码加速的方法

FFmpeg编译安装

在FFmpeg官网https://ffmpeg.org/download.html可以下载到ubunto/debian的发行包，其他Linux发行版需自行编译。同时，如果要使用GPU进行硬件加速的话，也是必须自己编译FFmpeg的，所以本节将介绍从源码编译安装FFmpeg的方法（基于RHEL/Centos）

安装依赖工具

yum install autoconf automake bzip2 cmake freetype-devel gcc gcc-c++ git libtool make mercurial pkgconfig zlib-devel

准备工作

在$HOME下创建ffmpeg_sources目录

编译并安装依赖库

本节中的依赖库基本都是必须的，建议全部安装

nasm

汇编编译器，编译某些依赖库的时候需要

cd ~/ffmpeg_sources
curl -O -L http://www.nasm.us/pub/nasm/releasebuilds/2.13.02/nasm-2.13.02.tar.bz2
tar xjvf nasm-2.13.02.tar.bz2
cd nasm-2.13.02
./autogen.sh
./configure --prefix="$HOME/ffmpeg_build" --bindir="$HOME/bin"
make
make install

yasm

汇编编译器，编译某些依赖库的时候需要

cd ~/ffmpeg_sources
curl -O -L http://www.tortall.net/projects/yasm/releases/yasm-1.3.0.tar.gz
tar xzvf yasm-1.3.0.tar.gz
cd yasm-1.3.0
./configure --prefix="$HOME/ffmpeg_build" --bindir="$HOME/bin"
make
make install

libx264

H.264视频编码器，如果需要输出H.264编码的视频就需要此库，所以可以说是必备

cd ~/ffmpeg_sources
git clone --depth 1 https://code.videolan.org/videolan/x264.git
cd x264
PKG_CONFIG_PATH="$HOME/ffmpeg_build/lib/pkgconfig"
./configure --prefix="$HOME/ffmpeg_build" --bindir="$HOME/bin" --enable-static
make
make install

libx265

H.265/HEVC视频编码器。
如果不需要此编码器，可以跳过，并在ffmpeg的configure命令中移除—enable-libx265

cd ~/ffmpeg_sources
git clone https://bitbucket.org/multicoreware/x265_git.git
cd ~/ffmpeg_sources/x265/build/linux
cmake -G "Unix Makefiles" -DCMAKE_INSTALL_PREFIX="$HOME/ffmpeg_build" -DENABLE_SHARED:bool=off ../../source
make
make install

libfdk_acc

AAC音频编码器，必备

cd ~/ffmpeg_sources
git clone --depth 1 --branch v0.1.6 https://github.com/mstorsjo/fdk-aac.git
cd fdk-aac
autoreconf -fiv
./configure --prefix="$HOME/ffmpeg_build" --disable-shared
make
make install

libmp3lame

MP3音频编码器，必备

cd ~/ffmpeg_sources
curl -O -L http://downloads.sourceforge.net/project/lame/lame/3.100/lame-3.100.tar.gz
tar xzvf lame-3.100.tar.gz
cd lame-3.100
./configure --prefix="$HOME/ffmpeg_build" --bindir="$HOME/bin" --disable-shared --enable-nasm
make
make install

libops

OPUS音频编码器
如果不需要此编码器，可以跳过，并在ffmpeg的configure命令中移除—enable-libopus

cd ~/ffmpeg_sources
curl -O -L https://archive.mozilla.org/pub/opus/opus-1.2.1.tar.gz
tar xzvf opus-1.2.1.tar.gz
cd opus-1.2.1
./configure --prefix="$HOME/ffmpeg_build"
--disable-shared
make
make install

libogg

被libvorbis依赖

cd ~/ffmpeg_sources
curl -O -L http://downloads.xiph.org/releases/ogg/libogg-1.3.3.tar.gz
tar xzvf libogg-1.3.3.tar.gz
cd libogg-1.3.3
./configure --prefix="$HOME/ffmpeg_build" --disable-shared
make
make install

libvorbis

Vorbis音频编码器
如果不需要此编码器，可以跳过，并在ffmpeg的configure命令中移除—enable-libvorbis

cd ~/ffmpeg_sources
curl -O -L http://downloads.xiph.org/releases/vorbis/libvorbis-1.3.5.tar.gz
tar xzvf libvorbis-1.3.5.tar.gz
cd libvorbis-1.3.5
./configure --prefix="$HOME/ffmpeg_build" --with-ogg="$HOME/ffmpeg_build"
--disable-shared
make
make install

libvpx

VP8/VP9视频编/解码器
如果不需要此编/解码器，可以跳过，并在ffmpeg的configure命令中移除—enable-libvpx

cd ~/ffmpeg_sources
git clone --depth 1 https://github.com/webmproject/libvpx.git
cd libvpx
./configure --prefix="$HOME/ffmpeg_build" --disable-examples --disable-unit-tests --enable-vp9-highbitdepth --as=yasm
make
make install

编译安装ffmpeg 3.3.8（不适用GPU加速）

cd ~/ffmpeg_sources
curl -O -L https://ffmpeg.org/releases/ffmpeg-3.3.8.tar.bz2
tar xjvf ffmpeg-3.3.8.tar.bz2
cd ffmpeg-3.3.8
PATH="$HOME/bin:$PATH" PKG_CONFIG_PATH="$HOME/ffmpeg_build/lib/pkgconfig" ./configure \
--prefix="$HOME/ffmpeg_build" \
--pkg-config-flags="--static" \
--extra-cflags="-I$HOME/ffmpeg_build/include" \
--extra-ldflags="-L$HOME/ffmpeg_build/lib" \
--extra-libs=-lpthread \
--extra-libs=-lm \
--bindir="$HOME/bin" \
--enable-gpl \
--enable-libfdk_aac \
--enable-libfreetype \
--enable-libmp3lame \
--enable-libopus \
--enable-libvorbis \
--enable-libvpx \
--enable-libx264 \
--enable-libx265 \
--enable-nonfree
make
make install
hash -r

验证安装

ffmpeg -h

使用FFmpeg

识别视频信息

通过ffprobe命令识别并输出视频信息
ffprobe -v error -show_streams -print_format json
为方便程序解析，将视频信息输出为json格式，样例如下：

{
    "streams": [{
        "index": 0,
        "codec_name": "h264",
        "codec_long_name": "H.264 / AVC / MPEG-4 AVC / MPEG-4 part 10",
        "profile": "High",
        "codec_type": "video",
        "codec_time_base": "61127/3668400",
        "codec_tag_string": "avc1",
        "codec_tag": "0x31637661",
        "width": 1920,
        "height": 1080,
        "coded_width": 1920,
        "coded_height": 1080,
        "has_b_frames": 0,
        "sample_aspect_ratio": "0:1",
        "display_aspect_ratio": "0:1",
        "pix_fmt": "yuv420p",
        "level": 40,
        "color_range": "tv",
        "color_space": "bt709",
        "color_transfer": "bt709",
        "color_primaries": "bt709",
        "chroma_location": "left",
        "refs": 1,
        "is_avc": "true",
        "nal_length_size": "4",
        "r_frame_rate": "30/1",
        "avg_frame_rate": "1834200/61127",
        "time_base": "1/600",
        "start_pts": 0,
        "start_time": "0.000000",
        "duration_ts": 61127,
        "duration": "101.878333",
        "bit_rate": "16279946",
        "bits_per_raw_sample": "8",
        "nb_frames": "3057",
        "disposition": {
            "default": 1,
            "dub": 0,
            "original": 0,
            "comment": 0,
            "lyrics": 0,
            "karaoke": 0,
            "forced": 0,
            "hearing_impaired": 0,
            "visual_impaired": 0,
            "clean_effects": 0,
            "attached_pic": 0,
            "timed_thumbnails": 0
        },
        "tags": {
            "rotate": "90",
            "creation_time": "2018-08-09T09:13:33.000000Z",
            "language": "und",
            "handler_name": "Core Media Data Handler",
            "encoder": "H.264"
        },
        "side_data_list": [{
            "side_data_type": "Display Matrix",
            "displaymatrix": "\n00000000:            0       65536           0\n00000001:       -65536           0           0\n00000002:     70778880           0  1073741824\n",
            "rotation": -90
        }]
    }, {
        "index": 1,
        "codec_name": "aac",
        "codec_long_name": "AAC (Advanced Audio Coding)",
        "profile": "LC",
        "codec_type": "audio",
        "codec_time_base": "1/44100",
        "codec_tag_string": "mp4a",
        "codec_tag": "0x6134706d",
        "sample_fmt": "fltp",
        "sample_rate": "44100",
        "channels": 1,
        "channel_layout": "mono",
        "bits_per_sample": 0,
        "r_frame_rate": "0/0",
        "avg_frame_rate": "0/0",
        "time_base": "1/44100",
        "start_pts": 0,
        "start_time": "0.000000",
        "duration_ts": 4492835,
        "duration": "101.878345",
        "bit_rate": "91595",
        "max_bit_rate": "96000",
        "nb_frames": "4390",
        "disposition": {
            "default": 1,
            "dub": 0,
            "original": 0,
            "comment": 0,
            "lyrics": 0,
            "karaoke": 0,
            "forced": 0,
            "hearing_impaired": 0,
            "visual_impaired": 0,
            "clean_effects": 0,
            "attached_pic": 0,
            "timed_thumbnails": 0
        },
        "tags": {
            "creation_time": "2018-08-09T09:13:33.000000Z",
            "language": "und",
            "handler_name": "Core Media Data Handler"
        }
    }, {
        "index": 2,
        "codec_type": "data",
        "codec_tag_string": "mebx",
        "codec_tag": "0x7862656d",
        "r_frame_rate": "0/0",
        "avg_frame_rate": "0/0",
        "time_base": "1/600",
        "start_pts": 0,
        "start_time": "0.000000",
        "duration_ts": 61127,
        "duration": "101.878333",
        "bit_rate": "119",
        "nb_frames": "17",
        "disposition": {
            "default": 1,
            "dub": 0,
            "original": 0,
            "comment": 0,
            "lyrics": 0,
            "karaoke": 0,
            "forced": 0,
            "hearing_impaired": 0,
            "visual_impaired": 0,
            "clean_effects": 0,
            "attached_pic": 0,
            "timed_thumbnails": 0
        },
        "tags": {
            "creation_time": "2018-08-09T09:13:33.000000Z",
            "language": "und",
            "handler_name": "Core Media Data Handler"
        }
    }, {
        "index": 3,
        "codec_type": "data",
        "codec_tag_string": "mebx",
        "codec_tag": "0x7862656d",
        "r_frame_rate": "0/0",
        "avg_frame_rate": "0/0",
        "time_base": "1/600",
        "start_pts": 0,
        "start_time": "0.000000",
        "duration_ts": 61127,
        "duration": "101.878333",
        "nb_frames": "1",
        "disposition": {
            "default": 1,
            "dub": 0,
            "original": 0,
            "comment": 0,
            "lyrics": 0,
            "karaoke": 0,
            "forced": 0,
            "hearing_impaired": 0,
            "visual_impaired": 0,
            "clean_effects": 0,
            "attached_pic": 0,
            "timed_thumbnails": 0
        },
        "tags": {
            "creation_time": "2018-08-09T09:13:33.000000Z",
            "language": "und",
            "handler_name": "Core Media Data Handler"
        }
    }]
}

可以看到一共返回了4个流，其中第0个是视频流，1是音频流，2和3是附加数据，没什么用
如果想指定分析视频流或音频流的话，可以加上参数-show_streams -v或-show_streams -a，这样就会只输出视频/音频流的分析结果

视频转码

ffmpeg -i <input> -c:v libx264 -b:v 2048k -vf scale=1280:-1 -y <output>

上述命令将输入视频转码为h264编码的视频

-c:v：指定编码器，编码器列表可以使用ffmpeg -codecs查看
-vf scale：指定输出视频的宽高，高-1代表按照比例自动适应
-b:v：指定输出视频的码率，即输出视频每秒的bit数
libx264支持的其他参数请使用ffmpeg -h encoder=libx264命令查询，如转码为其他编码，也可使用类似命令查询可用参数
使用Nvidia显卡GPU进行转码
重头戏来了，这块的资料相当少，我也是费了一番力气才搞定
CUDA
CUDA是Nvidia出的一个GPU计算库，让程序员可以驱动Nvidia显卡的GPU进行各种工作，其中就包含了视频的编解码
安装CUDA
首先验证一下显卡驱动是否装好
```
nvidia-smi
```
如果驱动正常的话，此命令会输出显卡的型号、驱动版本、现存/GPU占用等信息。如何安装显卡驱动本文不描述，请参考其他资料。
到CUDA官网https://developer.nvidia.com/cuda-downloads下载对应平台的发行包，这里我选择Centos7对应的rpm包cuda-repo-rhel7-9-2-local-9.2.148-1.x86_64.rpm
执行如下命令安装：
```
rpm -i cuda-repo-rhel7-9-2-local-9.2.148-1.x86_64.rpm
yum clean all
yum install cuda
```

一共大概要安装90多个依赖库，注意一下安装完成后的报告，我首次安装时有一个库不知道为什么安装失败了，又单独yum install了该库一次才成功

验证安装

/usr/local/cuda-9.2/bin/nvcc -V

安装成功的话，会输出类似文本：

nvcc: NVIDIA (R) Cuda compiler driver
Copyright (c) 2005-2018 NVIDIA Corporation
Built on Tue_Jun_12_23:07:04_CDT_2018
Cuda compilation tools, release 9.2, V9.2.148

重新编译ffmpeg

要让ffmpeg能够使用CUDA提供的GPU编解码器，必须重新编译ffmpeg，让其能够通过动态链接调用CUDA的能力
首先要编译安装nv-codec-headers库

git clone https://git.videolan.org/git/ffmpeg/nv-codec-headers.git
make PREFIX="$HOME/ffmpeg_build" BINDDIR="$HOME/bin"
make install PREFIX="$HOME/ffmpeg_build" BINDDIR="$HOME/bin"

进入~/ffmepg_sources/ffmpeg-3.3.8/目录重新执行ffmpeg的编译和安装
注意configure命令参数和之前configure命令参数的区别

PATH="$HOME/bin:$PATH" PKG_CONFIG_PATH="$HOME/ffmpeg_build/lib/pkgconfig" ./configure \
--prefix="$HOME/ffmpeg_build" \
--extra-cflags="-I$HOME/ffmpeg_build/include -I/usr/local/cuda/include" \
--extra-ldflags="-L$HOME/ffmpeg_build/lib -L/usr/local/cuda/lib64" \
--extra-libs=-lpthread \
--extra-libs=-lm \
--bindir="$HOME/bin" \
--enable-gpl \
--enable-libfdk_aac \
--enable-libfreetype \
--enable-libmp3lame \
--enable-libopus \
--enable-libvorbis \
--enable-libvpx \
--enable-libx264 \
--enable-libx265 \
--enable-nonfree \
--enable-cuda \
--enable-cuvid \
--enable-nvenc \
--enable-libnpp
make
make install
hash -r

验证安装

重新安装完ffmpeg，使用ffmpeg -hwaccels命令查看支持的硬件加速选项

Hardware acceleration methods: cuvid

可以看到多出来一种叫做cuvid的硬件加速选项，这就是CUDA提供的GPU视频编解码加速选项
然后查看cuvid提供的GPU编解码器ffmpeg -codecs | grep cuvid

DEV.LS h264                 H.264 / AVC / MPEG-4 AVC / MPEG-4 part 10 (decoders: h264 h264_cuvid ) (encoders: libx264 libx264rgb h264_nvenc nvenc nvenc_h264 )
 DEV.L. hevc                 H.265 / HEVC (High Efficiency Video Coding) (decoders: hevc hevc_cuvid ) (encoders: libx265 nvenc_hevc hevc_nvenc )
 DEVIL. mjpeg                Motion JPEG (decoders: mjpeg mjpeg_cuvid )
 DEV.L. mpeg1video           MPEG-1 video (decoders: mpeg1video mpeg1_cuvid )
 DEV.L. mpeg2video           MPEG-2 video (decoders: mpeg2video mpegvideo mpeg2_cuvid )
 DEV.L. mpeg4                MPEG-4 part 2 (decoders: mpeg4 mpeg4_cuvid )
 D.V.L. vc1                  SMPTE VC-1 (decoders: vc1 vc1_cuvid )
 DEV.L. vp8                  On2 VP8 (decoders: vp8 libvpx vp8_cuvid ) (encoders: libvpx )
 DEV.L. vp9                  Google VP9 (decoders: vp9 libvpx-vp9 vp9_cuvid ) (encoders: libvpx-vp9 )

所有带有”cuvid”或”nvenc”的，都是CUDA提供的GPU编解码器
可以看到，我们现在可以进行h264/hevc/mjpeg/mpeg1/mpeg2/mpeg4/vc1/vp8/vp9格式的GPU解码，以及h264/hevc格式的GPU编码

使用GPU进行视频转码

视频转码

ffmpeg  -hwaccel cuvid -i 1.mov -r 25 -c:v h264_nvenc -preset fast -nal-hrd cbr -b:v 1700000 -minrate:v 1700000 -maxrate:v  1700000 -bufsize  3000000 -minrate:a  266000 -f mp4 -pix_fmt yuv420p -y result1.mp4

转码期间使用nvidia-smi查看显卡状态，能够看到ffmpeg确实是在使用GPU进行转码：


[root@10-9-93-191 ~]# nvidia-smi
Thu Feb 24 19:10:09 2022
+-----------------------------------------------------------------------------+
| NVIDIA-SMI 510.47.03    Driver Version: 510.47.03    CUDA Version: 11.6     |
|-------------------------------+----------------------+----------------------+
| GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
|                               |                      |               MIG M. |
|===============================+======================+======================|
|   0  Tesla T4            Off  | 00000000:00:03.0 Off |                    0 |
| N/A   35C    P0    27W /  70W |    667MiB / 15360MiB |      9%      Default |
|                               |                      |                  N/A |
+-------------------------------+----------------------+----------------------+

+-----------------------------------------------------------------------------+
| Processes:                                                                  |
|  GPU   GI   CI        PID   Type   Process name                  GPU Memory |
|        ID   ID                                                   Usage      |
|=============================================================================|
|    0   N/A  N/A     13140      C   ffmpeg                            663MiB |
+-----------------------------------------------------------------------------+

测试脚本

exe.sh ```shell
!/bin/bash

echo “GPU运行” start=$(date “+%Y%m%d%H%M%S”) source ./gpu.sh end=$(date “+%Y%m%d%H%M%S”) cost=expr $end - $start echo “gpu处理耗时：$cost “ echo “CPU运行” start=$(date “+%Y%m%d%H%M%S”) source ./cpu.sh end=$(date “+%Y%m%d%H%M%S”) cost=expr $end - $start echo “cpu处理耗时：$cost “


- cpu.sh
```shell
#!/bin/bash

ffmpeg -hide_banner -i 1.mov -r 25 -c:v libx264 -preset fast -nal-hrd cbr -b:v 1700000 -minrate:v 1700000 -maxrate:v  1700000 -bufsize  3000000 -minrate:a  266000 -f mp4 -pix_fmt yuv420p -y result.mp4 > cpu.log 2>&1

gpu.sh ```shell
!/bin/bash

ffmpeg -hwaccel cuvid -i 1.mov -r 25 -c:v h264_nvenc -preset fast -nal-hrd cbr -b:v 1700000 -minrate:v 1700000 -maxrate:v 1700000 -bufsize 3000000 -minrate:a 266000 -f mp4 -pix_fmt yuv420p -y result1.mp4 > gpu.log 2>&1

<a name="wKEWb"></a>
### GPU转码效率测试
一颗GPU和四颗CPU转码同样视频

- GPU转码平均耗时：15s
- CPU转码平均耗时：119s

需要注意的是：ffmpeg并不具备自动向不同GPU分配转码任务的能力，但经过一番调查后，发现可以通过-hwaccel_device参数指定转码任务使用的GPU！
<a name="y4TwT"></a>
### 向不同GPU提交转码任务
```shell
ffmpeg -hwaccel cuvid -hwaccel_device 0 -c:v h264_cuvid -i <input> -c:v h264_nvenc -b:v 2048k -vf scale_npp=1280:-1 -y <output>

ffmpeg -hwaccel cuvid -hwaccel_device 1 -c:v h264_cuvid -i <input> -c:v h264_nvenc -b:v 2048k -vf scale_npp=1280:-1 -y <output>

-hwaccel_device N：指定某颗GPU执行转码任务，N为数字

可以进行并行GPU转码了！
那么在占满服务器资源时，GPU转码和CPU转码的效率如下：

GPU转码平均耗时：4s
CPU转码平均耗时：18s

GPU效率是CPU的4.5倍

ERROR: freetype2 not found

下载路径：http://download.savannah.gnu.org/releases/freetype/freetype-2.8.tar.gz
下载后上传包到ffmpeg_sources目录下
安装命令：承担

tar xzvf freetype-2.8.tar.gz
cd freetype-2.8
./configure --without-harfbuzz
make
make install
自己安装的libfreetype2在/usr/local/lib目录下 所以需要执行下面命令
export PKG_CONFIG_PATH=/usr/local/lib/pkgconfig:$PKG_CONFIG_PATH

ffmpeg使用GPU加速环境准备

FFmpeg编译安装

安装依赖工具

准备工作

编译并安装依赖库

nasm

yasm

libx264

libx265

libfdk_acc

libmp3lame

libops

libogg

libvorbis

libvpx

编译安装ffmpeg 3.3.8（不适用GPU加速）

使用FFmpeg

识别视频信息

视频转码

使用Nvidia显卡GPU进行转码

CUDA

安装CUDA

验证安装

重新编译ffmpeg

验证安装

使用GPU进行视频转码

测试脚本

!/bin/bash

!/bin/bash

ERROR: freetype2 not found