4K (अल्ट्रा एचडी) जैसे भारी वीडियो प्रारूपों के आगमन के साथ, वीडियो स्ट्रीम डिकोडिंग दक्षता की समस्या काफी प्रासंगिक हो गई है। एक औसत कंप्यूटर पर, वास्तविक समय में इस तरह की वीडियो स्ट्रीम को संसाधित करने में सक्षम होने के लिए विशेष उपाय किए जाने चाहिए। लेख एफएफएमईजी-आधारित समाधानों में वीडियो धाराओं की डिकोडिंग गति को बढ़ाने के संभावित तरीकों का वर्णन करता है और एच 264 और एचईवीसी (एच 265) में एन्कोड किए गए 4K वीडियो धाराओं के लिए डिकोडिंग गति को मापने के प्रयोगों के परिणाम प्रस्तुत करता है।

विषय - सूची

  1. वीडियो स्ट्रीम
    1.1 की डिकोडिंग गति को बढ़ाने के तीन तरीके । मानक डिकोडर
    1.2 में अतिरिक्त कार्य धाराओं का कनेक्शन । मानक डिकोडर
    1.3 में हार्डवेयर त्वरण को जोड़ना । जीपीओ पर डिकोडिंग को लागू करने वाले विशेष डिकोडर का उपयोग करना
  2. डिकोडिंग गति को मापना
  3. क्यूएसवी डिकोडर्स संसाधनों पर नोट्स
  

1. वीडियो स्ट्रीम की डिकोडिंग गति को बढ़ाने के तीन तरीके

हम वीडियो स्ट्रीम की डिकोडिंग गति को बढ़ाने के तीन तरीकों पर विचार करेंगे।

1. मानक डिकोडर में अतिरिक्त कार्यकर्ता थ्रेड्स (थ्रेड्स) का कनेक्शन।
2. मानक डिकोडर में हार्डवेयर त्वरण (HW त्वरण) का कनेक्शन।
3. जीपीयू पर डिकोडिंग को लागू करने वाले विशेष डिकोडर का उपयोग करना।

CPU, .

, FFmpeg. - : — Windows 10, — Intel i5 8400 2.80 (6 hyper-threading), — Intel UHD Graphics 630, — 16 , FFmpeg 4.2.1, zeranoe.

FFmpeg , .

1.1.

(, , ) , . avcodec_open2() thread_count AVCodecContext . — threads , avcodec_open2().

, , (h264, hevc, vp9) , theora .

-threads.

1.2.

FFmpeg . FFmpeg API libavutil/hwcontext.h. enum AVHWDeviceType, . FFmpeg :

void print_hwtypes_all()
{
    AVHWDeviceType hwtype = AV_HWDEVICE_TYPE_NONE;
    while ((hwtype = av_hwdevice_iterate_types(hwtype)) !=
                            AV_HWDEVICE_TYPE_NONE)
    {
        printf("%s\n", av_hwdevice_get_type_name(hwtype));
    }
}

- :

    cuda
    dxva2
    qsv
    d3d11va

, cuda Nvidia , qsv Intel Quick Sync Video (QSV), Intel (. [1]), dxva2 d3d11va DirectX Video Acceleration (. [2]), Windows, (Intel, Nvidia, AMD).

( ). , , :

void print_hwtypes(const char* dec_name)
{
    const AVCodec* decoder = avcodec_find_decoder_by_name(dec_name);
    for (int i = 0; ; ++i) { 
        const AVCodecHWConfig *config =
               avcodec_get_hw_config(decoder, i);
        if (config) {
            if (config->methods &
                    AV_CODEC_HW_CONFIG_METHOD_HW_DEVICE_CTX) {
                printf("%s\n", 
                  av_hwdevice_get_type_name(config->device_type));
            }
        }
        else {
            break;
        }
    }
}

- h264, hevc, vp9, vc1 :

    dxva2
    d3d11va
    cuda

theora .

, hw_decode.c. [3], 2expres.

void init_hwdevice(AVHWDeviceType hwtype, AVCodecContext *codec_ctx)
{
    AVBufferRef *dev_ctx = NULL;
    int ret = av_hwdevice_ctx_create(&dev_ctx, hwtype, NULL, NULL, 0);
    if (ret >= 0) {
        codec_ctx->get_format = get_hw_format; // . hw_decode.c
        codec_ctx->hw_device_ctx = av_buffer_ref(dev_ctx);
//   dev_ctx,    
//   av_buffer_unref()
    }
}

, , av_hwframe_transfer_data(). dxva2 d3d11va NV12.

-hwaccel.

1.3. ,

FFmpeg , .

Intel Quick Sync Video (QSV), , Intel i3, i5, i7, i9. . [1]. _qsv. FFmpeg : h264_qsv, hevc_qsv, vp8_qsv, mpeg2_qsv, vc1_qsv.

NVDEC, NVENC Nvidia. _cuvid. FFmpeg : h264_cuvid, hevc_cuvid, mpeg2_cuvid, vc1_cuvid, vp8_cuvid, vp9_cuvid, mjpeg_cuvid, mpeg4_cuvid.

:

AVStream *strm;
// ...
AVCodecID cid = strm->codecpar->codec_id;
const AVCodec *decoder = avcodec_find_decoder(cid);

. :

const AVCodec *decoder = (cid == AV_CODEC_ID_H264)
    ? avcodec_find_decoder_by_name("h264_qsv")
    : avcodec_find_decoder(cid);

-c:v -i

ffmpeg -c:v h264_qsv -i INPUT ...

2.

, H264, HEVC(H265). — 38402160 (Ultra HD), — 30 /. — h264, hevc QSV — h264_qsv, hevc_qsv. 4 : , , , dxva2. dxva2 , d3d11va, . , . : , 32- BGRA libswscale. ( 12- YUV420P NV12.) , , ( ). , 100%, , , . . 64- FFmpeg.

, , . — BGRA. , , .

32- FFmpeg. , : hevc 2-3 . .

. -benchmark . :

ffmpeg -benchmark -i INPUT -an -f null -
ffmpeg -benchmark -threads N -i INPUT -an -f null -
ffmpeg -benchmark -c:v h264_qsv -i INPUT -an -f null -
ffmpeg -benchmark -hwaccel dxva2 -i INPUT -an -f null -
ffmpeg -benchmark -i INPUT -an -pix_fmt bgra -f null -

fps, speed . -threads N auto, , 100%.

3. QSV

FFmpeg QSV : h264_qsv, hevc_qsv, vp8_qsv, mpeg2_qsv, vc1_qsv. . mpeg2_qsv , vc1_qsv . , , , -, , .

. , — avcodec_flush_buffers(). , .

[1] Intel Quick Sync Video.
[2] DirectX Video Acceleration.
[3] FFmpeg DXVA2.