Синхронизация потоковой передачи аудио и видео для контейнера mp4 с использованием фреймворка Gstreamer

Кажется, есть проблемы с AAC в RTP, а также с другими загрузчиками RTP в gstreamer.

Как упоминалось в другом ответе, в любом случае это лучшая стратегия - не демультиплексировать и разделять видео и аудио, если желательно синхронное воспроизведение на стороне приемника. Кроме того, потоковый формат контейнера также может улучшить общую функциональность.

Поэтому я предлагаю повторно объединить потоки данных в MPEG2-TS и передать их через RTP. Это дает несколько преимуществ, например хорошую повторную синхронизацию после потери пакета и то, что аудио / видео всегда остается синхронизированным.

Пример

У меня это работает с gstreamer 1.2.4:

Отправитель

gst-launch-1.0 -v filesrc location=/foo/bar.mp4 ! \
  qtdemux name=demux demux. ! h264parse config-interval=10 ! queue ! mux. \
  mpegtsmux name=mux ! rtpmp2tpay ! udpsink host=10.0.0.1 port=5003 \
  demux. ! aacparse ! queue ! mux.

Получатель (файл)

gst-launch-1.0 -v udpsrc port=5003 caps="application/x-rtp" ! \
  rtpmp2tdepay ! tsparse !  filesink location=/foo/bar.ts

Приемник (выход)

Эта команда основана на командах в вопросе, не удалось проверить ее с помощью ALSA:

gst-launch-1.0 -v udpsrc port=5003 caps="application/x-rtp" ! \
  rtpmp2tdepay ! tsparse ! tsdemux name=demux \
  demux. ! queue ! audioconvert ! alsasink \
  demux. ! queue ! xvimagesink

Нет простого способа передать синхронно с gstreamer, если вы демультиплексируете видео- и аудиопоток на стороне отправителя. Информация о метке времени хранится в контейнере (в данном случае MP4), который теряется при демультиплексировании.

Попробуйте отправить MP4 на приемник, а затем демультиплексировать туда. Базовый пример можно найти здесь: Потоковое видео Mp4 через Протокол RTP с использованием Gstreamer в Ubuntu

Отправитель

gst-launch-1.0 filesrc location = ~ / 1.mp4! qtdemux name = d! очередь ! h264parse! rtph264pay config-interval = 10 pt = 96! udpsink host = 10.24.217.30 порт = 5000 d. ! очередь ! aacparse! rtpmp4apay pt = 97! udpsink host = 10.24.217.30 порт = 5001 -v

Получатель

gst-launch-1.0 udpsrc port = 5000 caps = application / x-rtp, media = (string) video, clock-rate = (int) 90000, payload = (int) 96, encoding-name = (string) H264! rtph264depay! тождество молчание = 0! avdec_h264! видеоконвертировать! ximagesink sync = 0 async = 0 udpsrc port = 5001 caps = application / x-rtp, media = audio, clock-rate = 44100, encoding-name = MP4A-LATM, cpresent = 0, config = 40002420, payload = 97, ssrc = 1499706502, смещение отметки времени = 190741668, смещение порядкового номера = 24774! rtpmp4adepay! avdec_aac! тождество молчание = 0! alsasink sync = 0 async = 0

Это работает правильно.

Примечание. Запуск получателя раньше, чем отправитель, выдает ошибку на стороне получателя при запуске отправителя. ** (gst-launch-1.0: 26959): CRITICAL **: 15: 15: 51.191: gst_audio_decoder_set_output_format: assertion 'GST_AUDIO_INFO_IS_VALID (info)' не удалось ОШИБКА: от элемента / GstPipeline: pipeline0 / avdec_aacr: avdec_aacr: avdec_aacr: avdec_aacr . Дополнительная отладочная информация: gstavauddec.c (449): gst_ffmpegauddec_negotiate (): / GstPipeline: pipeline0 / avdec_aac: avdec_aac0: Не удалось установить ограничения для декодера libav (aac), не исправлено?

Это могло быть ошибкой в ​​GST при согласовании ограничений. WAR должен начинать получатель после отправителя.