Кодирование H.264 с камеры с помощью Android MediaCodec

Для вашего быстрого воспроизведения - проблема с частотой кадров, здесь вам ничего не нужно делать. Поскольку это потоковое решение, другой стороне необходимо заранее сообщать частоту кадров или метки времени для каждого кадра. Оба они не являются частью элементарного потока. Либо выбирается предопределенная частота кадров, либо вы передаете какой-то sdp или что-то в этом роде, либо используете существующие протоколы, такие как rtsp. Во втором случае временные метки являются частью потока, отправляемого в виде чего-то вроде rtp. Затем клиент должен отдать поток rtp и воспроизвести его обратно. Вот как работает элементарная потоковая передача. [либо зафиксируйте частоту кадров, если у вас кодировщик с фиксированной частотой, либо укажите временные метки]

Воспроизведение на локальном ПК будет быстрым, потому что он не будет знать частоту кадров. Указав параметр fps перед вводом, например

ffplay -fps 30 in.264

Вы можете управлять воспроизведением на ПК.

Что касается файла, который не воспроизводится: есть ли в нем SPS и PPS. Также у вас должны быть включены заголовки NAL - формат приложения b. Я мало что знаю об Android, но это требование для воспроизведения любого элементарного потока h.264, когда они не находятся в каких-либо контейнерах, и их нужно сбросить и воспроизвести позже. Если для Android по умолчанию используется mp4, но заголовки приложенияb по умолчанию будут отключены, поэтому, возможно, есть переключатель для его включения. Или, если вы получаете данные кадр за кадром, просто добавьте их самостоятельно.

Что касается цветового формата: я думаю, по умолчанию должно работать. Так что попробуй не ставить. Если нет, то попробуйте форматы 422 Planar или UVYV/VYUY чередующиеся. обычно камеры являются одним из них. (но не обязательно, это могут быть те, с которыми я сталкивался чаще).

Android 4.3 (API 18) предлагает простое решение. Класс MediaCodec теперь принимает входные данные от Surfaces, что означает, что вы можете подключить предварительный просмотр поверхности камеры к кодировщику и обойти все странные проблемы с форматом YUV.

Существует также новый класс MediaMuxer, который преобразует необработанный поток H.264 в формат .mp4. файл (при желании смешиваясь с аудиопотоком).

См. исходный код CameraToMpegTest для примера выполнения именно этого. (Также демонстрируется использование фрагментного шейдера OpenGL ES для простого редактирования видео во время его записи.)

Вы можете конвертировать цветовые пространства следующим образом, если вы установили цветовое пространство предварительного просмотра на YV12:

public static byte[] YV12toYUV420PackedSemiPlanar(final byte[] input, final byte[] output, final int width, final int height) {
        /* 
         * COLOR_TI_FormatYUV420PackedSemiPlanar is NV12
         * We convert by putting the corresponding U and V bytes together (interleaved).
         */
        final int frameSize = width * height;
        final int qFrameSize = frameSize/4;

        System.arraycopy(input, 0, output, 0, frameSize); // Y

        for (int i = 0; i < qFrameSize; i++) {
            output[frameSize + i*2] = input[frameSize + i + qFrameSize]; // Cb (U)
            output[frameSize + i*2 + 1] = input[frameSize + i]; // Cr (V)
        }
        return output;
    }

Or

 public static byte[] YV12toYUV420Planar(byte[] input, byte[] output, int width, int height) {
        /* 
         * COLOR_FormatYUV420Planar is I420 which is like YV12, but with U and V reversed.
         * So we just have to reverse U and V.
         */
        final int frameSize = width * height;
        final int qFrameSize = frameSize/4;

        System.arraycopy(input, 0, output, 0, frameSize); // Y
        System.arraycopy(input, frameSize, output, frameSize + qFrameSize, qFrameSize); // Cr (V)
        System.arraycopy(input, frameSize + qFrameSize, output, frameSize, qFrameSize); // Cb (U)

        return output;
    }