Спроектировать и построить структуру для приложения виртуальной веб-камеры на основе Microsoft DirectShow в Windows 10

Я хочу создать простейшее приложение для виртуальной веб-камеры, которое может выводить любое изображение или видео на виртуальную камеру. Эта виртуальная камера должна быть видна как видеоустройство на онлайн-встречах, таких как Google Meet или Zoom.

В Windows нет поддержки виртуальных веб-камер в качестве унифицированного API, и то, что вы пытаетесь достичь, в целом возможно, но намного сложнее, чем вопрос настройки.

Задачу можно разделить на три части, и вы сможете найти прошлые вопросы StackOverflow, которые подробно описывают все три (некоторые ссылки приведены ниже).

Во-первых, необходимо решить проблему интеграции виртуальной камеры в стороннее программное обеспечение. Согласно заявлению, с которого я начал, API ОС не предлагает возможности для универсального интерфейса виртуальной камеры с точки зрения точки расширения ОС, которая позволяет стороннему приложению видеть новое устройство камеры.

Популярным способом внедрения поддельной камеры в приложения является виртуальный источник видео DirectShow (и, соответственно, Vivek's Исходный код VCam).

Схема из Регистрация сетевого видеопотока в качестве виртуальной камеры описывает API-интерфейсы, используемые приложениями для работы с камерами, и иллюстрирует ограничения виртуальные камеры DirectShow, в частности, почему они не видны всем приложениям с поддержкой видео в Windows.

См. Также вопросы Виртуальная камера водителя не распознается браузером и Фильтр DirectShow не отображается как устройство ввода данных.

В общем, чтобы разработать виртуальную веб-камеру для всех и любого приложения в Windows, вам потребуется разработать драйвер, с чем немногие готовы иметь дело.

Newer Media Foundation API не предлагает ничего, что могло бы помочь с функциональностью виртуальной веб-камеры.

Во-вторых, вам необходимо определить метод внедрения видеокадров в любую виртуальную камеру, которую вы разрабатываете. Нет необходимости использовать DirectShow или Media Foundation, потому что в конце концов все, что вам нужно, - это отправить видеокадры на серверную часть реализации вашей виртуальной камеры, и вы можете использовать любой удобный метод.

Использование DirectShow для этой задачи в целом имеет смысл, но вам это не нужно. Если вы не знакомы с API и начинаете с основ создания графа фильтров, то вполне вероятно, что проще выбрать решение, отличное от DirectShow. Если вам нужно добавить в ленту реальное изображение с веб-камеры, вы можете сделать это, в частности, с помощью Media Foundation. Если вы планируете использовать своего рода сервисы GPU, Media Foundation будет лучшим API для повторного использования. DirectShow по-прежнему остается хорошим вариантом в качестве API для построения вашего конвейера.

В-третьих, часто возникает вопрос о межпроцессном взаимодействии для связи реализации виртуальной камеры и источника видео. В некоторых случаях в этом нет необходимости, но чаще об этом просто забывают.

Виртуальная камера DirectShow (или виртуальная камера Media Foundation, если вы, например, будете объезжать) работает в контексте процесса потребления камеры, и к камерам в целом можно получить доступ из нескольких приложений, в том числе одновременно. Довольно часто вы ожидаете создания видео из другого [единственного] приложения, в том числе в случае применения разблокировки битности / архитектуры, поэтому вы должны позаботиться о передаче данных между процессами. Если вы пытаетесь разработать драйвер для виртуальной камеры, у вас тоже будет такая же задача.

Я упомянул аспекты этого в вопросе MSDN: Как реализовать исходный фильтр для разделения видео с камеры на основе vcam Vivek?, затем там Прочтите входное изменение USB-камеры и отправьте выходные данные на виртуальную камеру в Windows, а также там Как создать фильтр Directshow?.

В общем, вопрос не в настройке проекта. Вместо этого, это набор довольно сложных проблем, которые необходимо решить (которые, тем не менее, выполнимы, и мы видим примеры этого).

DirectShow устарел. Вместо этого вы должны использовать Microsoft MediaFoundation. Это хорошо задокументировано и хорошо работает. Следующий код будет работать для захвата с веб-камеры:

void Webcam::StartRecording()
{
    HRESULT hr = MFStartup(MF_VERSION);

    hr = MFCreateAttributes(&pConfig, 1);
    if (FAILED(hr)){
        std::cout << "Failed to create attribute store";
    }

    hr = pConfig->SetGUID(MF_DEVSOURCE_ATTRIBUTE_SOURCE_TYPE, MF_DEVSOURCE_ATTRIBUTE_SOURCE_TYPE_VIDCAP_GUID);
    if (FAILED(hr)){
        std::cout << "Failed to request capture devices";
    }

    hr = MFEnumDeviceSources(pConfig, &ppDevices, &count);
    if (FAILED(hr)){
        std::cout << "Failed to enumerate capture devices";
    }

    hr = ppDevices[0]->ActivateObject(IID_PPV_ARGS(&pSource));
    if (FAILED(hr)){
        std::cout << "Failed to connect camera to source";
    }

    hr = MFCreateSourceReaderFromMediaSource(pSource, pConfig, &pReader);
    if (FAILED(hr)){
        std::cout << "Failed to create source reader";
    }

    IMFMediaType* pType = NULL;
    DWORD dwMediaTypeIndex = 0;
    DWORD dwStreamIndex = 0;
    hr = pReader->GetNativeMediaType(dwStreamIndex, dwMediaTypeIndex, &pType);
    LPVOID representation;
    pType->GetRepresentation(AM_MEDIA_TYPE_REPRESENTATION, &representation);
    GUID subType = ((AM_MEDIA_TYPE*)representation)->subtype;
    BYTE* pbFormat = ((AM_MEDIA_TYPE*)representation)->pbFormat;
    GUID formatType = ((AM_MEDIA_TYPE*)representation)->formattype;
    if (subType == MEDIASUBTYPE_YUY2) { std::cout << 1; };
    RECT rect;
    if (formatType == FORMAT_DvInfo) { std::cout << 1; }
    if (formatType == FORMAT_MPEG2Video) { std::cout << 2; }
    if (formatType == FORMAT_MPEGStreams) { std::cout << 3; }
    if (formatType == FORMAT_MPEGVideo) { std::cout << 4; }
    if (formatType == FORMAT_None) { std::cout << 5; }
    if (formatType == FORMAT_VideoInfo) { std::cout << 6; }
    if (formatType == FORMAT_VideoInfo2){
        rect = ((VIDEOINFOHEADER2*)pbFormat)->rcSource;
    }
    if (formatType == FORMAT_WaveFormatEx) { std::cout << 8; }
    if (formatType == GUID_NULL) { std::cout << 9; }

    int videoWidth = ((VIDEOINFOHEADER2*)pbFormat)->bmiHeader.biWidth;
    int videoHeight = ((VIDEOINFOHEADER2*)pbFormat)->bmiHeader.biHeight;

    IsRecording = true;
    DWORD streamIndex, flags;
    LONGLONG llTimeStamp;
    IMFSample* pSample;

    while (IsRecording){
        hr = pReader->ReadSample(MF_SOURCE_READER_FIRST_VIDEO_STREAM, 0, &streamIndex, &flags, &llTimeStamp, &pSample);
        if (FAILED(hr)){
            std::cout << "Failed to get image from camera";
        }
        if (pSample != NULL){
            IMFMediaBuffer* pBuffer;
            pSample->ConvertToContiguousBuffer(&pBuffer);
            unsigned char* data;
            DWORD length;
            pBuffer->GetCurrentLength(&length);
            HRESULT hr = pBuffer->Lock(&data, NULL, &length);
            if (FAILED(hr)){
                std::cout << "Failed to get data from buffer";
            }

            HDC hdc = GetDC(hwnd);
            HBITMAP bitmap = CreateCompatibleBitmap(hdc, 640, 480);
            BITMAPINFOHEADER header = { sizeof(BITMAPINFOHEADER), 640, 480, 1, 24, BI_RGB, 0, NULL, NULL, NULL, NULL };
            BITMAPINFO info = { header, NULL };
            SetDIBits(hdc, bitmap, 0, 480, &rgb[0], &info, DIB_RGB_COLORS);

            HIMAGELIST imageList = ImageList_Create(640, 480, ILC_COLOR24, 1, 500);
            if (bitmap != NULL) {
                ImageList_Add(imageList, bitmap, NULL);
                BOOL drawn = ImageList_Draw(imageList, 0, hdc, 0, 0, ILD_IMAGE);
                
                DeleteObject(bitmap);
            }
            else {
                std::cout << "Failed to create bitmap" << std::endl;
            }
            ImageList_Destroy(imageList);
            DeleteObject(hdc);
            pBuffer->Unlock();
            pBuffer->Release();
            pSample->Release();
        }
    }
    pSource->Stop();
    pSource = NULL;
    MFShutdown();
}

Возможно, вам потребуется преобразовать буфер данных в формат RGB, прежде чем отправлять его в список изображений. Большинство современных камер выводят в формате RGB, но моя старая веб-камера на моем ноутбуке выводит YUY2. Если вам нужно конвертировать из YUY2 в RGB, не стесняйтесь спрашивать. Возможно, есть лучший код, чтобы сделать то же самое, но этот код работает хорошо. Это дает вам возможность контролировать изображение. Вы, вероятно, могли бы вместо этого показать изображение в статическом элементе управления. image_list позволяет вам добавлять несколько изображений и изменять их размер по желанию.