Преобразование cv::Mat в SDL_Texture

Я пытаюсь воспроизвести видео с помощью SDL. Для этого я использую opencv для загрузки видео и получения кадров. Затем мне нужно только преобразовать те кадры, которые мне нужны, в SDL_Texture*, и я готов рисовать их на экране.

Это моя проблема, я конвертирую его в SDL_Surface*, но тогда преобразование в SDL_Texture не работает, и я не знаю, почему. Вот мой код:

void Cutscene::play()
{
  this->onLoop();
  this->onRender();

  while(!frameMat.empty())
  {
    this->onLoop();
    this->onRender();
  }
}

void Cutscene::onLoop()
{
  video >> frameMat;

  convertCV_MatToSDL_Texture();
}

void Cutscene::onRender()
{
  Image::onDraw(GameEngine::getInstance()->getRenderer(), frameTexture);

}

void Cutscene::convertCV_MatToSDL_Texture()
{
  IplImage opencvimg2 = (IplImage)frameMat;
  IplImage* opencvimg = &opencvimg2;

  //Convert to SDL_Surface
  frameSurface = SDL_CreateRGBSurfaceFrom((void*)opencvimg->imageData,
                         opencvimg->width, opencvimg->height,
                         opencvimg->depth*opencvimg->nChannels,
                         opencvimg->widthStep,
                         0xff0000, 0x00ff00, 0x0000ff, 0);

  if(frameSurface == NULL)
  {
    SDL_Log("Couldn't convert Mat to Surface.");
    return;
  }

  //Convert to SDL_Texture
  frameTexture = SDL_CreateTextureFromSurface(
                    GameEngine::getInstance()->getRenderer(), frameSurface);
  if(frameTexture == NULL)
  {
    SDL_Log("Couldn't convert Mat(converted to surface) to Texture."); //<- ERROR!!
    return;
  }

  //cvReleaseImage(&opencvimg);
  //MEMORY LEAK?? opencvimg opencvimg2
}

Я использовал эту функцию SDL_CreateTextureFromSurface в других частях моего проекта, и там она работает. Итак, вопрос: знаете ли вы, в чем проблема с преобразованием, которое я делаю в своем коде? Если нет, есть ли лучший способ сделать то, что я пытаюсь сделать?


c++ opencv video sdl-2
person jofra    schedule 28.03.2014    source источник

Ответы (2)


arrow_upward
6
arrow_downward

Я заставил его работать! Я думаю, единственная проблема заключалась в том, что мне пришлось использовать &frameMat, а не frameMat. Вот мой код, если кому-то будет интересно:

SDL_Texture* Cutscene::convertCV_MatToSDL_Texture(const cv::Mat &matImg)
{
    IplImage opencvimg2 = (IplImage)matImg;
    IplImage* opencvimg = &opencvimg2;

     //Convert to SDL_Surface
    frameSurface = SDL_CreateRGBSurfaceFrom(
                         (void*)opencvimg->imageData,
                         opencvimg->width, opencvimg->height,
                         opencvimg->depth*opencvimg->nChannels,
                         opencvimg->widthStep,
                         0xff0000, 0x00ff00, 0x0000ff, 0);

    if(frameSurface == NULL)
    {
        SDL_Log("Couldn't convert Mat to Surface.");
        return NULL;
    }

    //Convert to SDL_Texture
    frameTexture = SDL_CreateTextureFromSurface(
                    GameEngine::getInstance()->getRenderer(), frameSurface);
    if(frameTexture == NULL)
    {
        SDL_Log("Couldn't convert Mat(converted to surface) to Texture.");
        return NULL;
    }
    else
    {
        SDL_Log("SUCCESS conversion");
        return frameTexture;
    }

    cvReleaseImage(&opencvimg);

}

person jofra    schedule 28.03.2014
comment
Я нашел это очень полезным! - person j0h; 04.09.2016

arrow_upward
2
arrow_downward

Вот еще способ без IplImage:

cv::Mat m ...;
// I'm using SDL_TEXTUREACCESS_STREAMING because it's for a video player, you should
// pick whatever suits you most: https://wiki.libsdl.org/SDL_TextureAccess
// remember to pick the right SDL_PIXELFORMAT_* !
SDL_Texture* tex = SDL_CreateTexture(
        ren, SDL_PIXELFORMAT_BGR24, SDL_TEXTUREACCESS_STREAMING, m.cols,
        m.rows);
SDL_UpdateTexture(tex, NULL, (void*)m.data, m.step1());

// do stuff with texture
SDL_RenderClear(...);
SDL_RenderCopy(...);
SDL_RenderPresent(...);
// cleanup (only after you're done displaying. you can repeatedly call UpdateTexture without destroying it)
SDL_DestroyTexture(tex)

Я предпочитаю это методам создания поверхности, потому что вам не нужно освобождать поверхность, и она более гибкая (например, вы можете легко обновить текстуру вместо создания/уничтожения). Также отмечу, что я не мог совмещать эти подходы: т.е. создавать текстуру с SDL_CreateRGBSurfaceFrom, а потом обновлять. Это привело к серым полосам и искажению изображения.

person Asad-ullah Khan    schedule 27.03.2020