Есть ли более чистый способ репликации unordered_map со значениями нескольких типов в С++ (11)

Основная идея — получить unordered_map, в котором хранятся значения разных типов. То, что я пытаюсь сделать, это создать легкодоступный объект для объекта универсального буфера OpenGL. Конечный продукт будет выглядеть примерно так:

UBO ubo = { "Uniforms", "translation", "scale", "rotation", "enabled" };
ubo["scale"]       = 0.5f;
ubo["translation"] = { 0.1f, 0.1f, 0.0f };
ubo["rotation"]    = { 90.0f, 0.0f, 0.0f, 1.0f };
ubo["enabled"]     = GL_TRUE; 

В моем классе UBO я перегрузил оператор []:

struct UBOData;

class UBO
{
    std::unordered_map<std::string,UBOData>
    ...
    public: 
    UBOData &operator[](std::string key)
    {
        UBOData data = new UBOData();
        dataMap.emplace(key, data);
        return data;
    }

    const UBOData& operator[](std::string key)
    {
        return const_cast<UBOData&>(*this)[key];
    }
};

И я использую UBOData для хранения разных типов данных. Вот где моя уверенность ослабевает в свете того, что «правильно» в мире С++.

.
.
.
struct UBOData
{
    enum ReturnType {Undefined, rInt, rFloat, rDouble};

    void       *value;
    ReturnType type;
    int &operator=(int lhs);
    float &operator=(float lhs);
    double &operator=(double lhs);
};

Я усек типы для этого примера, без типов std::array. Также обратите внимание, что я использую void * для хранения значения и говорю мне, что мне нужно переосмыслить свой дизайн. Конечно знаю, поэтому я здесь :)

int &UBOData::operator=(int lhs)
{
    if (type == Undefined) { type = rInt; } else { assert(type == rInt); }
    value = new int(lhs);
    int &rValue = *((int*)value);
    return rValue;
}

float &UBOData::operator=(float lhs)
{
    if (type == Undefined) { type = rFloat; }
    else { assert(type == rFloat); }

    value = new float(lhs);
    float &rValue = *((float*)value);
    return rValue;
}

double &UBOData::operator=(double lhs)
{
    if (type == Undefined) { type = rDouble; }
    else { assert(type == rInt); }

    value = new double(lhs);
    double &rValue = *((double*)value);
    return rValue;
}

Я попытался обернуть void* проверкой типов, но есть ли лучший способ получить карту с несколькими типами без void *?

Примечание. Я использую VS2013 в Windows и clang на Mac и Linux.