Как я могу использовать пользовательскую модель данных с Deeplearning4j?

Итан!

Прежде всего, Deeplearning4j использует ND4j в качестве бэкэнда, поэтому ваши данные в конечном итоге должны быть преобразованы в INDArray объекты, чтобы их можно было использовать в вашей модели. Если ваши данные трианирования представляют собой два массива двойников, inputsArray и desiredOutputsArray, вы можете сделать следующее:

INDArray inputs = Nd4j.create(inputsArray, new int[]{numSamples, inputDim});
INDArray desiredOutputs = Nd4j.create(desiredOutputsArray, new int[]{numSamples, outputDim});

А затем вы можете обучить свою модель, используя эти векторы напрямую:

for (int epoch = 0; epoch < nEpochs; epoch++)
    model.fit(inputs, desiredOutputs);

В качестве альтернативы вы можете создать объект DataSet и использовать его для обучения:

DataSet ds = new DataSet(inputs, desiredOutputs);
for (int epoch = 0; epoch < nEpochs; epoch++)
    model.fit(ds);

Но создание настраиваемого итератора - самый безопасный подход, особенно в больших наборах, поскольку он дает вам больше контроля над вашими данными и поддерживает порядок.

В вашей реализации DataSetIterator вы должны передать свои данные, а в реализации метода next() вы должны вернуть объект DataSet, содержащий следующий пакет ваших обучающих данных. Это выглядело бы так:

public class MyCustomIterator implements DataSetIterator {
    private INDArray inputs, desiredOutputs;
    private int itPosition = 0; // the iterator position in the set.

    public MyCustomIterator(float[] inputsArray,
                            float[] desiredOutputsArray,
                            int numSamples,
                            int inputDim,
                            int outputDim) {
        inputs = Nd4j.create(inputsArray, new int[]{numSamples, inputDim});
        desiredOutputs = Nd4j.create(desiredOutputsArray, new int[]{numSamples, outputDim});
    }

    public DataSet next(int num) {
        // get a view containing the next num samples and desired outs.
        INDArray dsInput = inputs.get(
            NDArrayIndex.interval(itPosition, itPosition + num),
            NDArrayIndex.all());
        INDArray dsDesired = desiredOutputs.get(
            NDArrayIndex.interval(itPosition, itPosition + num),
            NDArrayIndex.all());

        itPosition += num;

        return new DataSet(dsInput, dsDesired);
    }

    // implement the remaining virtual methods...

}

NDArrayIndex методы, которые вы видите выше, используются для доступа к частям INDArray. Тогда теперь вы можете использовать его для обучения:

MyCustomIterator it = new MyCustomIterator(
    inputs,
    desiredOutputs,
    numSamples,
    inputDim,
    outputDim);

for (int epoch = 0; epoch < nEpochs; epoch++)
    model.fit(it);

example будет особенно полезен для вас, поскольку он реализует сеть LSTM и имеет настраиваемую реализацию итератора (которая может быть руководством для реализации остальных методов). Кроме того, для получения дополнительной информации о NDArray полезно . Он дает подробную информацию о создании, изменении и доступе к частям NDArray.

deeplearning4j здесь.

Вам не следует создавать итератор набора данных ни при каких, кроме очень специальных настроек. Вы должны использовать datavec. Мы освещаем это во многих местах, от нашей страницы данных vec до наших примеров: https://deeplearning4j.konduit.ai/datavec/overview https://github.com/eclipse/deeplearning4j-examples

https://deeplearning4j.konduit.ai/datavec/overview https://github.com/eclipse/deeplearning4j-examples