Инициализировать пользовательские веса в deeplearning4j

Я пытаюсь реализовать что-то вроде этого https://www.youtube.com/watch?v=Fp9kzoAxsA4, который представляет собой GANN (нейронная сеть с генетическим алгоритмом) с использованием библиотеки DL4J.

Генетические переменные обучения:

  • Гены: веса нейронной сети существ
  • Фитнес: общее пройденное расстояние.

Слои нейронной сети для каждого существа:

  • входной слой: 5 датчиков, которые либо 1, если в направлении датчика есть стена, либо 0, если нет.введите здесь описание изображения
  • выходной слой: линейный вывод, который соответствует углу существа.

Это мой метод createBrain для объекта существа:

private void createBrain() {
    Layer inputLayer = new DenseLayer.Builder()
            // 5 eye sensors
            .nIn(5)
            .nOut(5)
            // How do I initialize custom weights using creature genes (this.genes)?
            // .weightInit(WeightInit.ZERO)
            .activation(Activation.RELU)
            .build();

    Layer outputLayer = new OutputLayer.Builder()
            .nIn(5)
            .nOut(1)
            .activation(Activation.IDENTITY)
            .lossFunction(LossFunctions.LossFunction.MSE)
            .build();

    MultiLayerConfiguration conf = new NeuralNetConfiguration.Builder()
            .seed(6)
            .optimizationAlgo(OptimizationAlgorithm.STOCHASTIC_GRADIENT_DESCENT)
            .iterations(1)
            .learningRate(0.006)
            .updater(Updater.NESTEROVS).momentum(0.9)
            .list()
            .layer(0,inputLayer)
            .layer(1, outputLayer)
            .pretrain(false).backprop(true)
            .build();

    this.brain = new MultiLayerNetwork(conf);
    this.brain.init();
}

Если это может помочь, я нажал на этот репозиторий https://github.com/kareem3d/GeneticNeuralNetwork

А это класс Creature https://github.com/kareem3d/GeneticNeuralNetwork/blob/master/src/main/java/com/mycompany/gaan/Creature.java

Я изучаю машинное обучение, поэтому, если вы увидите какие-либо очевидные ошибки, сообщите мне об этом, спасибо :)


machine-learning deeplearning4j dl4j
person Kareem Mohamed    schedule 15.03.2017    source источник

Ответы (2)


arrow_upward
2
arrow_downward

Я не знаю, можете ли вы установить веса в конфигурации слоя (я не мог видеть в документах API), но вы можете получить и установить параметры сети после инициализации модели.

Чтобы установить их индивидуально для слоев, вы можете следовать этому примеру;

    Iterator paramap_iterator = convolutionalEncoder.paramTable().entrySet().iterator();

    while(paramap_iterator.hasNext()) {
        Map.Entry<String, INDArray> me = (Map.Entry<String, INDArray>) paramap_iterator.next();
        System.out.println(me.getKey());//print key
        System.out.println(Arrays.toString(me.getValue().shape()));//print shape of INDArray
        convolutionalEncoder.setParam(me.getKey(), Nd4j.rand(me.getValue().shape()));//set some random values
    }

Если вы хотите установить все параметры сети сразу, вы можете использовать, например, setParams() и params();

INDArray all_params = convolutionalEncoder.params();
convolutionalEncoder.setParams(Nd4j.rand(all_params.shape()));//set random values with the same shape

Вы можете проверить API для получения дополнительной информации; https://deeplearning4j.org/doc/org/deeplearning4j/nn/api/Model.html#params--

person Ali Mert Ceylan    schedule 10.05.2017

arrow_upward
1
arrow_downward

Это сработало для меня:

    int inputNum = 4;
    int outputNum = 3;

    MultiLayerConfiguration conf = new NeuralNetConfiguration.Builder()
            .seed(123)
            .layer(new EmbeddingLayer.Builder()
                    .nIn(inputNum) // Number of input datapoints.
                    .nOut(8) // Number of output datapoints.
                    .activation(Activation.RELU) // Activation function.
                    .weightInit(WeightInit.XAVIER) // Weight initialization.
                    .build())
            .list()
            .layer(new DenseLayer.Builder()
                    .nIn(inputNum) // Number of input datapoints.
                    .nOut(8) // Number of output datapoints.
                    .activation(Activation.RELU) // Activation function.
                    .weightInit(WeightInit.XAVIER) // Weight initialization.
                    .build())
            .layer(new OutputLayer.Builder(LossFunctions.LossFunction.NEGATIVELOGLIKELIHOOD)
                    .nIn(8)
                    .nOut(outputNum)
                    .activation(Activation.SOFTMAX)
                    .weightInit(WeightInit.XAVIER)
                    .build())
            .pretrain(false).backprop(false)
            .build();

    MultiLayerNetwork multiLayerNetwork = new MultiLayerNetwork(conf);
    multiLayerNetwork.init();

    Map<String, INDArray> paramTable = multiLayerNetwork.paramTable();
    Set<String> keys = paramTable.keySet();
    Iterator<String> it = keys.iterator();

    while (it.hasNext()) {
        String key = it.next();
        INDArray values = paramTable.get(key);
        System.out.print(key+" ");//print keys
        System.out.println(Arrays.toString(values.shape()));//print shape of INDArray
        System.out.println(values);
        multiLayerNetwork.setParam(key, Nd4j.rand(values.shape()));//set some random values
    }
person Alksentrs    schedule 02.02.2019