Вопросы по теме 'activation-function'

Почему использовать softmax только в выходном слое, а не в скрытых слоях?
Большинство примеров нейронных сетей для задач классификации, которые я видел, используют слой softmax в качестве функции активации вывода. Обычно другие скрытые блоки используют функцию сигмоида, tanh или ReLu в качестве функции активации....
12428 просмотров

бинарная пороговая функция активации в тензорном потоке
У меня есть фрагмент кода, который использует сигмовидную функцию активации для классификации, которая выводит [0,1]. Но мне нужна функция активации, которая выводит двоичные значения либо 0, либо 1. x = tf.placeholder("float", [None,...
6594 просмотров
schedule 22.07.2023

Функция активации ReLU с пакетом нейронной сети в R
Из-за того, что в пакете нейронной сети нет функции ReLU, я пытаюсь написать код для функции ReLU. Но есть ошибка, которую я не понимаю. Пожалуйста, смотрите мой код и информацию об ошибке ниже. relu<-function(x){ifelse(x>=0,x,0)} nn <-...
2238 просмотров
schedule 07.11.2022

Более быстрая реализация производной ReLu в python?
Я реализовал производную ReLu как: def relu_derivative(x): return (x>0)*np.ones(x.shape) Я также пробовал: def relu_derivative(x): x[x>=0]=1 x[x<0]=0 return x Размер X=(3072,10000). Но вычисление занимает...
1182 просмотров

Почему функция стробированной активации (используемая в Wavenet) работает лучше, чем ReLU?
Я недавно читал статьи Wavenet и PixelCNN, и в обоих они упоминают, что использование стробированных функций активации работает лучше, чем ReLU. Но ни в том, ни в другом случае они не объясняют, почему это так. Я спрашивал на других платформах...
1080 просмотров

функция активации relu с использованием лямбда
Привет, я хочу реализовать лямбда-функцию в python, которая возвращает мне x, если x> 1 и 0 в противном случае (relu): так что у меня есть что-л. как: p = [-1,0,2,4,-3,1] relu_vals = lambda x: x if x>0 else 0 print(relu_vals(p))...
485 просмотров
schedule 27.01.2023

Проблема совместимости формы ввода пользовательского слоя Keras
Пытаюсь написать кастомный слой активации в керасе. Проблема в том, что я пробовал сделать это с помощью сигмоида и с функцией активации relu. Примеры практически идентичны, но один работает, а другой - нет. Рабочий пример: class...
50 просмотров

Почему мой алгоритм машинного обучения застревает?
Итак, я упираюсь в стену своим проектом C# Machine Learning. Я пытаюсь обучить алгоритм распознаванию чисел. Поскольку это всего лишь упражнение, у меня есть набор изображений из 200 чисел (по 20 от 0 до 9). Очевидно, что если бы мне нужен был...
122 просмотров