Причина, по которой Leaky ReLU менее чувствительна к инициализации, чем функция активации ReLU, заключается в том, что Leaky ReLU вводит небольшой отрицательный наклон для отрицательных входных значений, в то время как ReLU устанавливает все отрицательные входные значения равными нулю.
Это означает, что в случае ReLU, если веса сети инициализированы таким образом, что…
