В этой статье были представлены как активация PReLU, так и инициализация Kaiming. Мы обсудим инициализацию Kaiming в этом посте. Модели Deep NN испытывают трудности с сходимостью, когда веса инициализируются с использованием нормального распределения с фиксированным стандартным отклонением . Это связано с тем, что не учитывается дисперсия весов, что приводит к очень большим или малым значениям активации, что приводит к проблеме взрыва или исчезновения градиента во время обратного..