В предыдущем посте мы подошли к этому ограничению для нашей цели оптимизации:

Теперь, когда у нас есть это, давайте выясним, что нам нужно минимизировать, чтобы найти значения, которые наилучшим образом удовлетворяют этому ограничению для данного обучающего набора. Как мы определили ранее, лучшим показателем для измерения соответствия обучающей гипотезе является поле или ширина желоба. Но как нам это найти?

Если мы посмотрим на изображение нашего графика, мы увидим, что вычитание отрицательного образца из положительного даст нам красный вектор в середине. Теперь, чтобы определить ширину желоба, нам просто нужно умножить этот вектор на единицу нормали желоба. Мы можем найти это, разделив вектор w на его величину, чтобы получить то, что мы ищем.

Теперь, используя несколько хитрых уловок, мы можем взглянуть на это уравнение и ограничение, которое показывает нам кое-что интересное.

Подставляя в наше уравнение ширины, мы можем показать, что теперь ширина желоба равна:

Теперь у нас есть хорошее уравнение для ширины желоба. Как мы уже говорили, наша цель - максимально увеличить ширину желоба, чтобы найти гиперплоскость, обеспечивающую наилучшее обобщение данных.

Теперь о некоторых хитростях. Увеличение 2 по ширине желоба аналогично увеличению 1 по ширине желоба. Затем мы можем сказать, что теперь минимизируем единичную норму w, и, наконец, умножение 1/2 и возведение во 2-ю степень упростят получение производных.

Теперь давайте соберем то, что у нас есть. Мы знаем, что хотим минимизировать единичную норму w, и у нас есть ограничение.

Это сложная задача выпуклой оптимизации, и для ее решения нам придется использовать так называемый множитель ЛеГранжа.

Согласно Wikipeida:

В« математической оптимизации метод множителей Лагранжа (названный в честь Жозефа-Луи Лагранжа [1] ) представляет собой стратегию нахождения локальных максимумов и минимумов функции С учетом ограничений равенства ».

Я рекомендую вам прочитать эту статью в Википедии, если вы не знакомы с LeGrangians.

Наш ЛеГранжиан имеет переменную λ (лямбда), которая называется «множителем ЛеГранжа», и наше полное уравнение принимает форму:

Подставив нашу цель и ее ограничение, мы можем написать наш Легранжиан, который суммирует по m ограничений следующим образом:

На этом часть 3. Оставайтесь с нами и не стесняйтесь писать мне в твиттере @samkirkiles или в комментариях с любыми вопросами.