Как правило, любую проблему машинного обучения можно отнести к одной из двух широких классификаций:
Обучение с учителем и Обучение без учителя.

Том Митчелл предлагает более современное определение: «Говорят, что компьютерная программа учится на опыте E в отношении некоторого класса задач T и показателя производительности P, если ее производительность при выполнении задач в T, измеряемая P, улучшается с опыт E.”

Обучение под наблюдением: даны «правильные ответы».

  • Это может быть проблема регрессии, которая predict continuous valued output,
  • также может быть проблема с классификацией, которая predict discrete valued output.

Неконтролируемое обучение:

состоит в том, чтобы выяснить некоторую структуру в наборе данных, и найти кластеры — большая часть работы.
При неконтролируемом обучении НЕТ обратной связи, основанной на результатах прогнозирования.

Существует также проблема некластеризации для неконтролируемого обучения.

как «алгоритм коктейльной вечеринки».

Октава

Octave гораздо быстрее реализует прототип, чем другие языки. Мы можем сначала использовать Octave для проверки наших идей, моделей и переноса их на другие языки, когда они будут успешными.

Модель линейной регрессии

Функция стоимости

Контурный график

Интуиция градиентного спуска

Алгоритм градиентного спуска

Алгоритм градиентного спуска: повторять до сходимости:

где j=0,1 представляет порядковый номер функции.

одновременно обновлять параметры θ1, θ2…

«Пакетный» градиентный спуск

"Пакетная обработка": каждый шаг градиентного спуска вычисляет ВСЕ обучающие данные.