Вот формулировка того, что, по моему мнению, является фундаментальным вопросом обучения (на который мы можем надеяться ответить в относительно общем виде в ближайшие 5–7 лет). Следует отметить, что уже есть несколько работ (в первую очередь Бакстер, 2000), посвященных этому вопросу, но я формулирую его несколько шире, чем он (или другие, насколько мне известно).
Пусть P и Q — два разных распределения.
Предположение 1. У нас есть n одинаково распределенных выборок из P.
Предположение 2. У нас есть m одинаково распределенных выборок из Q.
Предположение 3: все выборки независимы друг от друга.
Пусть h — некоторая оценка (некоторого функционала) Q.
Каковы условия для P, Q, n и m, чтобы h узнает о P, используя n образцов из P и m образцов из Q.
Некоторые могут назвать это фундаментальным вопросом обучения вне распределения. Хотя я бы сказал, что внутрираспространение и внераспределение — это всего лишь два частных случая обучения в более общем плане.
И я отмечу, что есть еще ряд довольно сильных предположений, например, мы получаем пакетные данные, и iid и т. д. Таким образом, есть более фундаментальные вопросы, которые включают такие вещи, как последовательный анализ решений, теория управления и обучение с подкреплением, для пример. Этот вопрос игнорирует активное обучение, причинно-следственные связи, любопытство и постоянное обучение. Поэтому это не самый фундаментальный вопрос, но все же, я думаю, относительно фундаментальный.
