Не знать, как машины принимают те или иные решения, не так уж и сложно. Отставание между теорией и экспериментами никогда не было веской причиной, чтобы остановить продвижение науки вперед, иногда в темные или, по крайней мере, слабо освещенные области. Если можно построить машину, которая будет давать правильные ответы, значит, существует эмпирическая основа для доверия.
Основная трудность в понимании того, что машины делают в ИИ, чаще всего заключается в масштабе процессов, которые они запускают, это, как правило, слишком большая картина, чтобы ее можно было легко представить или визуализировать. Другая трудность заключается в том, что большинство машин не имеют состояния. Кроме того, для многих глубоких сетей процесс обучения поиску ответа начинается с угадывания начальных значений, а затем вознаграждает сеть, когда она приближается к ответам в обучающих данных. В некоторых сетях начальные веса, присвоенные значениям, являются случайными, и процесс обучения каждый раз начинается с другой точки. Сети, как правило, строятся из множества очень коротких и преходящих циклов, большинство сетей на сегодняшний день игнорируют знания, которые они приобретают во время каждого цикла обучения.
Существуют способы символической визуализации того, что делает сеть. Существуют способы запуска другого типа алгоритма для отображения выходных данных сети в виде деревьев решений. Создаются сети, у которых есть периоды состояния, сети, которые взаимодействуют с другими сетями, и сети, которые имеют память и учатся на своих воспоминаниях. По мере развития этих моделей процесс обучения будет содержать некоторые записи того, что он сделал. Основную часть процесса по-прежнему будет трудно представить, но можно.
Я размышлял обо всем этом немного глубже где-то еще и выразил мнение, что лично мне вполне комфортно доверять черным ящикам.
