Исследователи из DeepMind разработали компилятор TRansformer Compiler для RASP (Tracr) с открытым исходным кодом, который преобразует программы в модели нейронных сетей. Tracr предназначен для исследования механистической интерпретации моделей Transformer AI, таких как GPT-3.
Tracr — это компилятор языка обработки последовательностей с ограниченным доступом (RASP), который был разработан как способ понять, как работают нейронные сети на основе Transformer; в частности, чтобы объяснить, почему они приводят к таким результатам. Tracr позволяет исследователям разрабатывать программы в RASP, которые затем компилируются в работающие модели нейронных сетей. Цель состоит в том, чтобы предоставить модели «наземной истины» для оценки инструментов интерпретируемости ИИ.
Согласно DeepMind: «Мы изложили наше видение использования скомпилированных моделей для интерпретируемости, и могут быть другие потенциальные применения Tracr в исследованиях интерпретируемости и за их пределами. Мы с нетерпением ждем возможности увидеть, как его используют другие исследователи, и надеемся, что изучение скомпилированных моделей поможет нам лучше понять нейронные сети».
Tracr берет код, написанный на RASP, и переводит его в веса для стандартной, предназначенной только для декодера архитектуры преобразователя, подобной GPT. Он используется для создания ряда наземных преобразователей истины, которые реализуют программы, в том числе вычисление частоты маркеров, сортировку и проверку скобок Dyck-n, среди прочего. Чтобы дать возможность более широкому исследовательскому сообществу исследовать и использовать скомпилированные модели, авторы также предоставляют реализацию Tracr с открытым исходным кодом.
Вы можете начать, просто набрав:
git clone https://lnkd.in/dZtZ2VhG
cd tracr
pip3 install .
Чтобы продемонстрировать использование Tracr, команда реализовала несколько моделей. В то время как модели Transformer, предназначенные только для декодера, обычно используются для задач обработки естественного языка (NLP), таких как обобщение текста или ответы на вопросы, исследователи DeepMind использовали Tracr для создания моделей для более простых задач: подсчет количества токенов во входной последовательности, сортировка последовательности. чисел и проверка сбалансированных скобок.
Вы также можете прочитать полный пост Энтони Алфорда на сайте InfoQ. Довольно развитие, я должен сказать.
