- Boolformer: символьная регрессия логических функций с преобразователями (arXiv)
Автор: Стефан д’Асколи, Сами Бенджио, Джош Зюскинд, Эммануэль Аббе.
Аннотация: В этой работе мы представляем Boolformer, первую архитектуру Transformer, обученную выполнять сквозную символьную регрессию логических функций. Во-первых, мы показываем, что он может предсказывать компактные формулы для сложных функций, которые не были замечены во время обучения, если предоставить чистую таблицу истинности. Затем мы демонстрируем его способность находить приближенные выражения при неполных и зашумленных наблюдениях. Мы оцениваем Boolformer на широком наборе реальных наборов данных двоичной классификации, демонстрируя его потенциал как интерпретируемую альтернативу классическим методам машинного обучения. Наконец, мы применим его к широко распространенной задаче моделирования динамики генных регуляторных сетей. Используя недавний тест, мы показываем, что Boolformer конкурирует с современными генетическими алгоритмами с ускорением на несколько порядков. Наш код и модели доступны публично.
2. Генетическое программирование переменных управления гонками для символической регрессии
(arXiv)
Аннотация: Символическая регрессия, как одна из наиболее важных задач ИИ для науки, обнаруживает управляющие уравнения на основе экспериментальных данных. Популярные подходы, основанные на генетическом программировании, поиске по дереву Монте-Карло или глубоком обучении с подкреплением, изучают символьную регрессию на основе фиксированного набора данных. Они требуют огромных наборов данных и длительного времени на обучение, особенно при изучении сложных уравнений, включающих множество переменных. Недавно было введено генетическое программирование контрольных переменных (CVGP), которое ускоряет процесс регрессии за счет обнаружения уравнений из разработанных экспериментов с контрольными переменными. Однако набор экспериментов априори фиксирован в CVGP, и мы наблюдаем, что неоптимальный выбор графиков экспериментов значительно задерживает процесс открытия. Чтобы преодолеть это ограничение, мы предлагаем генетическое программирование переменных управления гонками (Racing-CVGP), которое одновременно выполняет несколько графиков экспериментов. Схема выбора, аналогичная той, которая используется при выборе хороших символьных уравнений в процессе генетического программирования, реализована для того, чтобы гарантировать, что многообещающие графики экспериментов в конечном итоге одержат верх над средними. Неблагоприятные графики прекращаются досрочно, чтобы сэкономить время для перспективных. Мы оцениваем Racing-CVGP на нескольких синтетических и реальных наборах данных, соответствующих истинным законам физики. Мы демонстрируем, что Racing-CVGP превосходит CVGP и серию символьных регрессоров, которые обнаруживают уравнения из фиксированного набора данных.
