- SynerGPT: контекстное обучение для персонализированного прогнозирования синергии лекарств и разработки лекарств (arXiv)
Автор: Карл Эдвардс, Ааканкша Найк, Тушар Хот, Мартин Берк, Хэн Джи, Том Хоуп.
Резюме: Прогнозирование синергетических комбинаций лекарств может помочь ускорить поиск методов лечения рака, особенно методов лечения, персонализированных для конкретной опухоли пациента с помощью биопсийных клеток. В этой статье мы предлагаем новые условия и модели для изучения синергии наркотиков в контексте. Нам предоставляется небольшой «персонализированный набор данных» из 10–20 взаимосвязей синергии лекарств в контексте конкретных мишеней раковых клеток. Наша цель состоит в том, чтобы предсказать дополнительные синергетические отношения лекарств в этом контексте. Вдохновленные недавней работой, которая предварительно обучает языковую модель GPT (LM) для «обучения в контексте» общих классов функций, мы разрабатываем новые схемы предварительного обучения, которые позволяют модели GPT в контексте изучать «функции синергии лекарств». Наша модель, в которой не используются текстовые корпуса, молекулярные отпечатки пальцев, взаимодействие белков или какие-либо другие знания, относящиеся к предметной области, способна достичь конкурентоспособных результатов. Далее мы интегрируем наш контекстный подход с генетическим алгоритмом для оптимизации подсказок модели и выбора кандидатов на синергию для тестирования после проведения биопсии пациента. Наконец, мы исследуем новую задачу обратного дизайна лекарств, которая потенциально может позволить разработать лекарства, которые синергизируют конкретно для нацеливания на «персонализированный набор данных» данного пациента. Наши результаты потенциально могут оказать важное влияние на прецизионную медицину рака, а также поднять интригующие вопросы о нетекстовой предварительной подготовке для LM.
2. SINC: Контекстное обучение с самостоятельным наблюдением для задач визуального языка (arXiv)
Автор: И-Сюань Чен, Юнь-Чжу Сонг, Чэн Юй Ео, Бэй Лю, Цзяньлун Фу, Хун-Хань Шуай.
Аннотация: Большие предварительно обученные трансформеры демонстрируют интригующую способность к обучению в контексте. Без обновлений градиента эти модели могут быстро создавать новые предикторы на основе демонстраций, представленных во входных данных. Недавние работы продвигают эту способность в области языка зрения путем включения визуальной информации в большие языковые модели, которые уже могут делать предсказания в контексте. Однако эти методы могут наследовать проблемы в языковой области, такие как чувствительность к шаблонам и галлюцинации. Кроме того, масштаб этих языковых моделей повышает потребность в вычислениях, что делает изучение и использование этих моделей ресурсоемкими. С этой целью мы поднимаем вопрос: «Как мы можем обеспечить контекстное обучение для общих моделей, не ограничиваясь большими языковыми моделями?». Чтобы ответить на него, мы предлагаем краткую и общую структуру, Контекстное обучение с самоконтролем (SINC), которая вводит метамодель для обучения на подсказках с самоконтролем, состоящих из адаптированных демонстраций. Изученные модели могут быть переданы последующим задачам для оперативного прогнозирования контекста. Обширные эксперименты показывают, что SINC превосходит методы, основанные на градиенте, в различных задачах языка зрения при нескольких настройках. Кроме того, дизайн SINC помогает нам исследовать преимущества обучения в контексте для различных задач, а анализ дополнительно выявляет основные компоненты для появления обучения в контексте в области языка видения.
