Передача сообщений по всем парам с O(N) В последнее время создание моделей Transformer для обработки графоструктурированных данных вызвало широкий интерес в сообществе исследователей машинного обучения. Одна из критических проблем связана с квадратичной сложностью глобального внимания, которая мешает трансформерам масштабироваться до больших графов. В этом блоге будет кратко представлена ​​недавняя работа над NeurIPS22: NodeFormer: масштабируемый преобразователь структуры графа..

Разблокировка ИИ для сферических данных 360° В то время как ИИ в настоящее время является обычным явлением для стандартных типов данных, таких как структурированные, последовательные данные и данные изображений, применение ИИ сильно ограничено для других, более сложных форм данных. Эти более сложные наборы данных обычно демонстрируют нетривиальную геометрию. Область геометрического ИИ , или геометрического глубокого обучения, появилась, чтобы распространить замечательные..

Гибридные вращательно-эквивариантные сферические CNN Понятия сферической свертки предлагают многообещающий путь к раскрытию потенциала глубокого обучения для различных задач, в которых преобладают сферические данные. Однако введение нелинейности представляет собой сложную задачу. В этом посте мы исследуем, как идеи, зародившиеся в квантовой физике, могут быть применены для преодоления этого барьера. Мы внедряем новые подходы для эффективной реализации этих идей на практике...

Конференция New Graph ML Объявление о конференции Learning on Graphs Машинное обучение на основе графов стало достаточно обширной областью, чтобы заслужить отдельное мероприятие: Конференцию Learning on Graphs (LoG). Первое мероприятие состоится в декабре 2022 года и будет полностью виртуальным и бесплатным для посещения. Мы считаем, что это мероприятие будет стимулировать исследования в этой области, объединяя экспертов и практиков из различных областей и смежных дисциплин. Это..

Обзор В этой статье я постараюсь подвести итог этой очень интересной статье, связанной с геометрическим глубоким обучением. Оригинальная бумага Калибровочно-эквивалентные сверточные сети и икосаэдрическая CNN Принцип эквивариантности преобразований симметрии позволяет теоретически обосновать подход к нейронной сети… arxiv.org ПРИМЕЧАНИЕ: В этом резюме я минимизировал использование математической нотации (также потому, что Medium..