В сверточной нейронной сети (CNN) для разделения весов выбирается фильтр. Например, на следующих рисунках выбрано окно 3x3 с шагом (расстоянием между соседними нейронами) 1.
Итак, мой вопрос: Как выбрать размер окна? Если я использую 4x4 с шагом 2, какая разница будет? Заранее большое спасибо!
На этот вопрос нет однозначного ответа: размер фильтра — это один из гиперпараметров, которые обычно необходимо настраивать. Однако есть несколько полезных наблюдений, которые могут вам помочь. Часто предпочитают выбирать меньшие фильтры, но иметь большее их количество.
Пример: четыре фильтра 5x5 имеют 100 параметров (без учета смещения), а 10 фильтров 3x3 имеют 90 параметров. С помощью более крупных фильтров вы по-прежнему можете захватывать различные функции изображения, но с меньшим количеством параметров. Подробнее об этом здесь.
Современные CNN идут еще дальше в этой идее и выбирают последовательные 3x1 и 1x3 сверточные слои. Это еще больше уменьшает количество параметров, но не влияет на производительность. См. эволюцию начальной сети.
Выбор шага также важен, но он влияет на форму тензора после свертки и, следовательно, на всю сеть. Общее правило состоит в том, чтобы использовать stride=1 в обычных свертках и сохранять пространственный размер с отступами, а также использовать stride=2, когда вы хотите уменьшить разрешение изображения.
