SAEMI: Анализ размеров изображений электронной микроскопии

SAEMI: Анализ размеров изображений электронной микроскопии

Часть 1. Разработка инструмента для количественного анализа изображений, полученных с помощью электронной микроскопии.

Эта статья является первой частью моей серии, в которой подробно рассказывается об использовании и разработке SAEMI, веб-приложения, которое я создал для выполнения высокопроизводительного количественного анализа изображений, полученных с помощью электронной микроскопии. Вы можете проверить приложение здесь и его github здесь. Также ознакомьтесь с частью 2 здесь (где я рассказываю, как использовать приложение) и частью 3 здесь (где я описываю процесс обучения моей модели сегментации изображений). В этой статье я расскажу о мотивации разработки SAEMI, его использовании в научных исследованиях, а также сделаю краткий обзор того, как использовать приложение.

Электронная микроскопия

В начале 20 века французский физик Луи де Бройль сделал революционное предложение: электроны, как и свет, могут действовать как частица и волна. Эта идея дуальности волна-частица теперь лежит в основе современной квантовой механики и привела к развитию многих современных технологий, таких как персональные компьютеры и смартфоны, медицинские устройства, такие как МРТ и рентгеновские лучи, и оптоволоконный Интернет.

Однако одна менее известная технология, которая возникла из убедительного заявления де Бройля, - это электронный микроскоп. Есть много причин для его относительной неизвестности, хотя, вероятно, это связано с тем, что они непомерно дороги и на самом деле используются только в лабораторных условиях. При этом, однако, их ценность в лабораторных условиях нельзя недооценивать.

Подобно оптическому микроскопу, электронный микроскоп позволяет исследователям рассматривать части мира, которые слишком малы, чтобы их можно было увидеть невооруженным глазом. Однако, поскольку длина волны электрона намного короче света, исследователи могут использовать электронный микроскоп для разрешения деталей на порядки меньших, чем то, что можно получить с помощью обычного оптического микроскопа. В то время как оптические микроскопы могут достигать увеличения до 20 000 раз, электронный микроскоп может достигать увеличения более 1 миллиона раз.

На рис. 1 мы можем видеть различные масштабы длины, достижимые с помощью электронного микроскопа по сравнению с обычным оптическим микроскопом. В то время как функции, которые можно разрешить с помощью оптического микроскопа, безусловно, впечатляют (ведущие к нашему современному пониманию микробов, болезней и клеточной биологии), возможности, достижимые с помощью электронного микроскопа, открывают наше понимание мира на совершенно новом уровне.

В области химии и материаловедения электронная микроскопия (ЭМ) оказалась критически важной для понимания состава и структуры новых наноматериалов для различных целей, от создания водородных топливных элементов до изготовления микрочипов. В области биомедицины EM также позволила исследователям исследовать особенности биологических объектов, не наблюдаемых в оптические микроскопы, такие как белки, структура ДНК или дендритные клетки. По мере того как научные исследования все больше и больше интересуются материальным миром на все меньших и меньших масштабах длины, ЭМ становится все более и более бесценным инструментом для определения характеристик объектов в наномасштабе.

Так в чем проблема?

Несмотря на все его удивительные возможности, это не означает, что у EM есть свои проблемы. Хотя ЭМ может быстро обеспечить качественный анализ частиц в беспрецедентных масштабах длины, выполнение количественного анализа ЭМ изображений может стать утомительным и трудоемким. Например, рассмотрите изображение ниже:

Чтобы количественно определить что-то столь же простое, как средний размер частиц на изображении, вам нужно сначала вручную пометить все частицы (или, по крайней мере, их хорошее представление). Затем вам нужно будет подсчитать количество пикселей в каждой частице, и на основе этого подсчета можно будет вычислить среднюю площадь (в пикселях) каждой частицы.

Одним из инструментов, который часто используется для количественного анализа ЭМ изображений, является ImageJ. ImageJ - это платформа с открытым исходным кодом, которая использует javascript для помощи исследователям в анализе научных изображений. С его помощью исследователи могут использовать инструменты выбора многоугольника, чтобы определить определенные области изображения, а затем одним нажатием кнопки вычислить количество пикселей в определенной области. Хотя эти инструменты полезны, необходимость вручную определять область в изображении по-прежнему препятствует высокопроизводительному методу анализа множества ЭМ-изображений за один присест.

Отсутствие автоматизированных инструментов для количественного анализа изображений объясняется тем, что традиционно очень сложно загрузить изображение в компьютер, а затем заставить компьютер понять, на что он смотрит. В то время как человек может видеть изображение и сразу распознавать объекты переднего плана на фоне, компьютеру предоставляется только матрица значений пикселей, представляющих интенсивность цвета в этой конкретной точке. Это показано на рисунке 3, где изображение показано в виде трех уложенных друг на друга двухмерных массивов значений пикселей (или одного трехмерного массива). Первый двумерный массив обычно представляет канал красного цвета, а второй и третий массивы - синий и зеленый каналы соответственно. Именно плотные сложные слои взаимосвязей между значениями пикселей в этих 2D-массивах определяют разделение объекта переднего плана на задний план. В результате разработка метода сегментирования различных частиц на ЭМ-изображении (который также хорошо обобщается) - непростая задача.

Глубокое обучение как решение

К счастью, не вся надежда потеряна. Глубокое обучение - это класс алгоритмов машинного обучения, которые в последние годы раздвинули границы возможного в компьютерном зрении. Благодаря использованию моделей, основанных на глубоком обучении, исследователи смогли совершить прорыв в таких технологиях, как беспилотные автомобили, системы распознавания лиц и построение 3D-моделей. В частности, модели глубокого обучения позволили компьютерам не только автоматически классифицировать изображения, но и сегментировать их на различные компоненты.

Для целей ЭМ-изображений глубокое обучение может использоваться для сегментации компонентов изображения, чтобы пиксели можно было классифицировать как пиксели фона или пиксели частиц. Это показано на рис. 5 ниже, где белый цвет представляет пиксели фона, а черный - пиксели частиц.

Обратите внимание, что модель глубокого обучения преобразует изображение из 3D-массива значений пикселей в диапазоне от 0 до 255 (для изображений с 8-битными значениями пикселей) в 2D-массив значений пикселей, равных 0 или 1. За счет уменьшения сложности array и ограничивая его так, чтобы сохранялись только самые важные функции, можно явно выполнить более количественный анализ, не беспокоясь о «шумах». Например, если мы хотим количественно определить, сколько пикселей в ЭМ-изображении было занято частицей, мы просто подсчитываем частоту, с которой 1 (значение для пикселя частицы) встречается в нашем сегментированном 2D-массиве.

Сравните это с тем, что мы использовали бы более наивный подход, такой как бинаризация. Результат бинаризации ЭМ-изображения на рисунке 5 приведет к изображению, подобному изображенному на рисунке 6. В отличие от использования глубокого обучения для сегментации изображения, простой подсчет частоты единиц (черные пиксели) на рисунке 6 приведет к крайне неточный анализ. Следовательно, для получения точного результата потребуются более сложные методы анализа.

Измерение распределения размеров

Итак, теперь, когда у нас есть хорошо сегментированное изображение, какой количественный анализ мы хотели бы провести?

Один из самых простых, но также наиболее эффективных способов использования количественной оценки ЭМ-изображений для дальнейших научных исследований - это определение распределения частиц по размерам в образце. Например, многие фармацевтические препараты, которые мы принимаем для поддержания здоровья, должны иметь определенный размер, чтобы воздействовать на определенные органы и проникать через наши клеточные стенки. Кроме того, для многих химических синтезов реагенты должны быть в пределах предельного размера, иначе они будут слишком громоздкими для протекания реакции.

Другие более сложные процессы также могут быть однозначно зависимыми от размера в наномасштабе. Квантовые размерные эффекты в наночастицах металлов и оксидов металлов часто определяют их фотонные и оптоэлектронные свойства. Поскольку размер металлической наночастицы неразрывно связан с ее способностью поглощать свет на определенных длинах волн, исследователи часто настраивают свои оптоэлектронные устройства (например, солнечные элементы, светодиоды, волоконно-оптические лазеры и т. Д.), Просто изменяя размер наночастиц. используется в этих устройствах.

Однако, чтобы успешно настроить все эти интересные свойства, сначала необходимо определить размер выборки. На рисунке 5 выше подсчет частоты единиц (пикселей частиц) в массиве сегментированных изображений - тривиальная задача для выполнения компьютерной программы. Поскольку у большинства ЭМ-изображений также есть соответствующая масштабная линейка, площадь частицы может быть определена простым умножением этой частоты на коэффициент преобразования пикселей в нанометры / микрометры. Это приведет к количественному измерению размера наночастицы на рисунке 5.

Однако, когда на изображении много частиц, для определения распределения по размерам требуется немного больше шагов. Простой подсчет частоты единиц на изображении приведет к определению размера всех частиц как единой капли, а не отдельных объектов. Чтобы гарантировать сохранение индивидуальности каждой частицы, вы можете присвоить каждой соединенной области из единиц на изображении уникальную метку. Это известно как разметка связанных компонентов. В качестве примера рассмотрим 2D-массив ниже:

[ [ 1 , 0 , 0 , 1 , 1 ] ,
[ 0 , 0 , 0 , 1 , 1 ] ,
[ 1 , 1 , 0 , 0 , 0 ] ,
[ 1 , 0 , 0 , 0 , 0 ] ,
[ 0 , 0 , 0 , 1 , 1 ] ]

Назначение каждой соединенной области единиц 1 уникальной метки приведет к следующему массиву:

[[ 1 , 0 , 0 , 2 , 2 ] ,
[ 0 , 0 , 0 , 2 , 2 ] ,
[ 3 , 3 , 0 , 0 , 0 ] ,
[ 3 , 0 , 0 , 0 , 0 ] ,
[ 0 , 0 , 0 , 4 , 4 ] ]

Получение распределения по размеру сводится просто к подсчету частоты появления каждой уникальной метки в массиве. Следовательно, в приведенном выше примере частица 1 имеет размер один пиксель, частица 2 имеет размер четыре пикселя, частица 3 имеет размер три пикселя, а частица 4 имеет размер два пикселя.

Собираем все вместе

Чтобы предоставить исследователям средства для количественного измерения распределения наночастиц по размерам на ЭМ-изображении, я использовал глубокое обучение для разработки SAEMI, веб-приложения, которое использует глубокое обучение для расчета распределения наночастиц по размерам в ЭМ-изображениях.

Чтобы использовать приложение, сначала загружается изображение, размер которого впоследствии изменяется, чтобы количество входных пикселей соответствовало тому, которое я использовал для обучения моей модели глубокого обучения. Это выполняется с помощью билинейной интерполяции, которая использует линейную интерполяцию по двум осям для отображения сетки значений (в данном случае значений пикселей) на другую сетку значений другого размера.

Как только это будет сделано, изображение будет загружено в мою модель глубокого обучения, которая была обучена на наборе ЭМ-изображений, взятых из NFFA-EUROPE. Поскольку этот набор изображений состоял только из необработанных ЭМ-изображений (наши значения x), мне пришлось предоставить свои собственные метки истинности (значения y). Это было сделано с использованием комбинации алгоритмов opencv-python и описанного выше инструмента анализа изображений ImageJ. На рисунке 6 ниже вы можете увидеть пример одного из необработанных ЭМ-изображений и его соответствующую метку наземной достоверности.

После прохождения через мою обученную модель результатом является двоичное предсказание. Это двоичное предсказание представляет собой двумерный массив значений, состоящий из нулей и единиц, где 0 представляет фоновый пиксель, а 1 представляет пиксель частицы. Пример этого прогноза показан на рис.7.

Наконец, количественный анализ выполняется путем подсчета каждой подключенной области единиц в двумерном массиве и сообщения их частоты. Затем распределение размеров отображается в виде гистограммы и может быть загружено в виде файла .csv для дальнейшего анализа, если исследователь сочтет нужным. На рисунке 9 ниже показана гистограмма для ЭМ изображения, показанного на рисунке 8.

Все эти вычисления, от изменения размера изображения до сегментации изображения с использованием глубокого обучения и определения распределения частиц по размерам, выполняются одним нажатием кнопки и минимальным вводом. Используя возможности глубокого обучения, можно эффективно и с высокой пропускной способностью выполнять количественный анализ ЭМ-изображений.

Во части 2 моей серии статей я дам более подробное описание того, как использовать приложение, а в части 3 моей серии статей я более подробно расскажу о процессе обучения модели глубокого обучения и о том, насколько глубоко обучение можно использовать для сегментации изображений. Следите за обновлениями, и если вам случится участвовать в исследованиях в наномасштабе, пожалуйста, ознакомьтесь с моим приложением и испытайте его на себе. Обратная связь всегда приветствуется!