Исследовательская группа в области биомедицинской инженерии в Университете Богазичи в Стамбуле (Турция) использовала EinScan Pro 2X для оцифровки кишечника для 3D-моделирования. Биомедицинская инженерия занимается применением инженерных технологий и научных методов для анализа биологических, физиологических проблем и проблем здравоохранения.
Цель Института ‒ обеспечить специализированную академическую подготовку и инфраструктуру исследовательских возможностей для аспирантов в конкретных областях биомедицинской инженерии.
Текущие области исследований в лабораториях института включают биомедицинское приборостроение и биоэлектронику, биомеханику, анализ нейросигналов, биофотонику, медицинскую визуализацию, клеточную визуализацию и электрофизиологию, робототехнику, проектирование и тестирование медицинских приборов и психофизику.
Д-р Мехмет Туран получил новое финансирование по программе «TÜBİTAK 2232. International Fellowship for Outstanding Researchers (Международная стипендия для выдающихся исследователей)» для работы в институте. Проект называется «Эндоскопический капсульный робот с магнитным приводом и ИИ-силовой установкой для адресной доставки лекарств и проведения множественных биопсий».
Проект направлен на создание крупных научно-технических инноваций в области мехатроники, дистанционного магнитного управления, алгоритмов локализации и картирования для беспроводных капсульных эндоскопических (БКЭ) роботов с использованием последних достижений в области искусственного интеллекта. Методы глубокого обучения перспективны для улучшения реконструкции плотной топографии и оценки позы, а также одновременной локализации и картирования (SLAM). Имеющиеся в настоящее время наборы данных не позволяют провести эффективный количественный сравнительный анализ. В данном проекте представлен обширный набор данных эндоскопической SLAM, содержащий как капсульные, так и стандартные записи эндоскопии. Роботизированная рука «Panda», «EinScan Pro 2X», два различных коммерческих капсульных эндоскопа с различными свойствами камеры и две различные обычные эндоскопические камеры были использованы для сбора данных с восьми органов желудочно-кишечного тракта свиньи вне организма.
Геометрические данные органов были получены с помощью многофункционального 3D-сканера «EinScan Pro 2x». 3D-сканированные модели, полученные для шести органов, были закреплены на каркасах, которые были вырезаны в форме O, Z и L, чтобы имитировать путь ЖКТ через восходящую ободочную кишку к поперечной ободочной кишке. Сбор данных облака точек двух толстых кишок, одной кишки и трех желудков разных особей делает набор данных подходящим для алгоритмов трансферного обучения. Кроме того, можно проверить работу алгоритма на ткани с различными деталями текстуры для одного и того же типа органа.
Поскольку это была первая пробная съемка набора данных, исследовательская группа столкнулась с некоторыми трудностями:
● Невозможно было сканировать маленькие, светлые и темные области без маркеров.
Ответ от «SHINING 3D»:
“Ручной режим очень хорошо работает для объектов размером более 10 см, в то время как сканирование более мелких объектов довольно затруднительно. Мы рекомендуем режим фиксированного сканирования, который позволяет захватывать объекты размером до 2-3 см. Этот режим специально разработан для съемки небольших объектов и обеспечивает очень хорошие результаты. Если участки очень темные, свет поглощается. Яркость сканера можно увеличить, но бывает, что сканер ничего не показывает. Медицинский спрей для сканирования, который используется в стоматологии, может решить эту проблему. Спрей делает участки белыми и облегчает их сканирование. Эти медицинские спреи не вредны и не токсичны.”
● Для получения полной 3D-модели нам приходилось вращать подложку, что иногда приводило к нарушениям в расположении соседних поверхностей.
Ответ от «SHINING 3D»:
“При повороте объектов для сканирования необходимо убедиться, что все части объектов зафиксированы, поскольку в противном случае программному обеспечению становится трудно обнаружить и сшить полученные данные вместе.”
После того как органы (желудок, толстая и тонкая кишка) были сшиты в форме L, O и Z, началось 3D-сканирование. На рисунке ниже показано сканирование желудка. Сканирование проводилось в ручном режиме быстрого сканирования. Для этого сканирование начиналось с одного угла органа и продолжалось параллельно друг другу до последнего угла. Средняя область желудка содержит наиболее важную структуру. Поэтому необходимо было отрегулировать яркость, чтобы запечатлеть все мельчайшие детали. Яркость была легко отрегулирована с помощью кнопок + и – на 3D-сканере. Яркость отображается в верхней части левого маленького экрана. Красный цвет предупреждает о том, что яркость слишком велика, чтобы продолжать процесс сканирования. Однако основное внимание было уделено внутренней структуре желудка, которая на экране отображается зеленым цветом. Многофункциональный ручной 3D-сканер «EinScan Pro 2X» был использован для детального сканирования поверхности органа. Желудок имел большую поверхность, поэтому его можно было отсканировать без проблем. Толстая кишка, напротив, имела небольшую площадь, и белый фон подложки затруднял сканирование. Поэтому исследовательская группа использовала маркеры, чтобы облегчить захват структуры. Маркеры располагались близко друг к другу на белой поверхности подложки. В целом, использование маркеров помогает сканировать детали в небольших областях.
Процесс сканирования был одинаковым для всех органов. Команда искала угол, который распознавал «EinScan Pro 2X», и следовала инструкциям на пользовательском интерфейсе.
Удовлетворившись охватом сканируемого органа, была создана сетчатая модель. Во время постобработки отверстия в сетке были заполнены с помощью приложения автоматического заполнения отверстий, а ненужные области были удалены с помощью CTRL + правое выделение мыши. Наконец, команда сохранила 3D-модель в форматах .ply, .obj и .txt.
Полученный файл .ply был отредактирован в «Blender» для создания тепловой карты, чтобы получить значения глубины моделей.
Итоговые данные сканирования были использованы для обучения алгоритмов глубокого обучения. Процесс обучения глубокому обучению с помощью модели 3D-сканирования показан на рисунке ниже. Команда из Университета Богазичи использовала записанные изображения капсульной эндоскопии в качестве входных данных. Локализация была определена по изображениям с помощью 3D-модели.
Целью проекта была имитация структуры органа в мельчайших деталях. Это было успешно достигнуто с помощью многофункционального портативного 3D-сканера «EinScan Pro 2X». Команда проекта смогла с высокой точностью зафиксировать все структуры, углы и глубину. Не было обнаружено никаких значительных изменений по сравнению с первоначальной структурой.
В предыдущем исследовательском проекте использовался другой 3D-сканер. Этот 3D-сканер также показал хорошие результаты, но существовали технические различия в разрешении и точности точек. Точность точек была одним из самых важных факторов в нашем проекте для достижения процесса глубокого обучения, поэтому команда решила положиться на возможности «EinScan Pro 2X» для этого проекта.
Многофункциональный ручной 3d-сканер «EinScan Pro 2X» удовлетворил все потребности исследовательской группы Университета Богазичи. Компания «SHINING 3D» рада поддержать интересные приложения для сканирования. Если у вас есть интересный проект, свяжитесь с нами, и мы оценим возможности сотрудничества с вами!
