Мышь из томографа и мозг из атласа: как я создаю 3D-модели, которые можно разобрать руками перед веб-камерой

В предыдущей статье я рассказывал, как создал голографический верстак с помощью обычной веб-камеры. На нём можно разобрать турбину или извлечь сердце из модели человека голыми руками — без шлема и датчиков. Спасибо всем, кто прочитал статью и оставил комментарии. Чаще всего меня спрашивали: что ещё можно разобрать таким способом?

Недавно я выпустил крупное обновление и добавил четыре модели: мозг, мышь, каркасный дом и ДНК. Расскажу, где нашёл исходные данные, от чего пришлось отказаться и почему половину моделей оказалось проще создать программно, чем искать готовыми.

Почему готовые модели со стоков не подошли

Сначала всё казалось простым: на площадках с 3D-моделями полно изображений мозга и домов — осталось скачать нужное. Но готовое решение не подошло по трём причинам.

Во-первых, модель нередко представляет собой единое целое. Мозг, созданный для рекламы, может отлично выглядеть снаружи, но внутри окажется пустым. Разбирать его не на что: вместо отдельных долей есть только общая оболочка.

Во-вторых, важна точность. Художник стремится прежде всего к выразительной картинке, а для учебного приложения этого недостаточно. Если ученик извлекает гиппокамп, тот должен находиться на своём анатомическом месте и иметь соответствующую форму.

В-третьих, лицензия. Многие модели разрешено просматривать, но нельзя использовать внутри собственного приложения, а мне нужно именно такое право.

В результате я выработал для себя правило: если у объекта есть анатомия, беру научные данные. Если его устройство подчиняется инженерным правилам, описываю их в коде. Так появились четыре новые модели: мозг и мышь основаны на научных материалах, дом и ДНК созданы программно.

Мозг из научного атласа

Модели сердца и человеческого тела для первой версии я взял в HuBMAP. Это открытый проект, в рамках которого учёные собирают эталонные 3D-модели человеческих органов. Там же нашёлся и мозг: он размечен на основе атласа мозга Allen, причём каждая структура представлена отдельным объектом. Лицензия CC BY 4.0 разрешает использование с указанием источника.

Модель состоит примерно из сорока частей. Помимо долей, мозжечка и ствола, в неё входят гиппокамп, миндалина, таламус и другие структуры, скрытые внутри. Для разборки такой набор подходит идеально: самостоятельно разделять модель не пришлось.

Разборка происходит в два этапа. Сначала разводишь руки — и полушария отделяются друг от друга. Продолжаешь движение — они распадаются на доли, открывая доступ к глубоким структурам. Сводишь руки обратно — и мозг снова собирается.

Отдельного внимания потребовали подписи. Латинское название структуры само по себе мало что говорит ученику, поэтому при наведении руки появляется объяснение её функций. В карточку я также добавил запоминающийся факт. Например, мозжечок занимает около 10% объёма мозга, но содержит примерно 80% его нейронов. А у лондонских таксистов, которым приходится запоминать город, задняя часть гиппокампа больше, чем у обычных людей.

Что касается точности: собственных анатомических правок я не вносил, ничего не перемещал и не перерисовывал. Расположение каждой структуры соответствует разметке учёных. Именно поэтому я выбрал атлас, а не просто красивую модель.

Из четырёх новых моделей мозг мне интереснее всего. Держать и вращать в руках то, чем ты прямо сейчас думаешь, — необычное и захватывающее ощущение. Похоже, не только для меня: коллеге, которому я показал обновление, мозг тоже понравился больше остальных моделей.

Лягушка, которой не случилось, и мышь из томографа

Для модели животного у меня с самого начала была кандидатура — лягушка. Её вскрытие давно стало классикой школьной биологии, а возможность провести такой опыт без настоящего животного казалась весомым аргументом для учителей.

Однако подходящую открытую модель лягушки найти не удалось. Нужен был вариант со скелетом, органами и лицензией, разрешающей встраивание в приложение. Модели лягушек, акул и птиц с внутренними органами либо размещены на сайтах с обязательной регистрацией и неясными условиями использования, либо представляют собой упрощённые заготовки для 3D-печати, в которых органы напоминают леденцы.

Зато я нашёл мышь — причём не просто модель, а научный атлас Digimouse. В 2007 году Dogdas, Stout, Chatziioannou и Leahy создали его на основе КТ и тонких срезов настоящей лабораторной мыши. Лицензия CC BY-SA 4.0 разрешает показывать и использовать модель, но при распространении самого файла необходимо указать авторов и сохранить ту же лицензию.

В моей версии мышь разбирается на 21 часть: кожу, скелет с позвонками и рёбрами, шесть отделов мозга, сердце, лёгкие, печень, почки и другие органы. Когда разводишь руки, кожа поднимается вверх, мозг оказывается над черепом, а органы опускаются под скелет. Получается послойное вскрытие, которое можно в любой момент обратить.

Для каждой части здесь тоже подготовлен интересный факт. Сердце мыши делает 500–700 ударов в минуту, частота дыхания составляет около 150 вдохов в минуту, а мозг весит приблизительно полграмма. Кроме того, мыши не умеют срыгивать — это одна из причин эффективности ядов против грызунов.

В итоге мышь оказалась даже удачнее лягушки. Это главное лабораторное животное в мире, на примере которого учатся не только школьники, но и студенты-медики.

Дом и ДНК: когда проще написать код

С домом научный атлас не поможет. Зато процесс его строительства подчиняется правилам, которые можно описать в коде.

Я выбрал каркасный дом: в нём хорошо видно устройство каждой части — от фундамента и деревянного каркаса до труб, проводки, стен, перекрытий и крыши. Всего получилось пятнадцать элементов. Размеры взяты не наугад: например, стойки расположены с шагом 60 см, как в реальном строительстве, где под него выпускают утеплитель и листы обшивки.

Стоит развести руки — и дом распадается на части, словно на строительном чертеже. Но ещё интереснее собирать его вручную. Действовать нужно в той же последовательности, что и на стройке: сначала фундамент, затем каркас. Закрыть стены до прокладки труб и проводки не получится, ведь в реальном доме ради этого их пришлось бы снова вскрывать.

Здесь работает та же логика, что и у двигателя в первой версии: каждая деталь «знает», на чём она крепится и какие элементы должны появиться раньше. Разница в том, что для двигателя это механические зависимости, а для дома — последовательность строительных работ.

С ДНК всё одновременно проще и сложнее. Готовых моделей спирали много, но мне требовалась такая, которую можно расстегнуть руками. Поэтому я построил её целиком в коде, опираясь на реальные параметры: например, на один виток приходится около 10,5 пары оснований.

Когда разводишь руки, спираль разделяется сверху вниз на две цепи, словно застёжка-молния. Примерно так она раскрывается в клетке перед копированием. У каждой буквы есть свой цвет и подпись: аденин всегда образует пару с тимином, а гуанин — с цитозином. Тимин встречается только в ДНК; в РНК его место занимает урацил.

Зато по зрелищности ДНК для меня на первом месте. Спираль, расходящаяся на две цепи прямо между ладонями, — самый эффектный момент обновления.

Преимущество программного подхода в том, что модель можно изначально построить под нужный жест. Её не приходится подгонять: она сразу «знает», где находится её «молния» и в каком порядке та должна раскрываться.

Голограмма, которая исчезала на видео

Самая досадная проблема обновления оказалась связана не с данными, а с изображением. Вживую все четыре модели выглядели хорошо, но на первой видеозаписи три из них были почти неразличимы.

Мозг получился бледным, словно дымка. Мышь выглядела слишком мелкой, а органы едва просматривались сквозь кожу. ДНК превратилась в тонкие белые линии, и буквы оснований совсем перестали читаться. Хорошо выглядел только дом: плотный каркас из прямых линий не терялся из-за прозрачности.

Причина оказалась простой, и проблему я создал себе сам. Голограмма полупрозрачная, а позади неё идёт живое изображение с камеры. При просмотре на экране глаз различает контраст, но запись его ослабляет: светлая стена на заднем плане, сжатие и небольшой экран телефона делают своё дело. Полупрозрачный объект попросту растворяется на светлом фоне.

Слева — первая запись, справа — результат после исправлений.

Вот что я изменил:

• увеличил яркость мозга, мыши и ДНК примерно вдвое и сделал контуры деталей заметнее;

• утолстил остов ДНК, кольца оснований и связи между ними, а также подобрал цвета букв, различимые на светлом фоне;

• увеличил мышь в кадре и развернул её боком, а при разборке разместил части компактнее, чтобы они не выходили за границы изображения;

• добавил для съёмки отдельный режим яркого свечения, который включается одной клавишей.

Для себя я сделал вывод: проверять модель стоит не только на мониторе, но и на записи, открытой с телефона. Именно в таком виде её увидит большинство людей.

Как облегчить научную модель

Научные данные создаются для исследователей, а не для браузера на школьном ноутбуке. Атласы занимают много места и содержат лишние детали, поэтому загружать их без обработки нельзя: отслеживание рук и без того требует немало ресурсов.

Я использую единый формат, в который преобразую любую модель независимо от её происхождения. Сетку упрощаю до уровня, при котором разница на экране уже незаметна. Координаты храню не как обычные дробные числа, а как 16-битные целые: это уменьшает объём вдвое, не создавая заметной глазу разницы. Контуры деталей, благодаря которым модель выглядит как голограмма, рассчитываются заранее, а не на каждом кадре.

В тот же файл попадает всё необходимое для обучения: названия частей на русском и английском, описание их функций, факт для карточки, направление перемещения при разборке и сведения о том, какие элементы нужно установить раньше при сборке.

Такой подход освобождает приложение от необходимости учитывать происхождение модели. Мозг из атласа, мышь на основе томографии и дом, созданный кодом, представлены для него одинаково. Чтобы добавить модель, нужен новый файл, а не новый код.

Что в итоге

Главный вывод после этого обновления: хорошая учебная модель — не обязательно просто красивая. В ней каждая часть существует отдельно, находится на своём месте и сопровождается полезным объяснением. Для живых организмов я беру научные данные, а для инженерных объектов описываю правила в коде.

Открытых научных материалов оказалось больше, чем я ожидал, но они разбросаны по разным источникам и почти всегда нуждаются в доработке. А кое-чего нет вовсе: открытую модель лягушки с органами я так и не нашёл.

Все эти модели доступны в проекте M2 Holo Lab, который сейчас проходит закрытое тестирование. Если вы преподаёте и хотите попробовать его на занятии, оставить заявку можно на m2holo.com.

И вопрос к читателям: что стоит разобрать следующим? А если вы знаете открытый набор данных по анатомии лягушки или другого животного, в котором есть скелет и органы, поделитесь им в комментариях — буду благодарен.

Модели: мозг — HuBMAP Reference Organ, Brain (CC BY 4.0); мышь — Digimouse, Dogdas B., Stout D., Chatziioannou A., Leahy R. M., 2007 (CC BY-SA 4.0).

 

Источник