Применение игровых технологий в изучении анатомии.

Авторы статьи: Джонатан Маккензи, Гэвин Бейли, Майкл Ницше и Джем Рашбасс

(Оригинал: «Gaming Technologies for Anatomy Education», авторы Jonathan Mackenzie, Gavin Baily, Michael Nitsche & Jem Rashbass. Опубликовано как одно из исследований центра CARET при Кембриджском университете – см. подробнее в конце статьи)​

От переводчика: мои пояснения написаны в квадратных скобках [ ], термины из оригинала – в круглых.

Аннотация:

Мы отчитываемся о проекте, в котором проводятся исследования о том, как технологию и язык компьютерных игр можно использовать для создания новых способов изучения анатомии.

Мы передаём наш опыт разработки простой анатомической игры, особенно выделив вопросы разработки ПО, и данная статья сделана как «обучение на примерах» [на выборке] и предназначена для тех, кто хочет создавать образовательные 3D-программы в академической среде.

Ключевые слова:

Компьютерные игры, 3D-визуализация, изучение анатомии, разработка ПО.


Введение
​
Существует определённое количество программных комплексов, посвящённых изучению анатомии, где применяется 3D-графика: среди лучших Voxel-Man (2000) и Primal Pictures (2000). В них и многих других анатомия показывается в виде атласа, где огромное количество информации представлено в виде «навигации открытого типа» [без окончания и ограничений] без руководства и средств для взвешивания её относительной важности.

Методика интерактивной 3D-графики, используемая в данных примерах и, фактически, в большинстве медицинских визуализационных программ, ограничивается кручением объектов вокруг их оси и их масштабированием [зумированием], как будто они находятся на расстоянии вытянутой руки; кроме того, убираются слои.

Однако компьютерные игры показывают, что эту среду можно использовать совершенно по-другому. Классический пример – Tomb Raider: приключенческая игра, где вы вовлечены в виртуальную окружающую среду, в которой двигаетесь с помощью героини Лары Крофт, управляемой и направляемой вами по мере того, как там разворачивается приключенческий рассказ. Силы игрового процесса принуждают вас очень по-разному обращаться с трёхмерной информацией во время взаимодействия с пространствами и артефактами и движения с точки зрения камеры, затягивая в повествовательную структуру данной игры.

Нас интересует способ, посредством которого этот новый язык компьютерных игр можно будет применить в образовании, особенно в том, которое – как анатомия – по своей сути занимается трёхмерными объектами.

Мы хотим исследовать и проверить некоторое количество идей, в том числе:

Могут ли «игроподобные» (games-like) подходы улучшить понимание сложных тем студентами?

Могут ли упражнения и повествовательная структура обучения увеличить образованность и сохранение знаний в памяти?

Можно ли бессознательно создать мысленную модель, или модель «духовного ока», для трёхмерной структуры во время такого упражнения и в процессе прохождения игры? Мы думаем о способе, благодаря которому мы бессознательно изучаем сведения об архитектуре и мысленно рисуем карты, когда ежедневно ходим по знакомым местам.

Можно ли вывести полезную трёхмерную информацию из данной мысленной модели? Например, в анатомии, клинических и хирургических случаях.

​

Надписи на картинке: слева «Правая доля печени пересекается с правой почкой», справа «Анатомия: правая печёночная вена»

Рис. 1. Захват кадра из «Анатомической игры», разработанной через Virtools

Данная работа – часть более широкого проекта «Центра прикладных исследований в образовательных технологиях» (Centre for Applied Research in Educational Technologies - CARET) в Кембриджском университете, цель которого – изучить возможности применения игровых технологий в качестве средств образования. Сначала в центре нашей работы оказалась анатомия, но мы разрабатываем универсальный метод, который можно будет легко применить к остальным строго трёхмерным дисциплинам, таким как физика и география.

Существуют и другие группы, рассматривающие разработку образовательного ПО с помощью игровых технологий. Проект «Игры для обучения» (Games-to-Teach) на факультете сравнительного изучения СМИ в Массачусетском технологическом институте (Department of Comparative Media Studies at MIT) создал несколько абстрактных каркасов для образовательных игр, в которых выявляются культурные и педагогические проблемы, окружающие игровой процесс (Games-to-Teach, 2002), а NESTA Futurelab стремится осуществлять проекты в той же области, но с содержимым, больше направленным на школьников (NESTA Futurelab, 2002).

Мы, однако, нашли, что одна из главных проблем в развитии экспериментального содержимого – недоступность игровых технологий преподавателям из научного сообщества. Коммерческая разработка игр основывается на технически сложном квалифицированном программировании, крупных бюджетах и производственных командах. Несоответствие интересов и квалификации разработчиков игр и преподавателей была обозначена в качестве основной проблемы исследования того, как создавать качественные образовательные компьютерные программы (статья «Игры в образовании» - Games in Education, 2002).

Наш подход к этой проблеме состоит в том, чтобы разработать средства создания экспериментального содержимого в стенах нашего университета, а также изучить инструменты такой разработки и необходимые для этого трудовые навыки.

В данной статье мы показываем наши находки в виде обзора текущего состояния технологии создания игр, а также наш опыт разработки экспериментальных программ с избранными нами решениями.

Изучение анатомии​

Анатомия печально известна тем, что это трудный учебный предмет по двум причинам: огромнейшее количество информации и – с чем некоторые могут поспорить – она скучная, если изучать её отдельно от других предметов. Студентов часто тяжело увлечь и мотивировать к усвоению обширного числа структур и названий, а ещё, если добиться этого, то вызубренные сумбурные знания переполняют память и в итоге часто забываются или их трудно применять в клинической практике.

Начиная с ранней стадии данного проекта, мы развивали диалог с преподавателями и студентами факультета анатомии в нашем университете, используя свою «учебную лабораторию» и семинары. Из-за особых требований курса лекций в Кембридже нам понадобилось изменить форму своего подхода. В этом курсе придаётся большое значение клинической важности анатомии – как в традиционном относительном, так и в функциональном подходе.

Производство игр​

Сейчас компьютерные игры – это промышленность, которая начинает соперничать с индустрией кино и в культурном, и в финансовом плане. Крупные команды программистов и художников с многомиллионными бюджетами создают прекрасно отполированные виртуальные окружающие среды, которые испытывает на себе значительная доля населения. Но из-за этого такая экономическая модель производства и техническая изощрённость реализации виртуального мира в реальном времени (real-time virtual world) является средой, которая явно недоступна для людей, находящихся вне этой промышленности.

Однако это мощная и захватывающая среда, открытая для гораздо более широких и богатых областей применения, чем выбранные игровой индустрией, которая обычно обслуживает юношеские интересы мужчин. Одна из целей исследования команды в CARET – посмотреть, как эту среду можно сделать более доступной для академического сообщества и узнать, как её можно использовать в качестве образовательной среды в реалистичных пределах бюджета разработки и экспертизы.

Для достижения данной цели мы изучили обширное поле разработческих решений и ввели набор инструментов для программ и оборудования, сопровождая это экспертизой, которая приспосабливает быстрое прототипирование виртуального окружения и «игроподобного» взаимодействия для того, чтобы мы могли свободно экспериментировать с этой средой и оценивать свои попытки. Поскольку мы не намерены измерять стоимость производства коммерческих игр, и нас, по сути, волнуют только ожидания, вызываемые в пользователях наших программ, мы можем начать творчески исследовать потенциал «игроподобных» программ и изучить громадную область проблем, окружающих использование такого ПО в академическом контексте.

Варианты и виды ПО​

Производство компьютерных игр вращается вокруг двух основных областей: программирования «движка» игр – ПО, которое порождает [генерирует] на экране 3D-графику в реальном времени и обрабатывает все взаимодействия пользователя, – и дизайна и создания полезных свойств [ассетов – assets], таких как 3D-модели, текстурные карты, которые раскрашивают эти модели, а также анимации и персонажи.

Ассеты обычно создают с помощью одного из стандартных для этой промышленности наборов 3D-моделирования, таких как 3DS Max или Maya. Каждый из этих крупных продуктов содержит длинный ряд инструментов для изготовления, редактирования, анимирования и рендеринга виртуальных версий всего – от персонажей до ландшафтов. Между основными возможностями этих наборов мало разницы, и выбирать надо по цене, функциям и дизайну пользовательского интерфейса. Среди реализаций движка этих игр, однако, гораздо больше разнообразия.

Игровые движки чаще всего программируются на языке программирования C++ и OpenGL или библиотеках 3D-графики Microsoft DirectX (openGL, 2002; DirectX, 2002). Они придают качеству изображения, скорости и созданию новейших бросающихся в глаза технологий и эффектов наибольшую гибкость и управляемость, но требуют много человеко-часов специализированной экспертизы и поэтому на данный момент фактически делаются большими центрами производства, которые лидируют в этой индустрии.

Существует различие между движком 3D-игр и научными программами 3D-моделирования и рендеринга, таких как Visualization Toolkit или Open Inventor (VTK, 2002; Open Inventor, 2002). Последний не включает в себя функций простого осуществления определённых важных игровых элементов, например, анимации персонажей или обнаружения столкновений объектов между собой (object collision detection).

Связующее ПО (middleware), то есть игровые движки и дополнительные компоненты, продаваемые и поддерживаемые специализированными компаниями, всё чаще и чаще используются в небольших компаниях разработчиков, но всё ещё требуют значительной программной экспертизы и времени для осуществления. Примерами широко используемого связующего ПО можно назвать Renderware и Intristic Alchemy (Renderware, 2002; Intristic Alchemy, 2002). Также существует большое количество игровых движков с открытым исходным кодом (open source games engines), либо написанных энтузиастами, либо полученных из более старых игр, которые больше не продаются, но они либо тяготеют к более плохому качеству, чем связующее ПО, либо у них мало документации и поддержки. Примеры таковых – движки Crystal Space, Doom и Unreal (Crystal Space, 2002; Doom, 2002; Unreal, 2002).

На другом краю этого спектра находятся редакторы игр – программы, которые выпускаются вместе с какой-либо игрой и позволяют игроку изменять (модифицировать) игры или создавать свои собственные уровни, персонажей и графику. Их довольно просто использовать, но с их помощью не получится создавать фундаментальные модификации, переделывающие взаимодействия (interaction) и весь игровой процесс.

Где-то посередине этого спектра – небольшое число программных наборов, посвящённых играм, которые отчасти являются связующим ПО, а отчасти редакторами игр. Это Blender, WildTangent и Virtools (Blender, 2002; WildTangent, 2002; Virtools, 2002).

Мы потратили некоторое время, полностью изучив данные варианты ПО – и с технической точки зрения, и рассмотрев вопросы их применения в практической академической работе. Часть наших целей исследования – выстроить сообщество экспериментаторов и исследователей на протяжении широкого поля академических дисциплин, которые способны делиться знаниями и общаться, применяя общий язык программирования.

Рассматриваемые вопросы перечислены ниже:

Каковы кривые обучения [зависимость между объёмом полученных знаний и затраченным временем – прим. пер.] при использовании этих инструментов как у опытных программистов, так и у не-программистов?

Какие из программ или их наборов наиболее гладко помогли бы сообществу пользователей делиться опытом работы и экспертизой?

Мы пришли к выводу, что Virtools безоговорочно предлагает самое привлекательное решение наших вопросов. Virtools выделяется среди остального ПО в своём классе тем, что поддерживает несколько режимов использования. Ею можно пользоваться как окружающей средой разработки графики, где ассеты можно вносить в программу (import) и собирать (assemble) в сцены. Потом к ассетам прикрепляются их «поведения» (‘behaviours’), выбираемые из большой библиотеки, и взаимоотношения между ассетами и поведениями управляются графически с помощью блок-схемы (block-diagram) и монтажного редактора (wiring editor). В этой программе эффективно представили очень понятный интерфейс, относящийся к процессу построения программных элементов 3D-игры, где нет необходимости писать программный код. Оборотная сторона этого подхода – парадокс, состоящий в том, что, хотя составные элементы – например, анимацию персонажа и симуляцию физического поведения – очень просто осуществить, иногда простые задачи становятся слишком запутанными.

Все функции, доступные при разработке окружения, – которая включает в себя 3D-превращения, управление камерой и освещением, анимации, персонажей, устройства ввода, эффекты рендеринга и управление данными – также доступны в качестве хорошо структурированной библиотеки класса C++. Любые дополнительные необходимые функции можно добавить через прописанное пользователем поведение, которое использует и расширяет основу этого кода.

В результаты этих проектов можно будет играть, используя бесплатный скачиваемый плагин браузера, который создаётся для простого размещения содержимого данных программ в сети, или установив отдельные исполняемые файлы для Windows.

Эксперименты

Zanzarah​

Цель нашего первого эксперимента – заставить интерактивное 3D-окружение начать работать настолько быстро, насколько это возможно, для того чтобы мы смогли показать то, что посеет зёрна для дальнейших дискуссий. Работая вместе с нашими коллегами из Студии движущихся картинок при Кембриджском университете (CUMIS – Cambridge University Moving Image Studio), мы использовали движок и редактор из Zanzarah – игры, созданной Funatics, студией разработки из Германии (Zanzarah, 2002). Zanzarah – фэнтезийная приключенческая игра, в которой, как и в Tomb Raider, вы играете роль персонажа, который преодолевает виртуальное окружение по мере продвижения по сюжету.

Мы добавили (imported) в этот движок простые 3D-модели поверхностей пищеварительной системы, адаптированные из моделей, взятых из онлайн-источника 3D-моделей (3D Cafe, 2002). Пользователь может путешествовать по пищеварительной системе и управлять одновременно движениями персонажа и точкой зрения с камеры.

Вы начинаете путь, спускаясь по пищеводу (показан синим цветом) в желудок (фиолетовый), где можете пробежать вперёд, а затем прыгнуть в двенадцатиперстную кишку (зелёная). В другой версии эта модель лежит плашмя, а не стоймя, и вы бежите по сигмовидной и нисходящей ободочным кишкам, где прорезано окно, позволяющее вам видеть связь этих кишок с тонкой кишкой. Потом вы можете прыгнуть через это окно в брюшную полость.

Этот простой эксперимент достиг своей цели – заинтересовал и зажёг искру дискуссии с лекторами, врачами, коллегами и студентами, которым мы его показывали. Главные умозаключения, выведенные из этих дискуссий – то, что нам необходимо в дальнейшем заниматься следующими делами:

Создавать правильные анатомические модели с помощью цифровых наборов данных, таких как проект «Видимый человек» (Visible Human, 2002), CT или MRI.


а) Zanzarah в желудке;

б) Zanzarah в кишечнике;

в) Модель, полученная из сегментированных CT-данных;

г) Законченная модель с картой текстур;

д) Virtools: брюшная полость 1;

е) Virtools: брюшная полость 2;
Рис. 2


а) Virtools: персонаж идёт по печени;

б) Virtools: персонаж плывёт по фиксированному пути через желудок.
Рис. 3.​

Изучать разные способы представления твёрдых анатомических объектов с применением 3D-графики. Мы ограничены требованиями процесса обработки (processing) обрисовки поверхностей в 3D-играх в реальном времени, но их можно отрендерить в разных стилях, например прозрачном или с фотореалистичными текстурами.

Экспериментировать с формами путешествия по организму. Нужен ли персонаж? Какую роль играет масштаб? Какое управление данным пространством надо передать пользователю? К примеру, должно ли там быть нормальное притяжение, или же можно так поворачивать модель, чтобы вы могли ходить по всей поверхности объектов, не падая с них? Как перспектива от 1-го лица влияет на понимание виртуального пространства и его применимость к ситуациям реального мира?

Подход игрового редактора слишком сильно ограничен, чтобы позволить нам получить достаточный контроль над исследованием этих проблем. После многих опытов, очерченных в 2.3, мы выбрали Virtools в качестве средства создания второго прототипа.

Virtools​

Наш второй прототип разрабатывался как простой набор действий (activity set) в брюшной полости. Пользователь снова управляет персонажем, но в этот раз на наружной поверхности нескольких органов брюшной полости: печени, желудка, селезёнки, желчного пузыря, почек и нескольких главных артерий. Цель этой игры – обучение первокурсников определённому количеству клинически значимых функциональных частей желудочно-кишечной системы.

Пользователь должен найти последовательность пометок (markers), расположенных по всей брюшной полости, которые обращают его внимание на место размещения и положение этих функциональных частей относительно друг друга. Расположение этих отметок описывается текстом на экране (слева внизу), а пользователь может выбирать объекты в этой сцене, наводя указатель мыши на них, и тогда справа внизу появляется текстовое описание.

Эволюционное развитие данной игры включает в себя исследование в следующих основных областях:

создание (generating) информативных 3D-моделей из анатомических наборов данных;
изобретение удобного в употреблении и понятного передвижения по игре;
выработка педагогически осмысленного игрового процесса.

Анатомические модели​

Чтобы создавать анатомические модели, мы обрабатывали (processed) наборы сегментированных CT-данных, изготовленные отделением рентгенологии Brigham and Women’s Hospital. Они состоят из списка значений CT-данных (volume of CT data values), расставленных по слоям, каждый из которых сопровождается другим слоем, содержащим индексы сегментирования для каждого значения данных. Это позволяет выделить любой анатомически отчётливый объект из списка CT-данных.

При использовании Visualization Toolkit (VTK) и его алгоритма шагающих кубов (marching cubes) многоугольные модели поверхности (polygonal surface models) создаются для каждого сегментированного объекта. Также сюда вовлечены различные ступени сглаживания и прореживания (decimation) для того, чтобы получить модели хорошей формы и желаемого разрешения. Для наших намерений было достаточно размеров объектов от 1000 до 10 000 граней, работающих на движке, рендерящем их в реальном времени.

После создания многоугольных моделей мы наложили на них текстурные карты, чтобы раскрасить и детализировать поверхности. В то время как многоугольные модели фиксируют грубые анатомические формы, поверхности больше используются как средство проведения различий между объектами и обеспечения эстетики в виртуальном пространстве. Для нанесения текстурных карт (texture mapping) на модели применялись фотографии, взятые из анатомического атласа (Yokochi at al, 1989), к которым затем подбирались модели поверхностей с использованием инструментов текстурирования 3ds Max и Deep UV (3ds Max, 2002; Deep UV, 2002).

Изготовив набор анатомических моделей, которые будут работать на движке Virtools, рендерящем их в реальном времени, мы начали экспериментировать с настройками и вариантами визуализации, перемещения по виртуальному пространству и взаимодействия. Рис. 3 показывает два прототипа некоторых из них, включая рендеринг твёрдых и прозрачных поверхностей, перемещение внутри и снаружи этих поверхностей, а также движение по фиксированным путям и ничем не ограниченное передвижение. Одна из самых выгодных особенностей Virtools – то, что изменять и тестировать все эти разнообразные варианты можно без сложного программирования.

Оценка​

Прототип «Анатомической игры» оценивался при помощи приборов Учебной лаборатории в CARET. До сих пор к этой игре привлекались группы студентов-первокурсников, а затем с ними проводились интервью с вопросами об удобстве использования, мнениях о ней и анатомии. Благодаря им начинается составление ответов на вопросы, заданные во введении, и получение ценных откликов о том, как следует развивать прототип. Наши первоначальные выводы: во время игры студенты формируют мысленные модели, и позже они способны вызывать их из памяти, чтобы получать точные анатомические знания. Также мы обнаружили, что студентам нравится использовать эту игру, а игровой процесс поддерживает энтузиазм групповой работы. Более подробные и строгие результаты этой и дальнейшей оценки будут представлены в ином месте.

Выводы и дальнейшая работа​

Техническая изощрённость создания «игроподобных» 3D-программ и огромные бюджеты, доступные разработчикам коммерческих игр, – главные препятствия для использования этой среды в академическом контексте. Однако начинаются изменения и, как мы здесь показали, недавние успехи в разработке инструментов и связующего ПО позволили небольшим исследовательским проектам начать изучение и оценку образовательного ПО.

Чтобы этот процесс эффективно развивался, нужно увеличивать взаимодействие между теми, кто создаёт и программирует игры, и теми, у кого есть идеи использования этой среды для образования. Мы находим, что такие инструменты, как Virtools, позволяют исследователям с разным опытом общаться, используя общий язык программирования, и без труда делиться результатами своей работы.
​

Библиография​

Games-To-Teach (2002). The Education Arcade Aims Medical Adventure Game at Tweens - MIT Graduate Program in Comparative Media Studies
NESTA Futurelab (2002). http://www.nestafuturelab.org
Voxel-Man (2002), developed by Institute of Mathematics and Computer Science in Medicine, University Hospital Eppendorf, Hamburg, published by Springer Electronic Media, http://www.uke.uni-hamburg.de/institute/imdm/idv/forschung/vm/index.en.html
Primal Pictures (2002). Primal Pictures | 3D Anatomy Software
Tomb Raider (2002), developed by Core Design, Published by Eidos, see www.tombraider.com
Games in Education (2002). British Educational Communications and Technology Agency (BECTA) Online Conference. http://forum.ngfl.gov.uk/WebX?14@@.ee738de
OpenGL (2002). http:// www.opengl.org
DirectX (2002). http://msdn.microsoft.com/library/default.asp?url=/nhp/Default.asp?contentid=28000410
Visualization Toolkit (2002). http://public.kitware.com/VTK
Open Inventor (2002). http://oss.sgi.com/projects/inventor
Renderware (2002). http://www.renderware.com
Intrinsic Alchemy (2002). Intrinsic Enterprise Security Solutions - VMware
Crystal Space (2002). Main Page - Crystal Space 3D
Doom source code and editors (2002). http://www.idsoftware.com/business/home/techdownloads
Unreal Tournament editor (2002). http://www.unrealtournament.com/editing
Blender (2002). Blender Store
Wild Tangent (2002). WildTangent Games
Virtools (2002). http://www.virtools.com
Zanzarah (2002). Developed by Funatics, http://www.zanzarah.com
3D Cafe (2002). http://www.3dcafe.com
Visible Human project (2002). http://www.nlm.nih.gov/research/visible/visible_human.html
Yokochi, C., Rohen, JW. & Weinreb, EL. (1989). Photographic Anatomy of the Human Body, Igaku-Shoin, Tokyo.
3ds Max (2002). http://www.discreet.com/products/3dsmax
Deep UV (2002). http://www.righthemisphere.com/products/duv


Благодарности

Мы благодарим нижеследующих людей за их великодушную помощь и поддержку: Funatics Development за то, что позволили нам использовать их игровой движок Zanzarah и инструменты его редактирования; Criterion Software за связующее ПО Renderware, используемое в движке Zanzarah; Brigham and Women’s Hospital в Гарварде за наборы CT-данных; Яна Паркина и его студентов с отделения анатомии в Гарвардском университете.

***

От переводчика: Оригинал статьи можно найти в интернете, а ещё он приложен в первом комментарии к статье. Работа над этим проектом, конечно, продолжалась и дальше. Статьи центра CARET при Кембриджском университете (на англ. языке) можно найти и прочитать по этой ссылке:
http://cambridge.academia.edu/Depar...esearch_in_Educational_Technologies/Documents .

Статьи, в которых цитировалось это исследование, упомянуты тут:
https://www.semanticscholar.org/pap...88d9a6bcf459842417ef6802f921987#citing-papers

Возможно, какие-нибудь из них покажутся вам интересными, и вы тоже их переведёте.

Автор: ВелоВояджер
Дата: 25.01.2021

Обсудить статью на форуме

Перейти к списку статей