Взаимодействие с помощью жестов в операционной с помощью Wii Remote и Kinect

Взаимодействие с помощью жестов в операционной с помощью Wii Remote и Kinect
Взаимодействие с помощью жестов в операционной с помощью Wii Remote и Kinect
Изображение
Изображение
Изображение
Изображение

Визуализация операционной комнаты будущего с установленными тамарскими аппаратами.

Студент Тамара Ворст завершила увлекательный проект с группой интерактивного дизайна IxD Hof в сотрудничестве с Siemens He althcare, который освобождает врачей от использования рук для выполнения черной работы во время операций. Компания Siemens искала решение для бесконтактного взаимодействия хирургов в операционной, поэтому Тамара использовала два 3D-датчика, пульт Wii и Microsoft Kinect, чтобы определить ориентацию и положение правой стопы хирурга. Затем она написала программное обеспечение для обработки, позволяющее им просматривать и манипулировать изображениями и 3D-моделями без использования рук.

Изображение
Изображение

Пульт Wii Remote, прикрепленный к правому ботинку. В будущем Тамара надеется заменить громоздкий пульт единственным акселерометром.

Пульт Wii и сенсор Kinect выполняют разные задачи: пульт Wii измеряет ориентацию стопы врача, позволяя точно контролировать вид и ориентацию изображений и моделей. Сенсор Kinect определяет положение правой стопы хирурга, позволяя ему выполнять различные задачи в зависимости от того, где находится стопа.

Действия с изображениями:

  1. Просматривайте каталог изображений - наклоняйте ногу вперед и назад для прокрутки вперед и назад.
  2. Измените контрастность изображений - наклоняйте ногу влево и вправо, чтобы увеличить или уменьшить контраст.
  3. Zoom - увеличение масштаба путем шага вперед и уменьшение масштаба шагом назад.

Изображение
Изображение

Врач может переключаться между 3D и 2D изображениями, перемещая ногу на один шаг вправо и наклоняясь вперед и назад. Возврат в исходное положение выберет текущий режим.

Действия 3D-модели:

  1. Поворот объекта - наклоните ногу влево и вправо.
  2. Наклон объекта - наклоните ногу вперед, чтобы повернуть в сторону, и назад, чтобы повернуть в сторону.
Изображение
Изображение

Манипулирование объектом в 3D.

В этом длинном посте Тамара подробно описывает процесс создания прототипа. Сначала она использовала простые датчики давления для определения различных движений и ориентаций ног, но обнаружила, что провода, необходимые для подключения к датчикам, были неуклюжими, раздражающими и ограничивали движения хирурга в операционной.

Мне особенно нравится одно из возможных улучшений, которые она предлагает: использование беспроводной мультитач-системы в обуви для обнаружения разных врачей на основе профиля силы, создаваемой их ногами. Это позволит каждому врачу по своему желанию сочетать определенные функции и ориентации ног; Затем устройство сможет распознавать разных врачей и автоматически менять интерфейс и функции компьютера.

Как бы вы использовали эти два мощных датчика для выполнения полезной задачи в операционной? В каких еще областях может быть полезен такой просмотрщик 3D-моделей? Поделитесь своими мыслями в комментариях ниже.