Завершены работы по государственному контракту.

Объект исследования: экспериментальный образец программного комплекса (ЭО ПК) «Бесконтактный интеллектуальный интерфейс. Smart interface».

Методология проведения работы основана на применении следующих методов и технологий исследования:
а) математического моделирования;
б) гибких контуров;
в) оптимальной фильтрации;
г) нейросетевых технологий и технологий ActiveAppearanceModels (AAM).
В ходе выполнения работы получены следующие результаты:

На этапе 1:
а) проведен аналитический обзор современной научно-технической, нормативной, методической литературы и других информационных источников;
б) проведен анализ мирового опыта разработки контактных и бесконтактных интерфейсов.
в) оценен научно-технический потенциал существующих современных контактных и бесконтактных интерфейсов.
г) проведен анализ и классификация современных методов разработки бесконтактных интерфейсов на основе компьютерного зрения.
д) определены эргономические и другие требования к физическим и экранным органам управления, графическим манипуляторам, пользовательским, иммерсивными бесконтактным интерфейсам, виртуальным и индуцированным виртуальным средам, а также типам систем управления взглядом;
е) проведен анализ и выбран оптимальный вариант направления исследований и модель проектирования;
ж) выбраны: платформы, аппаратные средства, средства разработки программ, способы представления данных и языки программирования для создания интеллектуального бесконтактного интерфейса;
з) выбрана среда программирования для создания интеллектуального бесконтактного интерфейса и обоснована программная реализация.

На этапе 2:
а) разработаны метод, алгоритм и пользовательский интерфейс для распознавания ситуационной обстановки, по средствам интеграции информации и её интеллектуальной обработки;
б) разработаны метод, алгоритм и пользовательский интерфейс для применения системы компьютерного зрения (стереозрения) и интеллектуального метода его обработки для отслеживания положений глаз, при различном положении головы (без фиксации головы);
в) разработан метод, алгоритм и пользовательский интерфейс для создания интеллектуального ядра принятия решений на основе нечёткой нейронной сети;
г) разработан ЭО ПК;
д) разработана программная документация ЭО ПК;
е) разработана Программа и методика экспериментальных исследований;
ж) разработана техническая документация на стенд для проведения экспериментальных исследований;
з) произведена настройка и обучение системы управления;
и) проведены экспериментальные исследования в соответствии с Програм-мой и методикой экспериментальных исследований на имеющемся у исполнителя стенде;
к) проведен анализ результатов визуализации и управления данными и показателями реализации федеральных целевых программ и отдельных мероприятий, проведенных с использованием ЭО ПК.

На этапе 3:
а) обобщены и оценены полученные в ходе НИР результаты;
б) разработаны рекомендации по использованию результатов проведенных НИР в реальном секторе экономики, а также в дальнейших исследованиях и разработках;
в) разработан проект ТЗ для проведения последующих ОКР;
г) проведена технико-экономическая оценка рыночного потенциала полученных результатов;
д) рассмотрены результаты участия в мероприятиях, направленных на освещение и популяризацию промежуточных и окончательных результатов НИР;
е) проведены маркетинговые исследования с целью изучения перспектив коммерциализации результатов НИР.

Научная новизна работы заключается в следующем.
Разработан метод для распознавания ситуационной обстановки, посредством интеграции информации и её интеллектуальной обработки на основе построения функции, позволяющей идентифицировать ситуацию на основе измерений свойств (параметров) классов, взятых в пространстве и времени (метод разбиения множеств накопленных ситуаций в базе знаний).
Разработан метод и алгоритм для применения системы компьютерного зрения (стереозрения) для отслеживания положений глаз, при различном положении головы (без фиксации головы). Метод основан на выделении биометрических характеристик лица и построении 3D модели субъекта.
С помощью разработанной модели удалось стабилизировать линии направления взгляда, с использованием априорной информации и вероятностно-асимптотических методов в задачах управления программными системами, благодаря набору статистики и обучению на большом количестве шаблонов.
Перед использованием 3D модель субъекта обучается на множестве заранее размеченных изображений. Разметка изображений производится вручную или в полуавтоматическом режиме, когда с помощью какого-либо алгоритма находятся приближенные расположения меток, а затем они уточняются экспертом. Каждая метка имеет свой номер и определяет характерную точку, которую должна будет находить модель во время адаптации к новому изображению.
Для локализации глаз и определения направления зрачка был разработан алгоритм, который в отличие от алгоритма, использующего контурные шаблоны, достаточно эффективен. Разработанный алгоритм не ограничивает его применения в приложениях реального времени, т.к. он быстро сходится и не требует большого объема вычислений.
Решена задача динамической идентификации глазного яблока. Для исключения ошибочно обнаруженных точек идентификации, применено преобразование Хафа. Проведена аппроксимация точек верхнего века. Вычисление параметров аппроксимации сводится к задаче решения переопределенной системы линейных уравнений, система решается с помощью преобразования Хаусхолдера.
Разработан метод и алгоритм для создания интеллектуального ядра принятия решений на основе нечёткой нейронной сети.
При решении поставленных задач использован комплекс эффективных методов исследования, таких как вероятностно-статистические методы, элементы теории распознавания образов, метод искусственных нейронных сетей, современные технологии разработки алгоритмов и программного обеспечения, объектно-ориентированного программирования.
Области применения разрабатываемого программного комплекса: управление системами обработки информации в научно-технической сфере; военно-промышленный комплекс; химическая отрасль; медицина (хирургия); образование; автомобильный транспорт; реабилитация инвалидов; технологии развлечений.

Значимость работы заключается в создании научного задела для систем бесконтактного управления, позволяющих решить многочисленные проблемы при управлении информационными и техническими объектами, в тех случаях, где использование рук и стандартных средств управления затруднено или неприменимо.