МЕТОД ОПРЕДЕЛЕНИЯ НАПРАВЛЕНИЯ ВЗГЛЯДА НА ВИДЕОИЗОБРАЖЕНИЯХ ДЛЯ РАСПОЗНАВАНИЯ ФАЗ ЧТЕНИЯ УЧАЩЕГОСЯ ПРИ РАБОТЕ С ЭЛЕКТРОННЫМИ УЧЕБНЫМИ ПОСОБИЯМИ

Save this PDF as:
 WORD  PNG  TXT  JPG

Размер: px
Начинать показ со страницы:

Download "МЕТОД ОПРЕДЕЛЕНИЯ НАПРАВЛЕНИЯ ВЗГЛЯДА НА ВИДЕОИЗОБРАЖЕНИЯХ ДЛЯ РАСПОЗНАВАНИЯ ФАЗ ЧТЕНИЯ УЧАЩЕГОСЯ ПРИ РАБОТЕ С ЭЛЕКТРОННЫМИ УЧЕБНЫМИ ПОСОБИЯМИ"

Транскрипт

1 МЕТОД ОПРЕДЕЛЕНИЯ НАПРАВЛЕНИЯ ВЗГЛЯДА НА ВИДЕОИЗОБРАЖЕНИЯХ ДЛЯ РАСПОЗНАВАНИЯ ФАЗ ЧТЕНИЯ УЧАЩЕГОСЯ ПРИ РАБОТЕ С ЭЛЕКТРОННЫМИ УЧЕБНЫМИ ПОСОБИЯМИ Петрушан М.В. УНИИ Валеологии ЮФУ СИТО-2013, Ростов-на-Дону

2 Обоснование. Необходимость оценки кратковременной динамики образовательного процесса, выявления причин плохого усвоения материала, коррекция траектории обучения с учётом индивидуальных особенностей учащегося. Введение в образовательный процесс коротколатентной обратной связи предполагает разработку комплекса методических, алгоритмических и программноаппаратных решений, предназначенных для оценки состояния учащегося в реальном времени при выполнении определенных видов учебной деятельности. Введение программного модуля определения направления взгляда в комплекс психофизиологической поддержки процесса обучения позволит рассчитать временные затраты на выполнение определенных видов деятельности, в частности время фазы чтения, время фазы печати, локализовать учебный материал, восприятие которого затруднено. Разработанный метод позволяет также количественно оценить динамику положения человека для анализа уровня двигательной активности и автоматизации рекомендаций по смене режимов работы и отдыха.

3 Последовательность процедур обработки изображения для определения направления взгляда. Сегментация изображения. Выделение области лица. Определение области глаз. Контекстное описание глаз в двух состояниях: - направление взгляда на экран; - направление взляда на клавиатуру. Классификация направления взгляда.

4 Сегментация изображения. Выделение области лица. Метод Виолы-Джонса использовался для поиска области лица (библиотека процедур компьютерного зрения OpenCV). Примеры признаков Хаара, используемые в процедуре детектирования лица методом Виолы-Джонса. Примеры детектированных лиц на изображениях. Области глаз были определены относительно рамки найденного лица.

5 Определение расположения центров глаз относительно рамки найденного лица. Была составлена тестовая выборка из 178 изображений лиц, из них с открытыми глазами - 101, с закрытыми 77. Точки центров глаз были расставлены на изображениях тестовой выборки вручную. Средние координаты точек центров глаз относительно прямоугольника Виолы-Джонса (в единицах ширины и высоты прямоугольника Виолы-Джонса): (0.31; 0.41) (0.69; 0.41) Среднеквадратичные отклонения точек центров глаз: (0.03; 0.02 ) (0.03; 0.02)

6 Контекстное описание области глаза. Область глаза описывается гистограммой ориентаций сверхпороговых градиентов яркости. Оптимизируемые параметры метода ширина и высота области описания и порог градиента. Оптимизация осуществлялась методом bee colony (рой пчёл) семейства методов оптимизации particle swarm. Оптимизационный критерий максимизация расстояния Махаланобиса между классами гистограммных описаний области глаза при направлении взгляда на экран и на клавиатуру. Были найдены оптимальные параметры: ширина , высота (в единицах ширины и высоты прямоугольника Виолы-Джонса); порог градиента 15. Классификатор k ближайших соседей (k=3, число эталонов класса = 10).

7 Визуализация разделимости классов «взгляд на экран» и «взгляд на клавиатуру» методом Саммона. Красные точки прецеденты класса «взгляда на экран», зеленые «взгляд на клавиатуру». * Граница классов проведена условно для удобства визуального представления.

8 Пример записанных измерений. метка лицо координаты взгляд времени найдено лица на экран (0)/ на клавиатуру (1) Визуализация динамики направления взгляда. 0 взгляд на экран, 1 взгляд на клавиатуру. Быстрые смены направления взгляда соответствуют артефактам морганий.

9 Характеристики. Интегрируемость в комплекс психофизиологической поддержки обучения. Характеристики и требования: - скорость обработки 7 10 кадров/сек. (pentium 4, 1.6 ггц); - фронтальное освещение (требование); - доля правильных сегментаций лица на тестовой выборке ~ 98 %; - доля ошибок классификации направления взгляда на тестовой выборке ~ 4%. Интеграция в комплекс психофизиологической поддержки возможна двумя путями: Реализация метода в виде отдельного программного модуля. Взаимодействие через tcp-ip. Реализация метода в виде динамической библиотеки. Вызов функций.