Воронин Вячеслав Владимирович

Размер: px
Начинать показ со страницы:

Download "Воронин Вячеслав Владимирович"

Транскрипт

1 ФЕДЕРАЛЬНОЕ ГОСУДАРСТВЕННОЕ АВТОНОМНОЕ ОБРАЗОВАТЕЛЬНОЕ УЧРЕЖДЕНИЕ ВЫСШЕГО ОБРАЗОВАНИЯ «ЮЖНЫЙ ФЕДЕРАЛЬНЫЙ УНИВЕРСИТЕТ» На правах рукописи Воронин Вячеслав Владимирович МЕТОДЫ ВОССТАНОВЛЕНИЯ ДВУМЕРНЫХ СИГНАЛОВ НА ОСНОВЕ ГЕОМЕТРИЧЕСКОЙ МОДЕЛИ С КОНТУРНЫМ И ТЕКСТУРНЫМ АНАЛИЗОМ ПРИМЕНИТЕЛЬНО К ЗАДАЧАМ ПРОСТРАНСТВЕННО-ВРЕМЕННОЙ РЕКОНСТРУКЦИИ ИЗОБРАЖЕНИЙ Специальность: Радиотехника в том числе системы и устройства телевидения ДИССЕРТАЦИЯ на соискание учёной степени доктора технических наук Научный консультант: доктор физико-математических наук профессор Рыжов В.П. Таганрог 06

2 СОДЕРЖАНИЕ ВВЕДЕНИЕ 4 ГЛАВА. Современное состояние проблемы восстановления статических 9 и динамических двумерных сигналов.. Обоснование методики восстановления статических и динамических 9 двумерных сигналов.. Глобальные и локальные характеристики двумерных сигналов 5.3. Методы фильтрации статических и динамических двумерных 9 сигналов.4. Методы реконструкции статических двумерных сигналов 4.5. Методы реконструкции динамических двумерных сигналов Выводы по главе 7 ГЛАВА. Разработка методов восстановления двумерных сигналов на 74 основе геометрической модели с контурным и текстурным анализом.. Математическая модель двумерных сигналов на основе геометрического представления с контурным и текстурным анализом 74.. Разработка метода восстановления двумерных сигналов на основе адаптивной локальной аппроксимации Разработка метода пространственной реконструкции изображений на основе геометрической модели с контурным и текстурным 09 анализом.4. Разработка метода пространственной реконструкции изображений на основе геометрической модели с текстурным анализом Разработка метода пространственно-временной реконструкции 48 динамических изображений на основе геометрической модели с контурным и текстурным анализом.6. Выводы по главе 58 ГЛАВА 3. Оценки качества восстановления двумерных сигналов применительно к задаче пространственно-временной реконструкции изображе- 59 ний 3.. Анализ объективных и субъективных критериев оценки качества восстановления двумерных сигналов Исследование критериев оценки качества реконструкции двумерных сигналов Анализ системного критерия оценки качества реконструкции 8 двумерных сигналов 3.4. Оценка качества реконструкции двумерных сигналов на основе 84 машинного обучения 3.5. Выводы по главе 98 ГЛАВА 4. Исследование методов восстановления статических и динамических двумерных сигналов 00

3 4.. Анализ эффективности метода восстановления двумерных сигналов на основе адаптивной локальной аппроксимации Анализ эффективности метода пространственной реконструкции 9 изображений на основе геометрической модели с контурным и текстурным анализом 4.3. Анализ эффективности метода пространственной реконструкции 36 изображений на основе геометрической модели с текстурным анализом 4.4. Анализ эффективности метода пространственно-временной реконструкции динамических изображений на основе геометриче- 45 ской модели с контурным и текстурным анализом 4.5. Выводы по главе 53 ГЛАВА 5. Прикладные аспекты использования методов восстановления 55 статических и динамических двумерных сигналов 5.. Использование методов реконструкции двумерных сигналов при 55 удалении объектов на статическом изображении 5.. Автоматизированное обнаружение дефектов и реставрация архивных фотодокументов Восстановление изображений при их объединении в панораму на 75 основе подходов реконструкции двумерных сигналов 5.4. Использование методов реконструкции двумерных сигналов при 79 восстановлении информации о глубине сцены по одному изображению 5.5. Восстановление карты глубины динамических двумерных сигналов Восстановление искаженных блоков в цифровом телевизионном 89 сигнале в результате ошибочной работы кодека 5.7. Сжатие цифровых изображений и видеосигналов на основе подходов реконструкции двумерных сигналов Стабилизация видеопоследовательностей Восстановление эндоскопических изображений с зеркальными 303 отражениями 5.0. Выводы по главе 304 Основные результаты и выводы 307 Литература 3 Приложение A Принцип работы и структурные-схемы разработанных устройств обработки двумерных сигналов Приложение Б Копии актов и справок внедрения

if ($this->show_pages_images && $page_num < DocShare_Docs::PAGES_IMAGES_LIMIT) { if (! $this->doc['images_node_id']) { continue; } // $snip = Library::get_smart_snippet($text, DocShare_Docs::CHARS_LIMIT_PAGE_IMAGE_TITLE); $snips = Library::get_text_chunks($text, 4); ?>

4 4 ВВЕДЕНИЕ Актуальность проблемы. Развитие цифровых телевизионных систем глобальных систем позиционирования и наблюдения ставит перед разработчиками принципиально новые задачи обработки и анализа информации. В процессе передачи и преобразования в радиотехнических системах двумерные сигналы которыми описываются изображения подвергаются воздействию различных помех что приводит к потере участков изображений и ухудшению визуального качества. С широким внедрением цифровых систем связи увеличивается актуальность решения задач восстановления ослабления аддитивных шумов и реконструкции многомерных сигналов полученных с помощью фото- и видеокамер и передаваемых по каналам связи. На практике часто встречаются изображения искаженные шумом который появляется при формировании и передачи сигналов по каналу связи. При получении цифровых изображений источником шума могут быть ССD-детектор (спектрометр) а так же флуктуационные процессы в фотосенсорах. Результаты восстановления изображений находят широкое применение в системах автоматической обработки сигналов в цифровых системах фото- и видео фиксации и машинного зрения. Использование мультимедийных и телевизионных цифровых систем повышает актуальность решения задач восстановления изображений при реконструкции статических и динамических двумерных сигналов. Реконструкция изображений является важным направлением применения современных цифровых систем обработки информации при получении достоверной оценки для визуального и особенно автоматического анализа. В большинстве случаев при решении задачи реконструкции требуется оценить отсутствующие значения пикселей изображений и видеопоследовательностей а так же выбрать из большого числа уже имеющихся участков наиболее «похожий». Решение данной задачи предполагает ретушь и восстановление недостающих фрагментов изображений при удалении царапин дефектов ненужных надписей и т.д. Задача удаления различных дефектов в виде пятен царапин поврежденных областей и линий

5 5 сгиба возникает при обработке архивных фотоизображений и музейных документов. В большинстве случаев специалисты выполняют реконструкцию вручную но такая обработка требует от пользователя значительного времени и в большинстве случаев возможна только специалистами-реставраторами. В видеопоследовательностях встречаются статические изображения например логотипы каналов субтитры дата и время которые мешают просмотру закрывая часть изображения от зрителя. Кроме этого в цифровом телевидении отдельным классом областей мешающим просмотру видеозаписей являются искаженные блоки при передаче данных от кодера к декодеру. В настоящее время интенсивно развивается техническая реализация цифровых систем повышается их быстродействие и энергоэффективность при этом используются методы и алгоритмы обработки сигналов и изображений фундаментальные основы которых были заложены основателями теории информации и кибернетики теории принятия решений теории приема и передачи сигналов В.А. Котельниковым Н. Винером Р.Л. Стратановичем В.И. Тихоновым Р.Э. Калманом Д. Миддлтоном и др. К первым публикациям в области реконструкции двумерных сигналов стоит отнести работы Берталмио М. основанные на использовании физических уравнений. В России аналогичные исследования проводились в следующих организациях: Институт систем обработки изображений РАН МГУ Вычислительный центр РАН и др. Следует отметить вклад российских ученых таких: как Ю.И. Журавлев В.В. Сергеев В.А. Сойфер и другие. К основным проблемам современных методов стоит отнести сложные случаи реконструкции видеопоследовательностей для которых эффективность восстановления значительно уменьшается например при движении объекта на сцене с ускорением нестационарном фоне объединении оригинального и реконструированного материала интерполяции границ объектов синтезе текстурных участков а также большими вычислительными затратами. Задача выделения двумерного сигнала на фоне шума в условиях неполной априорной информации так же является актуальной так как для использования

6 6 многих методов требуется априорная информация о статистических характеристиках аддитивного шума которая часто ограничена или труднодоступна. Важной составляющей любой системы цифровой обработки сигналов является подсистема оценки качества обработки под которой понимается «мера естественности» изображения то есть степень похожести изображения на сцену для которой оно было получено. Наличие надежного объективного метода оценки качества изображений позволяет снизить как временные так и материальные затраты требуемые при использовании новых алгоритмов реконструкции изображений. Качество системы обработки изображений в целом можно оценить по разнице в воспринимаемом качестве изображения на входе и выходе системы с помощью двух подходов: объективного и субъективного. Субъективный подход состоит в оценке качества человеком; объективный в использовании некоторого алгоритма позволяющего оценить качество без участия человека. К сожалению большая часть предложенных подходов дает оценки качества которые слабо коррелируют с восприятием человека. В частности на данный момент не существует объективной метрики оценки качества реконструкции двумерных сигналов дающей результаты хорошо согласующиеся с результатами оценки качества человеком. При разработке систем различного назначения следует учитывать многообразные аспекты решаемых задач. Это точностные характеристики измерительных или локационных систем устойчивость применяемых алгоритмов к различного рода флуктуациям и возмущениям вычислительная сложность алгоритмов и соответственно сложность аппаратных решений. При разработке могут учитываться и другие аспекты такие как скорость решения задачи надежность создаваемых средств и другие. Если решение указанных задач стало легко реализуемым для современных вычислительных средств при обработке многих одномерных сигналов (в акустическом и радиодиапазонах) то обработка двумерных трехмерных и особенно динамических изображений представляет собой трудную техническую задачу требующую для своего решения большой памяти и быстродействия. По-

7 7 этому особый интерес представляет задача применения системного подхода для решения комплексной задачи реконструкции изображений с возможностью проведения многоцелевого анализа. Таким образом современный уровень технических средств цифровой обработки сигналов устанавливает новые требования к системам первичной обработки статических и динамических двумерных сигналов. В связи с этим развитие теории и разработка методов восстановления двумерных сигналов применительно к задаче пространственно-временной реконструкции изображений является весьма актуальной задачей как с теоретической так и с практической точек зрения. Объектом исследования являются методы восстановления двумерных сигналов. Целью диссертационного исследования является повышение точности пространственно-временной реконструкции изображений в радиотехнических системах обработки и анализа изображений и современных системах телевидения. Предметом исследований является методы повышения эффективности восстановления двумерных сигналов применительно к задачам пространственновременной реконструкции изображений передаваемых по каналам связи в радиотехнических системах обработки и анализа изображений. Научная проблема диссертационного исследования заключается в развитии теории и методов восстановления двумерных сигналов применительно к задачам пространственно-временной реконструкции изображений имеющей важное значение в радиотехнических системах обработки и анализа изображений и современных системах телевидения. Для достижения поставленной цели необходимо решить следующие основные задачи:. Систематизация основных методов анализа статических и динамических двумерных сигналов развитие методологии их анализа посредством разработки новых подходов первичной обработки изображений.

8 8. Разработка моделей двумерных сигналов на основе геометрического представления с контурным и текстурным анализом применительно к задачам пространственно-временной реконструкции изображений. 3. Разработка и исследование методов и алгоритмов фильтрации изображений на основе адаптивной локальной аппроксимации. 4. Разработка и исследование методов и алгоритмов восстановления двумерных сигналов на основе геометрической модели с контурным и текстурным анализом применительно к задачам пространственной реконструкции изображений. 5. Разработка и исследование метода и алгоритма восстановления двумерных сигналов на основе геометрической модели с контурным и текстурным анализом применительно к задачам пространственно-временной реконструкции изображений. 6. Разработка и исследование системного критерия оценки качества обработки двумерных сигналов применительно к задачам пространственно-временной реконструкции изображений. 7. Разработка методики оценки качества обработки двумерных сигналов применительно к задаче пространственно-временной реконструкции изображений на основе машинного обучения. 8. Анализ эффективности методов восстановления двумерных сигналов применительно к задачам пространственно-временной реконструкции изображений на различных моделях сигналов и сравнение их с известными. 9. Разработка методик практического использования разработанных методов и алгоритмов при решении прикладных задач в различных областях использования. Научная новизна. В рамках диссертационной работы на основе разработанной теории восстановления двумерных сигналов на основе геометрической модели с контурным и текстурным анализом применительно к задачам пространственно-временной реконструкции изображений получены следующие новые научные результаты:

9 9. Проведенный системный и теоретико-информационный анализ задач восстановления сигналов позволил осуществить классификацию методов реконструкции изображений на основе которой разработаны новые подходы реконструкции двумерных сигналов.. Впервые разработана теоретически обоснованная геометрическая модель двумерных сигналов с контурным и текстурным анализом применительно к задаче реконструкции изображений. В отличие от модели текстур в виде случайных полей данная модель представляет изображение в виде локальных однородных областей разделенных границами что позволяет учитывать различные геометрические особенности изображений. 3. Предложен метод адаптивной локальной аппроксимации основанный на адаптации границ области фильтрации к изменениям значений градаций яркости изображения и вычисления оценок с помощью аппроксимации поверхностью методом наименьших квадратов. 4. Впервые разработан метод пространственной реконструкции статических изображений на основе геометрической модели с контурным и текстурным анализом который заключается в реконструкции изображений с помощью восстановления контуров и синтеза текстуры путем моделирования авторегрессионного случайного сигнала. Предлагается метод восстановления границ объектов на изображении на основе построения составной кривой кубическими сплайнами который позволяет уменьшить погрешность реконструкции. Теоретически доказана возможность сопоставления участков границ при восстановлении границ с использованием вероятностного подхода который позволяет оптимально сопоставить каждую пару кривых в рамках заданного критерия. Разработаны оригинальные методики расчета интерполяции сплайнами соответственных участков контуров на основе понятий параметрической и геометрической непрерывности. 5. Разработан метод пространственной реконструкции статических изображений на основе геометрической модели с текстурным анализом который основан на поиске похожих областей и копировании их в область искажённых или отсутствующих значений пикселей. Доказана принципиальная возможность

10 0 улучшения качественных показателей метода в результате оптимизации по критерию при поиске похожих областей учитывающего расстояние между гистограммами текстурных дескрипторов и евклидово расстояние между пикселями. 6. Предложен новый метод пространственно-временной реконструкции динамических изображений на основе геометрической модели с контурным и текстурным анализом который заключается в поиске похожих областей на кадрах видеопоследовательности. Представлена принципиальная возможность улучшения качественных показателей метода таких как уменьшение вычислительных затрат в результате оптимизации поиска похожих блоков на соседних кадрах с использованием дескрипторного описания движения объектов. 7. Разработан системный критерий оценки качества обработки двумерных сигналов применительно к задаче пространственно-временной реконструкции изображений. Проведены исследования с использованием системного подхода в обработке изображений для оценки качества обработки двумерных сигналов на основе критериев включающих вычислительные затраты и погрешность восстановления. 8. Разработан метод оценки качества обработки двумерных сигналов применительно к задаче пространственно-временной реконструкции изображений на основе машинного обучения. Теоретически обоснован вид информационных признаков в виде функций спектрального разложения Хаара на основе наименьшей величины риска при выбранных функциях потерь. Метод позволяет существенно увеличить точность выделяемых классов при малом числе членов ряда. Показано что полученная объективная оценка коррелирует с субъективной оценкой качества изображений. Практическая значимость.. Новые методы восстановления изображений позволяют расширить сферу использования средств комплексов видеонаблюдения в системах технического зрения на основе уменьшения объема априорной информации о содержании изображений а так же автоматизировать процесс обработки.

11 . Предложенный метод восстановления цифровых изображений при воздействии аддитивного шума на основе адаптивной локальной аппроксимации позволяет получить погрешность оценки полезного двумерного сигнала в среднем на 30% 40% меньше в сравнении с известными методами обработки. 3. Установлена инвариантность разработанного метода адаптивной локальной аппроксимации к среднеквадратическому отклонению шумовой составляющей в пределах 3% 5% при его изменении в пределах от 0 до Экспериментально установлено что использование временной связи в методе адаптивной локальной аппроксимации при обработке динамических двумерных сигналов позволяет уменьшить среднеквадратическую погрешность на 0% 5% в сравнении с покадровой обработкой. 5. Разработанный метод пространственной реконструкции статических изображений на основе геометрической модели с текстурным анализом в сравнении с известными методами позволяет получить меньшую ошибку восстановления в среднем на 60%. 6. Предложенный метод пространственной реконструкции статических изображений на основе геометрической модели с контурным и текстурным анализом позволяет уменьшить погрешность реконструкции изображений в среднем на 50% в сравнении с методом реконструкции статических изображений с текстурным анализом. 7. Показана возможность использования разработанных методов обработки и анализа статических и динамических двумерных сигналов для решения различных практических задач: при удалении объектов на статическом изображении; автоматизированном обнаружении дефектов и реставрации архивных фотодокументов; восстановлении изображений при их объединении в панораму; при восстановлении информации о глубине сцены по одному изображению; при восстановлении карты глубины динамических двумерных сигналов; при восстановлении искаженных блоков в цифровом телевизионном сигнале в результате ошибочной работы кодека; при сжатии цифровых изображений и видеосигналов на основе подходов реконструкции двумерных сигналов; при стабилизации видеопоследо-

12 вательностей; при восстановлении эндоскопических изображений с зеркальными отражениями. 8. Использование на практике новых теоретических подходов обеспечивает адаптивные свойства разрабатываемых методов и уменьшает в них количество параметров что позволяет автоматизировать процесс обработки при использовании в новых предметных областях. Методы исследования. Для решения указанных задач в работе применялись методы математической статистики теории информации теории вероятностей статистической радиотехники цифровой обработки изображений теории распознавания образов вычислительной математики компьютерного моделирования и машинного эксперимента. Достоверность и обоснованность результатов. Достоверность полученных результатов исследований обеспечивается использованием аппарата математической статистики теоретическими доказательствами утверждений корректностью используемых методов исследования согласованностью и совпадением теоретических результатов с результатами численных и натурных экспериментов результатами имитационного эксперимента на моделях и различных наборах тестовых изображений и видеопоследовательностей а также сравнением их с известными экспериментальными данными. Новизна технических предложений подтверждается патентами на изобретения на предлагаемые способы и устройства а так же свидетельствами на программное обеспечение реализующих их алгоритмов. Реализация результатов работы. Результаты диссертационной работы получены и использованы в рамках госбюджетных и научно-исследовательских тем ЮРГУЭС ДГТУ и ЮФУ в том числе: «Методы и устройства обработки аудио и видеоинформации в цифровом виде»; в рамках ФЦП «Научные и научно-педагогические кадры инновационной России» по темам: «Разработка и исследование адаптивных методов фильтрации статических и динамических цифровых изображений в условиях ограниченного

13 3 объема априорных данных» (ГК от 4 сентября 00г.) «Разработка методов и алгоритмов адаптивной обработки двумерных сигналов при реконструкции статических и динамических изображений в условиях неполной априорной информации и их программная реализация в информационнотелекоммуникационных системах» (ГК от 05 октября 00г.) «Разработка и исследование автоматизированных методов анализа и восстановления архивных фотодокументов и их программная реализация в вычислительных системах» (ГК от 3 октября 0г.) «Разработка научнотехнических основ анализа изображений при выделении и сопоставлении локальных особенностей для предоставления мультимедийных услуг с использованием компьютерного зрения» (ГК 4.В от 04 октября 0г.) «Автоматизированная система трехмерного компьютерного зрения для решения задач анализа внешних повреждений автомобиля» (ГК 4.В от 0 сентября 0г.) «Методы и алгоритмы фильтрации и восстановления четкости цифровых видеосигналов на основе разреженного 3D преобразования в частотной области» (ГК 4.В от 0 сентября 0г.) «Комплексные исследования и разработка методов идентификации и кодирования сигналов с использованием математического и имитационного моделирования в системах связи» (ГК 4.В от 3 июля 0г.) «Мониторинг нормальных и патологических процессов в организме человека на основе теории фундаментальной медицины» (ГК 4.B37..0 от 9 октября 0г.) «Разработка методов и аппаратнопрограммных средств анализа обработки и передачи сигналов в информационнотелекоммуникационных высокопроизводительных системах» (ГК 4.B от 9 октября 0г.) «Методы и алгоритмы обработки сигналов в распределённых и высокопроизводительных вычислительных системах» (ГК 4.В от 0 июля 0г.) «Исследование цифровой системы кодирования широкополосных сигналов на основе стандарта DVB-H для передачи цифрового телевидения стандарта 3DTV на мобильные устройства» (ГК 4.В37..4 от 3 сентября 0г.) «Развитие теоретических аспектов в области синтеза технических систем и комплексов» (ГК от 0 апреля

14 4 0г.) «Разработка способов обработки цифровых сигналов и их реализация в виде программного комплекса в информационно-телекоммуникационных системах» (ГК П76 от 09 ноября 009г.) «Разработка методов и алгоритмов цифровой обработки изображений и их реализация в виде программного комплекса в информационно-телекоммуникационных системах» (ГК П583 от 6 ноября 009г.) «Теоретические основы синтеза методов обработки цифровых сигналов в условиях априорной неопределенности и их практическая реализация в информационно-телекоммуникационных и вычислительных системах» (ГК от 09 марта 00г.); в рамках грантов РФФИ по темам: «Разработка квазиоптимальных методов обработки двумерных сигналов на основе геометрической модели с контурным и текстурным анализом применительно к задачам пространственно-временной реконструкции изображений» ( от ) «Разработка и исследование методов реконструкции трехмерных изображений и видеопотоков в автоматизированных системах видеонаблюдения и безопасности» ( от ) и др. Результаты диссертационной работы внедрены на предприятиях разрабатывающих системы обработки изображений и видеосигналов что подтверждается соответствующими актами о внедрении: в ООО НП «Цезис» (г. Дубна) при разработке программного обеспечения систем обработки видеопоследовательностей в ООО «ЛИТ-ТРАСТ» (г. Москва) при разработке программного обеспечения обработки многомерных сигналов в программном комплексе для геологогидродинамического моделирования и мониторинга разработки нефтегазовых месторождений «Сфера-Ассистент» включая ряд модулей в варианте для суперкомпьютерных вычислительных систем в ООО «АРМО-Системы» (г. Москва) при разработке программного обеспечения для сетевых (IP) камер в составе видеосистем которые обеспечивают охранное видеонаблюдение изображениями с высокой степенью детализации в ООО «МБА» (г. Москва) при разработке программного обеспечения для систем контроля качества продукции и идентификации объектов в ООО «Нордавинд-Дубна» (г. Дубна) при разработке алгоритмов и программного комплекса восстановления видеопотоков данных на многофункцио-

15 5 нальном видеосервере «ТелеВизард» в ООО НПФ «Сельсофт» (г. Шахты) при разработке программного обеспечения систем автоматизации в ЗАО «Нордавинд» (г. Москва) при разработке алгоритмов и программного комплекса анализа архивов видеопотоков и мгновенных снимков полученных с IP-камер и видеодекодеров с поддержкой стандартов H.64 и MPEG4 в ООО «Логстрим» (г. Дубна) при создании прикладного программного обеспечения в том числе ИТприложений включая ряд модулей в варианте для обработки большого количества изображений документов. Результаты диссертационной работы в виде алгоритмов и программ используются в учебном процессе Института сферы обслуживания и предпринимательства (филиал) ФГБОУ ДГТУ в г. Шахты по дисциплинам «Общая теория связи» «Основы построения инфокоммуникационных систем и сетей» «Цифровая обработка сигналов» «Цифровая связь» «Техническое зрение». Предложенные способы признаны изобретениями и подтверждены патентами РФ: устройство для обработки изображений на основе двумерного способа размножения оценок (Патент РФ 40630) устройство обработки двумерных сигналов при реконструкции изображений (Патент РФ 44064) адаптивный двумерный способ размножения оценок и устройство его реализующее (Патент РФ 46874) способ обнаружения и устранения импульсного шума при обработке изображений и устройство его реализующее (Патент РФ ) устройство для восстановления изображений (Патент РФ 45034) адаптивный двумерный способ размножения оценок и устройство его реализующее (Патент РФ 4687) устройство адаптивной фильтрации видеосигналов (Патент РФ 5548) устройство фильтрации динамических цифровых изображений в условиях ограниченного объема априорных данных (Патент РФ 5043) устройство выделения контуров объектов на текстурированном фоне при обработке цифровых изображений (Патент РФ 504) устройство колоризации чернобелых изображений (Патент РФ 54869) способ и устройство обнаружения дефектов на видеосигналах (Патент РФ ) устройство предобработки карты глубины стереоизображения (Патент РФ 53583) способ и устройство

16 6 детектирования локальных особенностей на изображении (Патент РФ 53584) способ организации таблицы фильтрации межсетевого коммутатора и устройство для его реализации (Патент РФ 53833) устройство поиска дубликатов изображений (Патент РФ 53839) способ повышения точности аппроксимации при выделении полезного сигнала в условиях априорной неопределенности и устройство его реализующее (Патент РФ 5499) устройство обнаружения дефектов на архивных фотографиях (Патент РФ 5490) устройство автоматизированного распознавания лиц при обработке групповой фотографии (Патент РФ 5498) способ уменьшения погрешности оценки полезной составляющей в условиях априорной неопределенности и устройство его реализующее (Патент РФ 5496). Программное обеспечение для ЭВМ реализующее предложенные алгоритмы официально зарегистрированы в Российском агентстве по патентам и товарным знакам (РОСПАТЕНТ). Апробация работы. Основные положения диссертационной работы изложены докладывались и одобрены на международных научно-технических конференциях: «Радиолокация навигация связь» г. Воронеж Россия 00 г.; «Iage Proсessng: Algorths and Systes IX» (SPIE Bellngha WA 0-06) «Moble Multeda/Iage Proсessng Seсurty and Applсatons» (SPIE Baltor WA 04-06) «Цифровая обработка сигналов и её применение» г. Москва Россия г.; «Излучение и рассеяние электромагнитных волн» (ИРЭМВ): г. Таганрог Россия 0 03г.; «Информационные технологии. Радиоэлектроника. Телекоммуникации (ITRT)»: г. Тольятти Россия 0-03 г.; «Современные проблемы радиоэлектроники» г. Ростов-на-Дону Россия 0 г.; «Internatonal Сonferenсe on sgnal proсessng» г. Пекин Китай 0 г.; «Internatonal Сonferenсe on sgnal proсessng» г. Ханчжоу Китай 04 г.; «Internatonal сonferenсe on Pattern Reсognton and Iage Analyss: New nforatonal Teсhnologes (PRIA--03)» г. Самара Россия 03 г.; 3rd Internatonal Сonferenсe n Сentral Europe on Сoputer Graphсs Vsualzaton and Сoputer Vson (WSСG 05) г. Пльзень

17 7 Чехия 05 г. «Intellgent Inforaton Technologes for Industry» г. Сочи Россия 06 г. и др. Публикации. По результатам выполненных исследований опубликовано 89 работ в том числе: 37 статьи индексируемых в базах Sсopus и Web of Sсenсe; 46 статьи в том числе 6 без соавторов в рецензируемых журналах из списка рекомендованных ВАК РФ; 86 статьи в материалах международных конференций и симпозиумов; главы в 3 коллективных международных монографиях; 40 патентов; 57 свидетельств на программный продукт. Структура и объём работы. Диссертация состоит из введения пяти глав заключения списка литературы и двух приложений. Основной текст содержит 367 страницы машинописного текста 67 рисунков и 36 таблиц. Список использованных источников литературы содержит 476 наименований. На защиту выносятся следующие положения и результаты.. Модель двумерных сигналов на основе геометрического представления с контурным и текстурным анализом применительно к задачам пространственновременной реконструкции изображений.. Метод восстановления цифровых статических и динамических изображений при воздействии аддитивного шума на основе адаптивной локальной аппроксимации. 3. Результаты теоретического анализа устанавливающие функциональную зависимость между основными параметрами метода адаптивной локальной аппроксимации. 4. Методы восстановления двумерных сигналов на основе геометрической модели с контурным и текстурным анализом применительно к задачам пространственно-временной реконструкции изображений. 5. Системный критерий оценки качества обработки двумерных сигналов включающий показатели погрешности восстановления и объема вычислений

18 8 применительно к задаче пространственно-временной реконструкции изображений. 6. Методика оценки качества обработки двумерных сигналов на основе экспертной оценки и машинного обучения применительно к задаче пространственновременной реконструкции изображений. 7. Анализ эффективности методов реконструкции статических и динамических двумерных сигналов на различных моделях сигналов и сравнение их с известными методами. 8. Обоснование возможности применения разработанных методов обработки и анализа статических и динамических двумерных сигналов в различных прикладных задачах: при удалении объектов на статическом изображении; автоматизированном обнаружении дефектов и реставрации архивных фотодокументов; восстановлении изображений при их объединении в панораму; восстановлении информации о глубине сцены по одному изображению; восстановлении карты глубины динамических двумерных сигналов; восстановлении искаженных блоков в цифровом телевизионном сигнале в результате ошибочной работы кодека; при сжатии цифровых изображений и видеосигналов на основе подходов реконструкции двумерных сигналов; при стабилизации видеопоследовательностей; при восстановлении эндоскопических изображений с зеркальными отражениями. 9. Алгоритмы и программы реализующие новые методы первичной обработки статических и динамических двумерных сигналов. Таким образом направление исследований актуально а полученные новые научные результаты имеют теоретическую и практическую значимость.

19 9 ГЛАВА. СОВРЕМЕННОЕ СОСТОЯНИЕ ПРОБЛЕМЫ ВОССТАНОВЛЕНИЯ СТАТИЧЕСКИХ И ДИНАМИЧЕСКИХ ДВУМЕРНЫХ СИГНАЛОВ Одна из основных задач радиотехники достоверная передача сообщений на различные расстояния от миллиметров (между блоками системы) до тысяч километров (космическая связь). В настоящее время получили широкое развитие методы и устройства передачи приема обработки отображения и хранения информации в которых широко применяются цифровые информационные технологии в том числе с использованием методов анализа и распознавания изображений в радиотехнических устройствах. Широкое внедрение цифровых систем связи приводит к увеличению актуальности решения задачи восстановления двумерных сигналов с целью уменьшения шумов и реконструкции изображений для визуального и автоматического анализа...обоснование методики обработки статических и динамических двумерных сигналов Важное направление современных цифровых вычислительных систем цифровая обработка и анализ изображений для решения задач автоматизированного контроля и управления улучшения визуального качества увеличения достоверности оценки параметров. Обработка сигналов в современных телевизионных и фотосистемах системах позиционирования удаленного контроля и наблюдения для потребителей предъявляют новые требования к достоверной передачи информации и формируют принципиально новые классы задач связанные с обработкой и анализом двумерных сигналов. Изображение вид представления информации воспринимаемый человеком. Двумерные сигналы описывающие изображения могут быть сформированы различными физическими принципами. В оптике это позволяет сделать широ-

20 0 кий класс приборов от фотоаппарата до телескопа в акустике набор микрофонов и т.д. Математическое определение изображения можно сформулировать в следующем виде это многомерная функция нескольких переменных физических величин обладающих следующими свойствами []: - ограниченность по пространству; - не отрицательность; - ограниченность по значению функции. Цифровые изображения представляют собой набор чисел характеризующих яркость ограниченного участка изображения (пиксела). Для цветных изображений каждому пикселу соответствует несколько значений каналов цвета []. Статическое изображение (двумерный сигнал) можно рассматривать в виде прямоугольной матрицы Y I J Y где I и J соответственно количество строк и столбцов в изображении в пикселях. Соответственно динамический двумерный t сигнал (видеопоследовательность) имеет вид T количество кадров видеопоследовательности. Y где t T текущий кадр По максимальному числу цветов или глубиной цвета изображения могут быть классифицированы на следующие типы черно-белые в оттенках серого t Y [3] с индексированным цветом и полноцветные [4-5]. Типы изображений: ) Бинарные изображения для хранения каждого пикселя используют только один бит и состоят только из черных и белых пикселей. ) Полутоновые изображения для хранения каждого пикселя используют 8 бит и имеют градации серого от 0 до 55. При этом под яркостью понимается численное значение пикселя [45]. 3) Палитровые изображения для хранения пикселя используется 8 бит но в отличие от полутоновых изображений кодируется цвет пикселя. Значение пикселя в диапазоне от 0 до 55 обозначает индекс в массиве о цветовой информации []. 4) Изображения в естественных цветах для хранения каждого пикселя используется 4 бита в виде массива RGB []. Такие изображения обеспечивают

21 широкие возможности для преобразования и дальнейшей художественной обработки. В процессе передачи и обработки радиотехническими системами статические и динамические двумерные сигналы подвергаются воздействию различных помех что приводит к ухудшению визуального качества и потере участков изображений (групп пикселей). Повышение качества изображений достигается несколькими видами первичной обработки изображений: улучшением (коррекцией) фильтрацией и реконструкцией (реставрацией) [ 3]. Для улучшения (коррекции) используются операции которые улучшают зрительное восприятие изображений для наблюдателя или преобразуют в более удобный вид для машинного анализа. Под изменением координат функций понимается коррекция геометрических искажений при этом амплитудные значения функций в каждой точке не изменяются. Такое преобразование для двумерной функции будет иметь следующий вид Y Y. Коррекция геометрических искажений применяется при изменении масштаба устранения геометрических аберраций и широко используется в аэрофотосъемке. При улучшении визуального качества изображения осуществляют изменение значений оператора: где T известный закон преобразования. Y T[Y] (.) При этом локально изменяются значения функции а координаты (область задания) не меняются. В системах улучшения изображений приближение воспроизводимого изображения к некоторому идеализированному оригиналу не является целью. Помехи различного характера приводят к искажению изображений сформированных оптическими системами и зарегистрированных с помощью приёмников. При этом причинами искажений становятся все компоненты приборов начиная с осветительной системы оптической системой и заканчивая электронными

22 приёмниками излучения (например ПЗС-матрицы) []. Визуальный анализ изображений затрудняется наличием помех что в ряд случаев делает невозможным его автоматическую обработку. В связи с чем для ослабления помех используется фильтрация которая широко распространена при анализе изображений и основана на использовании различных операторов дифференциальных сглаживающих и т.п. Условно данный тип обработки можно представить в виде (.). При фильтрации используется информация о том что интенсивность изображения является более низкочастотной чем функция помех [-3]. Как правило при использовании методов фильтрации для оценки сигнала используется некоторое множество (окрестность) соседних точек кадра. Форма окрестности может иметь различную конфигурацию в нее могут входит ближайшие по кадру соседи или окрестности содержащие достаточно удаленные точки кадра [4]. Случайный характер помех и стремление получить минимальную в среднем оценку от идеального сигнала приводят к тому что методы фильтрации основаны на вероятностных моделях изображений и помех а так же используют статистические критерии оптимальности [5]. Большое разнообразие математических моделей сигналов и помех приводит к многообразию методов фильтрации которые используют различные критерии оптимальности [6]. Под реконструкцией понимается восстановление элементов изображения c целью коррекции искажений интерполяции или экстраполяции. В большинстве случаев при решении задачи реконструкции требуется оценить отсутствующие значения пикселей изображений и видеопоследовательностей а так же выбрать из большого числа уже имеющихся участков наиболее «похожий». Так как изображение формируется приборами включающими в себя большое количество элементов преобразования то система формирования изображения приводит к искажениям сигнала и его значительному отличию от функции описывающей объект. Достоверность полученной информации снижается в связи с чем необходимо преобразование изображения с целью реконструкции (восстановлению) функции. Как правило реконструкцию изображений относят к обратным задачам математической физики при этом подразумевается получение

23 3 максимально приближенного изображения к оригиналу с учетом свойств формирующей системы. Данный тип обработки можно представить в виде (.) но закон преобразования T в большинстве случаев не известен. В случае сложного оператора последовательно действует несколько операторов T T T [ T [ T [...]]]]. [ 3 n Для реконструкции изображения необходимо сконструировать обратный оператор то есть решить обратную задачу. Если решение существует единственное и устойчивое то задача называется корректно поставленной [7]. Если задача не удовлетворяет им то она называется некорректно поставленной или некорректной. Задачи реконструкции изображения как правило являются некорректно поставленными так как не выполняется ни одно из вышеперечисленных условий. Решение может быть не найдено по двум причинам: ) Не зарегистрирована или произошла значительная потеря информации. ) Математической модель неадекватна реальной ситуации формирования изображения. Для эвристических методов решения задачи реконструкции изображений должна быть известна информация вокруг искаженных групп пикселей которая используется для интерполяции и экстраполяции значений. Ко второй группе относятся методы вторичной обработки изображений которые включают в себя такие задачи как сегментация вычисление различных характеристик выделение особых точек определение границ объектов и распознавание образов. Центральное место занимает задача распознавания образов [368]. Решение ее техническими средствами может быть осуществлено путем моделирования операций выполняемых живыми организмами в процессе коммуникации и восприятия окружающего мира. При получении символического описания изображений решается задача перехода от набора признаков (значения яркости контурные точки текстура) к меньшему набору средств семантической интерпретации. Цепочка контурных точек области одного цвета повторяющихся геометрические фигуры являются примерами графических символов образующих описание объекта. Символическое описание изображения по набору признаков состоит

24 4 в определении соотношений и связанности между элементами принадлежащих одному классу. Техническое зрение предполагает решение нескольких последовательных задач обработки информации: выделение идентификация и преобразование. Этот процесс можно разделить на шесть основных этапов обработки сигналов: регистрация предварительная обработка сегментация описание распознавание интерпретация [8]. Предварительная обработка заключается в использовании методов фильтрации и улучшении изображений или отдельных деталей. При сегментации происходит выделение интересующих объектов на изображении а при их описании определяются параметры для выделения требуемого объекта на фоне других (например размер или форма). Конечной целью сегментации изображений является разбиение изображения на различные области (объекты и фон) что является весьма затруднительным так как данные понятия весьма условны. Распознавание решает задачу идентификации предметов и объектов. Обработку изображений стоит рассматривать как сложную многоэтапную процедуру с изображениями различного типа (рис..) [8]: полутоновые; бинарные; контурные; векторные и т.д. Исходное изображение Первичная обработка Восстановленное изображение Вторичная обработка Решение о принадлежности к классу Распознавание Вектор признаков Формирование описания Набор признаков Рис...Основные этапы обработки изображений Таким образом можно выделить две основные задачи возникающие при решении первичной задачи обработки статических и динамических двумерных сигналов:

25 5 восстановление двумерного сигнала на фоне аддитивного и импульсного шума; реконструкция частично потерянных участков двумерных сигналов. Схему восстановлений статических и динамических двумерных сигналов можно представить как поэтапную работу при этом фильтрация предшествует экстраполяции утраченных значений двумерного сигнала []... Глобальные и локальные характеристики двумерных сигналов Изображение в большинстве случаев рассматривается как составная часть низкоуровневых особенностей. В роли таких особенностей могут выступать значения яркости контурные точки или параметры текстуры что позволяет сформировать текстурно-геометрическую модель изображения. Изображение в целом описывают глобальные дескрипторы и представляют его в виде векторов признаков. Цвет является одной из наиболее важных характеристик для человека. При этом он обладает свойством инвариантности относительно размера и расположения объектов на изображении. Цветовая гистограмма является одним из вариантов представления цвета [3]. Другая модель предложенная Стрикером M. Оренго М. описания цвета связана с вычислением цветовых моментов в которой распределение цветовых каналов рассматриваются в виде совместного трехмерного распределения [89]. Точка с характерной окрестностью существенно отличающаяся от других точек по каким-то свойствам называется локальной особой точкой изображения. Типы локальных особенностей []: ) Угол пересечение двух рёбер. ) Пятно яркие или тёмные области которые отличаются от окружающих. 3) Край это набор точек на границе между областями с различными яркостными характеристиками то есть с большой величиной градиента.

26 6 4) Контур представляет собой связанную границу между двумя или более областями изображения и может быть произвольной формы []. 5) Текстура важный пространственный признак описывающий распределение цветов или интенсивности яркости. Под текстурой понимают специфические повторяющиеся изменения тона (цвета) в изображении объекта или его некоторой части [0]. Текстура представляется упорядоченным изменением тона геометрическими или стохастическими рисунками. Последним типом текстуры как правило описываются естественные объекты природы. При построении модели изображений используются как глобальные так и локальные свойства изображений []. Применение глобальных дескрипторов в большинстве случаев ограничено решением задачи поиска по содержанию изображений то есть используется информация обо все изображении а не об его отдельных частях. При решении задачи распознавания точечных особенностей изображений более предпочтительными являются локальные дескрипторы содержащие информацию в виде текстур точек и особых областей. Дескрипторы могут быть представлены в виде двух типов граница области с ее внешними или внутренними характеристиками [3]. В качестве дескрипторов границ стоит отметить следующие подходы []: цепные коды сигнатура аппроксимация многоугольниками; описание области в виде графа. В качестве дескрипторов областей используются [ 8]: площадь области; ориентация объекта; периметр области; дескриптор текстуры. По типу локальных особенностей методы их обнаружения можно классифицировать на следующие классы [8]: методы обнаружения углов; методы обнаружения точек; методы обнаружения пятен; методы обнаружения краёв.

27 7 Метод Моравека (Moravec) является одним из алгоритмов обнаружения углов. Позволяет анализировать области пикселей на проверку каждого элемента в изображении на принадлежность к углам [ ]. Метод не является изотропным что является главным недостатком. В работах [3 4] предлагается детектора Харриса который оценивает дифференциальную оценку угла по отношению к направлению вместо использования сдвинутых областей [4]. К достоинствам данного подхода можно отнести инвариантность к повороту к смещению и частичную инвариантность к изменению яркости. Недостатком детектора является то что он не инвариантен к изменению масштаба изображения. В работах [56] предложен метод SURF который позволяет детектировать особые точки на изображении. Особые точки SURF достигают экстремума при максимальном изменении градиента яркости и вычисляются с помощью детерминанта матрицы Гессе [6]. Данный подход позволяет получить дескрипторы устойчивые к вращению. Основным недостатком метода является ограничение при обработке изображений без выраженной текстуры. В работе [7] представлен детектор Blob который основан на вычислении лапласиан-гауссиана. Стоит отметить что данный подход приводит к уменьшению соотношения сигнал/шум из-за чувствительности к изменению яркости в параллельном направлении. Нелинейный оператор Кирша предложенный в работе [8] позволяет определять толщину края в нескольких направлениях. К недостатку детектора стоит отнести значительные вычислительные затраты. В работе [8] рассмотрен алгоритм поиска углов Ши-Томаси (Канаде- Томаси) в котором для обнаружения углов используется оценка кривизны линий и значение градиента. Стоит отметить что данный детектор чувствителен к присутствию шума на изображении.

28 8 Анизотропный детектор углов Тайковича и Хедли описан в работе [9]. Блочность цифровых изображений что особо проявляется при сжатии приводит к погрешности в детектировании диагональных линий. В работе [6] представлен FAST детектор особенностей к главному достоинству которого стоит отнести скорость обработки. Метод SIFT (Scale Invarant Feature Transfor) предложенный в работах [0 ] позволяет обнаруживать и описывать локальные особенности на основе построения пирамиды и разностей гауссианов. Метод инвариантен относительно параметров аффинных преобразований таких как перемещение вращение и масштаб. Для оценивания текстурных характеристик широко используется матрица смежности (Grey Level Co-occurrence Matrces GLCM) [0]. Признаки Тамуры так же позволяют получить текстурные признаки с учетом особенности зрительного восприятия человека [0] и включают в себя свойства зернистости контрастности направленности линейности регулярности и грубости. Для анализа текстуры изображения в различных масштабах используется вейвлет-анализ. Фильтры Габора и ICA-фильтры (Independent Coponent Analyss) [36] являются примерами эффективных фильтров такого класса. Анализ различных локальных особенностей позволяет сделать вывод что в настоящее время отсутствует универсальный способ вычисления различных локальных особенностей. Каждый из рассмотренных в литературе методов эффективен для определенного класса таких особенностей в роли которых могут выступать значения яркости контурные точки или параметры текстуры. Соответственно для построения математической модели изображения необходимо использовать составное описание сигналов в котором используются понятия текстуры и краев (контуров) что позволит сформировать текстурногеометрическую модель изображения.

29 9.3. Методы фильтрации статических и динамических двумерных сигналов Причины появления шума на изображении могут быть различными например самопроизвольные тепловые процессы в ячейках фотосенсоров ошибки сканирующего устройства при получении изображений CCD-детектором физические свойства электронных устройств (усилители АЦП) и др. []. В качестве описания модели шумовой составляющей в большинстве случаев используют гауссовскую гамма экспоненциальную Релея равномерную плотность распределения и др. [346]. Как правило гауссовской плотностью описывается тепловой шум сенсоров в случае недостатка освещения а также шум электронных цепей. Шум с законом распределения Релея характерен для снимков снятых с большого расстояния. На снимках полученных с помощью лазера появляется Гамма-шум. Причинами появления импульсного шума являются неправильная коммутация и переходные процессы [3]. При оцифровке изображений ошибка квантования может быть представлена равномерным законом распределения шума. Присутствие такого шума является причиной появления нежелательных артефактов на изображении в виде ложных контуров вокруг объектов и потере низкоконтрастных деталей []. Методы сглаживания по принципу работы можно разделить на частотные и пространственные. К частотным относятся фильтры на основе ортогональных и не ортогональных преобразований [36]. Ко второй группе относятся различные фильтры на основе порядковых статистик. Пространственная обработка подразумевает выполнение операций над каждым элементом изображения (пикселем). Схему пространственной фильтрации можно представить как перемещение некоторой окрестности (окна маски фильтра) по каждому элементу изображения []. При этом в каждой точке вычисляется отклик фильтра с использованием предварительно заданных связей. В зависимости от типа окрестности различают каузальную некаузальную и полукаузальную фильтрацию изображений [3]. В случае линейных фильтров отклик задается суммой произведений весовых коэффициентов фильтра на соответствующие значения пикселей из области

30 30 маски а в случае нелинейных фильтров используется нелинейная комбинация весовых коэффициентов маски фильтра [8 9]. Фильтрация изображения n задается выражением вида: a Y I J с помощью фильтра размерами b S Y I J w sf s-a f b где w sf коэффициенты маски фильтра s f - a (.) n- b. Общим недостатком пространственных методов использующих маску является неспособность обрабатывать строки или столбцы изображения находящиеся на границах маски в случае если центр фильтра приближается к границам изображения []. При использовании линейного сглаживающего фильтра (усредняющего) вычисляется среднее значение фильтра. элементов по окрестности покрытой маской Одним из популярных методов усреднения является метод скользящего среднего. В «скользящем окне» n пикселей вычисляется среднее арифметическое S n a b Y s f s-a f b где - a n- b. Полученное среднее значение S используется для замены центрального из значений Y I J. Далее процедура сдвига окна и вычисление среднего арифметического повторяется для всех пикселей изображения []. Для придания пикселям различных весов используется метод взвешенного скользящего среднего [] в котором значения весовых коэффициентов уменьшаются при удалении от центра маски. Оценка среднегеометрического фильтра вычисляется следующим образом []: a b n s f I J s-a f b S Y. (.3)

31 3 К общему недостатку линейных сглаживающих фильтров следует отнести неспособность обрабатывать строки или столбцы изображения расположенные на границах маски. Линейные методы фильтрации приводят к сглаживанию перепадов яркости и расфокусировке изображений [4]. Наличие априорной информации об статистических характеристиках шума и геометрических свойствах изображений необходимо для выбора размера маски. К более эффективным методам относится гауссовский фильтр который позволяет уменьшать влияние пикселей в маске друг на друга при увеличении расстояния от центрального значения [6]: S - e I J. (.4) Фильтрация гауссовским фильтром так же приводит к расфокусировке изображения но стоит отметить что степень сглаживания можно регулировать параметром s выбор которого зависит от априорной информации. Ко второму типу пространственных фильтров относятся нелинейные алгоритмы основанные на порядковых статистиках [3]. В основе таких фильтров лежит принцип ранжирования пикселей с последующим выбором значения на определенной позиции упорядоченной последовательности [4 5]. Типичным примером такой обработки является медианная фильтрация которая использует маску фильтра с центральной симметрий: S ed Y s f s f Y I J. (.5) Взвешенный медианный фильтр позволяет присваивать различные веса элементам в маске фильтра [3] выражение фильтрации имеет следующий вид: где S ed wsf Y s f s f Y I J (.6) w sf весовые коэффициенты количество повторений значений пикселя. Медианная фильтрация позволяет учитывать границы перепадов яркости изображений при сглаживании за счёт ранжирования и в меньшей степени их сглаживать чем линейные методы фильтрации. К недостаткам следует отнести

32 3 меньшую эффективность подавления шума в случае гауссовской плотности распределения. Фильтр серединной точки так же относится к классу нелинейных алгоритмов подавления шума []. Фильтр объединяет методы усреднения и порядковых статистик за счет вычисления среднего между максимальным и минимальным значениями по формуле: S ax s f Y Y n Y s f s f Y s f I J. (.7) К общим недостаткам нелинейных методов фильтрации так же стоит отнести ограничение при обработке граничных строк или столбцов изображений. Медианный метод фильтрации наиболее эффективен в случае импульсных помех и теряет эффективность при гауссовском законе распределения [3]. Стоит отметить что в настоящее время широкое распространение получили фильтры основанные на ранговых критериях L- М- и R- оценки [934]. Для вычисления L-оценки используется порядковая статистика и взвешенная сумма в виде следующего выражения [6]: a b S ws f Y( s f )... I... J sa f b - a n- b (.8) где Y( s f ) - порядковая статистика для пикселей в окне n w s f - весовой коэффициент. Значения весовых коэффициентов w позволяют изменять свойства L- s f оценок при этом возможно достичь компромисса между устойчивостью к импульсному шуму и сохранением перепадов яркости и сглаживанием гауссовского шума [4 5]. Получение оптимальных значений весовых коэффициентов для минимизации среднеквадратического отклонения возможно при известной плотности вероятности изображения [4] что на практике имеет ограничение из-за отсутствия априорной информации о плотности распределения изображения и шума. К ранговым фильтрам так же относиться R-оценка которая имеет вид [78]:

33 a b 33 - S ws f ( Rs f )... I... J a n sa f b n- b (.9) где R s f - ранг наблюдения; s f w - весовые коэффициенты. Ранговый критерий Вилкоксона определяется в виде медианы расширенной выборки полученной дополнением значениями полусумм промежуточной упорядоченной выборки исходного изображения [9]. Для решения задачи максимального правдоподобия в скользящем окне используются М-оценки при определении мириады выборки [97]. К недостаткам такого подхода стоит отнести трудоемкость при поиске минимума целевой функции (.). - урезанный фильтр использует усреднение значений ближайших к медианному значению [8]: S a b w s-a f b a sf b s-a f b Y w s f sf I J (.0) где w sf Y 0 Y s f s f Y Y ed ed P P P - пороговое значение. Сигма-фильтр основан на вычислении суммы пикселей в маске для которых разность между центральным элементом не превосходит среднеквадратического значения шума [9930]: S a b w s-a f b a sf b s-a f b Y w s f sf I J (.) где w sf Y 0 Y s f s f Y * Y * ш ш. К нелинейным локально-адаптивным фильтрам стоит отнести -урезанный и сигма-фильтр [30]. Фильтры позволяют использовать адаптацию за счет учета

34 34 локальной статистики при расчете выходного значения фильтра [3 3]. К недостаткам данных подходов относится необходимость априорной информации о локальных статистиках в том числе и дисперсии шума. В работе [3] предложен фильтр Hachura-Kuwahara который вычисляет среднее значение и дисперсию для различных окон с последующим выбором окна с наименьшей дисперсией. Такой подход позволяет ввести адаптацию к яркостным характеристикам изображения то есть вычислять среднее для однородных областей. Проведенный анализ литературных источников показывает что эффективность использования нелинейных фильтров при воздействии гауссовских помех значительно снижается. В задачах фильтрации изображений наряду с решением задачи сглаживания шума предъявляются требования к визуальному качеству с сохранением деталей. В данном случае эффективным способом обработки является использование локально-адаптивных фильтров параметры которых изменяются в зависимости от статистических свойств изображения внутри маски фильтра [3]. В качестве таких характеристик могут использоваться среднее значение и дисперсия []. [33]: где Оценка локального адаптивного фильтра вычисляется следующим образом S Y ш s f Y s f L ш дисперсия шумовой составляющей фильтра L среднее в окрестности маски фильтра. L I J (.) L дисперсия в окрестности маски К главному недостатку данного метода стоит отнести наличие априорной информации о дисперсии шума. В качестве эффективного подхода к подавлению шума в работах Я. Астолы К. Егиазаряна предлагается метод локальной полиномиальной аппроксимации [34]. Для получения оценки используется аппроксимация значений в секторе изображения полиномом невысокой степени.

35 35 Для каждого сектора оценка определяется в виде свертки: ) ( ) ( ~ g Y S J I (.3) где ) ( g ядро свертки размер окна сектора направление сектора. Форма окна выбирается с помощью правила пересечения интервалов доверия на основе вычисления множества оценок при различных размерах окон [35]: ) ( ~ ) ( ~ ) ( ~ ) ( ~ ) ( S S S S D (.4) где пороговый параметр. Из полученных оценок для каждого из восьми секторов определяется размер окна для которого оценка незначительно отличается от оценки с меньшим размером окна [36]. Результирующая оценка определяется как взвешенная сумма: S S ) ( ~ ) ( (.5) S S ) ( ~ ) ( ~ ) ( J I (.6) Не правильный выбор порогового параметра Γ может привести к сильному сглаживанию или наоборот незначительному подавлению шума. В работах [35 36] приведены исследования по выбору параметра но данный параметр сильно зависит от дисперсии шума и структуры изображения априорная информация о которых как правило ограничена. В работах [37-39] автором Буадес A. предлагается метод нелокальной фильтрации адаптивный метод нелокального среднего. Использование большинства методов фильтрации приводят к сглаживанию структуры и контуров изображений. Метод нелокального среднего использует свойство похожести небольших областей изображений с заменой зашумленной области изображения на взвешенную сумму похожих блоков (рис..) [39].

36 36 Рис... Пример расположения похожих блоков Высокая эффективность данного метода достигается на текстурных изображениях и областях с однородной яркостью [38]. Эффективность метода значительно уменьшается если изображение не обладает квазипериодической структурой. К оптимальным методам фильтрации относится критерий минимума байесовского риска на основе которого возможно синтезировать линейные и нелинейные методы фильтрации [ 40]. К недостаткам данных подходов следует отнести большой объем необходимой априорной информации о полезной и шумовой составляющих а так же значительные вычислительные затраты [3]. К некаузальной линейной фильтрации относится Винеровская фильтрация [4 4]. Использование данного подхода предполагает что известны корреляционные функции полезной R S ( ) и шумовой R ( ) составляющих и их взаимные корреляционные функции R S ( ) = R S ( ) []. Использование винеровской фильтрации ограничено на практике из-за отсутствия априорной информации о полезной и шумовой составляющих что делает невозможным расчет оптимальной импульсной характеристики фильтра []. Дополнительные условия на взаимные корреляционные матрицы выполняются со значительными допущениями что так же ограничивает применение метода [4]. Для реализации рекурсивной процедуры адаптации используется калмановская фильтрация основанная на авторегрессионной модели процесса генерирования сигнала [4-43].

37 37 Основной недостаток калмановской фильтрации динамические искажения вносимые фильтром в оценку сигнала из-за нелинейных искажений спектральных компонент сигнала. В реальности изображение Y представляет собой нестационарный случайный процесс поэтому отсутствие априорной информации о статистических характеристиках приводит к значительной ошибке оценки полезного сигнала [43]. Частотные методы спектрального анализа используют представление сложного сигнала в виде некоторой комбинации простых сигналов и определением интенсивности каждого колебания в сложном сигнале [44]. В виде ряда Фурье может быть представлен двумерный периодический в виде: ~ Y x y I J N M 0 0 Y exp( x y ) 0 I y 0 J I J x.(.7) В качестве базисных функций используются двумерные комплексные экспоненты. Двумерный частотный спектр сигнала Y Фурье ~ Y x y ряда (.7) [34]. образован коэффициентами Обратное преобразование Фурье используется для восстановления сигнала Y по его спектру Y x y и имеет вид: Y ~ I J ~ x exp( ) Y y x y 0 N 0 M x0y0 I J. (.8) С помощью преобразования Фурье эффективно выполняется фильтрация стационарных сигналов [] на основе перемножения спектра сигнала и частотного коэффициента передачи фильтра. Цифровая двумерная фильтрация в частотной области осуществляется с помощью циклической свертки сигнала и импульсной характеристикой I J 0 0 x y H [9]: S Y H x 0 I y 0 J. (.9) x y Для описания сигнала в частотной области используется периодически ~ продолженный сигнал Y которому соответствует дискретный спектр Y x y []. x y

38 где H ~ xy 38 Спектр сигнала определяется перемножением ~ S xy xy xy ~ Y x y ~ ~ Y H 0 I y 0 J и H ~ xy []: x (.0) частотный коэффициент передачи цифрового фильтра. В качестве низкочастотного фильтра может быть использован двумерный идеальный низкочастотный фильтр имеющий передаточную функцию в виде [6]: где D 0 заданный порог x y ; H ~ при Dx y D0 x y (.) 0 при Dx y D0. D расстояние от точки ( x y) до начала координат. К основному недостатку при обработке изображений низкочастотным фильтром стоит отнести появление звона который проявляется в появлении ложных контуров вокруг реальных []. Трудоемкость преобразования Фурье и обработка в реальном времени достигается использованием мощных вычислительных средств что так же накладывает на использование данного подхода на практике [44]. В работе [45] предложен метод 3D-фильтрации с блоками подобия который использует идею нелокального среднего с обобщением на спектральные преобразования. Подобные блоки записываются в трехмерную матрицу к которой применяется 3D преобразование Фурье. После порогового ограничения частотных коэффициентов применяется обратное 3D преобразование Фурье и обработанные блоки возвращаются на их местоположение в исходном изображении. Окно Кайзера выступает в качестве весовой функции при усреднении блоков [46]. Алгоритм работы метода 3D фильтрации показан на рисунке.3. Рис..3.Алгоритм работы метода 3D фильтрации

39 39 Большое количество априорной информации для выбора параметров метода таких как размер блоков количество блоков в 3D преобразовании пороговое значение при обнулении коэффициентов в 3D преобразовании приводят к сложности использования метода на практике. Кроме того сложно подобрать универсальные параметры так как существует их связь с геометрическими особенностями изображений. Другим примером спектрального анализа является вейвлетпреобразование. В качестве базисных в таком преобразовании используются функции с изменяющейся частотой и локализацией по времени. Вейвлет-анализ применяется во многих практических приложениях благодаря хорошей адаптации к анализу нестационарных сигналов но основное его практическое использование связано со сжатием данных []. Вейвлет-преобразование позволяет анализировать нестационарный сигнал путем разложения по базисным функциям путем сжатия и сдвигов. Основная сложность данного преобразования заключается в обоснованном выборе материнского вейвлета для полезного сигнала [47]. Для каждого изображения необходимо подбирать свой наиболее приспособленный материнский вейвлет. При сглаживании шума как и в случае с Фурье фильтрацией коэффициенты подвергаются пороговому ограничению для отделения высокочастотной шумовой составляющей от исходного неискаженного изображения [48-50]. Анализ существующих методов и алгоритмов обработки изображений позволяет осуществить их классификацию представленную в виде таблицы.. Приведенный анализ показывает что использование известных методов выделения двумерного полезного сигнала на фоне аддитивного шума требует априорных данных об исходном изображении и статистических свойствах аддитивной шумовой составляющей. Недостатки методов обработки изображений повторяют недостатки методов обработки одномерных сигналов. При использовании оптимальных методов оценки необходима априорная информация о взаимной корреляционной функции между исходным обрабатываемым изображением и

40 40 выделяемым полезным сигналом что крайне редко выполняется на практике [5]. К недостаткам линейных сглаживающих фильтров следует отнести неспособность обрабатывать строки или столбцы изображения находящиеся на границах маски в случае если центр фильтра приближается к границам изображения. Все линейные алгоритмы фильтрации приводят к сглаживанию резких перепадов яркости изображений что значительно ухудшает визуальное качество изображения. Так же следует отметить что выбор размера маски для линейных и нелинейных фильтров зависит от наличия априорной информации об исходном изображении и шумовой составляющей. Обработка изображений методами на основе ортогональных преобразований так же имеет ряд существенных ограничений связанных с наличием необходимой априорной информацией о полосе занимаемых частот полезного сигнала и шума. Т а б л и ц а. - Классификация методов и алгоритмов обработки изображений при решении задачи восстановления двумерного сигнала на фоне шума Методы и алгоритмы Байесовский фильтр Фильтр Винера Фильтр Калмана Скользящее среднее взвешенное скользящее среднее гауссовский фильтр. Медианный фильтр взвешенный медианный фильтр фильтр серединной точки L-фильтр M - фильтр R- фильтр сигма-фильтр. Спектральные методы метод 3Dфильтрации с блоками подобия Локальный адаптивный метод метод адаптивного квантования мод метод локальной полиномиальной аппроксимации метод нелокального среднего. Априорная информация Четкое определение пространства сигналов и шума плотность распределения полезного сигнала и шума. Четкое определение пространства сигналов и шума корреляционная функция полезной и шумовой составляющих взаимно-корреляционная функция полезной и шумовой составляющих. Четкое определение пространства сигналов и шума статистические и корреляционные характеристики шумовой составляющей. Четкое определение пространства сигналов и шума модель полезного сигнала. Четкое определение пространства сигналов и шума модель полезного сигнала. Четкое определение пространства сигналов и шума выбор базисной функции полоса сигнала. Четкое определение пространства сигналов и шума правило адаптации.

41 4 Отсутствие априорной информации существенно усложняет процесс обработки изображений и в ряде случаев делает его невозможным без наличия визуального контроля. В результате проведенного анализа сформулирован предмет дальнейших научных исследований уменьшение погрешности оценки восстановления двумерного полезного сигнала при обработке изображений в условиях априорной неопределенности..4. Методы реконструкции статических двумерных сигналов Большинство методов реконструкции двумерных сигналов можно разделить на следующие группы по локальным и глобальным свойствам двумерных сигналов (рисунок.4) [5]: - методы основанные на геометрических свойствах [53-89]; - методы основанные на статистических свойствах [90-09]; - методы основанные на сходстве локальных областей [0-33]; - методы основанные на разреженных представлениях [34-53]; - методы основанные на восстановления границ [54-75]. Данная классификация основана на различных представлениях двумерных сигналов в контексте свойств изображений рассмотренных в главе.. Анализ литературных источников показывает что в настоящее время отсутствует единый подход к реконструкции двумерных сигналов. Каждый из методов реконструкции имеет специфические применения связанные с ограничениями на класс модели изображений и использует определения гладкая локальная или однородная область. Большинство методов основано на конкретной модели изображении и соответственно показывают эффективность только на данном классе двумерных сигналов при этом для их использования необходима априорная информация о свойствах двумерных сигналов и искажений которая часто ограничена или трудна доступна. В настоящее время различными авторами предпринимаются попытки обобщить несколько классов методов соответственно в предложенной классификации выделены группы методов основанные на комбинированной обработке.

42 4 Одним из современных направлений является разработка методов на основе контурной модели то есть интерполяции границ так как для визуального анализа в первую очередь необходимо корректно восстановить самую информативную часть изображений структуру объектов. Анализ данной классификации позволяет сделать вывод что в настоящее время перспективными являются методы которые используют комбинированные локальные и глобальные свойства изображений [5]. К таким свойствам относятся текстурные и контурные характеристики. В области методов основанных на комбинировании восстановления структурных и различных локальных характеристик (например стохастических текстур) в настоящее время не предложено комбинированных подходов объединяющих лучшие свойства методов данных групп.

43 50 Методы реконструкции изображений Методы основанные на геометрических свойствах - Методы диффузии - Методы локальных изменений - Методы на основе дифференциальных уравнений в частных производных Методы основанные на статистических свойствах - Методы на основе марковских случайных полей - Вероятностные - Синтез текстур Методы основанные на сходстве локальных областей Методы основанные на разреженных представлениях Методы основанные на восстановления границ Методы основанные на комбинированных геометрических и статистических свойствах Методы основанные на комбинированных схожих локальных областей и разряженных представлений Методы основанные комбинированных схожих локальных областей и геометрических свойствах Методы основанные на комбинированных статистических свойств и разряженных представлений Методы основанные на основе комбинированных геометрических свойств и разряженных представлений Рис..4. Классификация методов реконструкции двумерных сигналов

44 5 Далее рассмотрим более подробно методы из каждого класса в соответствии с классификацией рис..4. Методы основанные на геометрических свойствах используют решение дифференциальных уравнений в частных производных (PDE) [77-79] при этом используется информации с границ области с отсутствующими пикселями и продолжается внутрь области восстановления. Решение дифференциальных уравнений в частных производных позволяет соединять контуры постоянной яркости изображений в области восстановления на основе минимизации выбранного функционала [76]. Граничные условия на краю области восстановления позволяют задавать направление линий с помощью выражения: S ( ) Y. (.) Условие при котором для дифференциального уравнения существует решение имеет вид: t S Y 0. (.3) Сглаживающий оператор Y определяет направление продолжение линий в область восстановления. Выражение для итеративного вычисления анизотропной диффузии для всех пикселей имеет вид: S ( t) Y( t) (.4) t где ( t) искривление двумерной плоскости Y ( t ) в точке ( ). Для реконструкции значений пикселей изображений в работе [77] предлагается использование теории классической полевой динамики и в частности уравнения Навье-Стокса в котором функция интенсивности изображения Y ( ) представляется в виде потока направление контуров оценка S в виде ротора. Уравнение решается относительно Y и имеет вид: где С параметр анизотропной диффузии. S в виде потока ротора а S S Y С Y Y (.5) t

45 5 Для восстановления изображения принимаются граничные условия при которых известны интенсивность значений яркости изображения на границе области восстановления а так же направление линий контуров. К основным недостаткам методов стоит отнести то что их использование приводит к сглаживанию яркостных перепадов и контуров изображений что значительно ухудшает визуальное качество восстановленного изображения [76 77]. В работе [77] предложен метод на основе модели Total Varaton который использует модель фильтрации и сегментации изображения. Метод позволят корректно продолжать контуры и границы в область восстановления но наблюдается сильная зависимость коэффициента регуляризации в модели от длины контуров в связи с чем наблюдается ограничение метода при соединении контуров в больших областях с отсутствующими пикселями. Минимизация данного функционала эквивалентна процедуре соединения уровней изображения с наименьшим среднеквадратическим отклонением. Другим недостатком присущим методу стоит отнести сглаживание контуров и яркостных переходов на изображении. Так же стоит отметить что в случае присутствия изгибов контуров на границе восстановление соединение контуров происходит не корректно. В работах [76 78] предлагается новый регуляризационный параметр в модели Total Varaton который штрафует контуры и интегральную площадь кривых вдоль контуров что позволяет корректно соединять контуры на больших расстояниях. Другим подходом реконструкции является декомпозиция изображения на линейную комбинацию текстуры и структуры изображения (геометрические контуры и объекты) с помощью морфологического компонентного анализа [78 79]. В работах [80-8] изображение представленное в виде суммы двух функций восстанавливается раздельно. Для восстановления структуры изображения используется подход на основе решения дифференциальных уравнений [76] а для текстуры используется метод синтеза текстур [83].

46 53 В работе [83] алгоритм реконструкции также использует раздельное восстановление для каждой составляющих. Отличие от предыдущего метода заключается в том что структурная часть после восстановленная с помощью дифференциальных уравнений в частных производных сегментируется на различные области. Далее каждая сегментированная часть восстанавливается отдельно методом синтеза текстур [83]. В работе [84] предлагается подход для восстановления пикселей на основе декомпозиции изображения который состоит из четырех шагов: ) Декомпозиция изображения в структурную часть и текстурную часть. Разложение изображения основывается на основе классической модели «Denosng». Данное разложение осуществляется на основе того что текстура имеет характеристики подобные шуму. ) Сегментация текстуры и классификация области с потерянными пикселями. Сегментация осуществляется с целью уменьшения области в которой определяются похожие блоки текстуры. Используется алгоритм предложенный в работе [85]. 3) Восстановление структурной части с помощью дифференциальных уравнений в частных производных. Для восстановления структурной части используется следующее дифференциальное уравнение в частных производных: Y t Y g ( Y ) Y dv. (.6) Y 4) Синтез текстуры и объединение восстановленных структуры и текстуры вместе. Для синтеза текстуры применяется алгоритм предложенный в работе [86]. К общему недостатку методов стоит отнести размытие контуров и границ а так же ограничение на тип восстанавливаемых данных в виде текстур и изогнутых контуров поэтому основное применение данных методов удаление небольших дефектов на структуре изображений. Так же стоит отметить что для выбора параметров методов и минимизируемого функционала требуется априорная информация.

47 54 Вторая группа методов реконструкции изображения использует спектральные и разряженные представления [34-53]. Следует отметить что данный класс методов имеет тенденцию к размыванию текстуры и структуры при восстановлении больших площадей недостающих пикселей. Большое количество итераций при восстановлении данными алгоритмами приводит к значительным вычислительным затратам. Стоит отметить что различные методы реконструкции имеют специфические применения связанные с ограничениями на класс модели изображений и использует определения гладкая локальная или однородная область. В случае восстановления изображений на основе ортогональных преобразований реконструируемый сигнал с отсутствующей информацией априорно ограничен по частоте то есть часть коэффициентов Фурье известны или могут быть приняты нулевым случае [87 88]. В случае разрежённости сигнала предполагается что он может быть описан достаточно точно небольшим количеством Фурье коэффициентов в смысле минимума СКО. Для нестационарных сигналов используются спектральные методы на основе дискретного косинусного преобразования и вейвлет-преобразования. К достоинствам вейвлет-преобразования следует отнести что оно использует больший объем информации об исходном двумерном сигнале наряду с яркостными и пространственными параметрами используются частотные характеристики всего изображения в целом. Использование модели изображение состоит из локальногладких областей разделенных границами накладывает ограничение на распределение границ и типов локально-гладких областей которое в большинстве случаев априорно не известно. Данная проблема решаема при адаптивном определении значимых коэффициентов по изображению при его анализе. В работе [0] предлагается метод на основе нелинейных принципов приближения и адаптивного разряженного представления сигнала. Метод позволяет адаптивно определить набор индексов спектральных коэффициентов который предсказывает отсутствующую область изображения [0]. Ортогональное преобразование для изображения запишется в виде:

48 55 D GY (.7) где D - спектральные коэффициенты G матрица ортогонального преобразования изображения. Можно записать что G=[ G Q G F ] где Q обозначает незначимые коэффициенты в преобразовании а F значимые. Далее незначимые коэффициенты приравниваются к нулю: пикселей: При этом G Q Y 0. (.8) G Q представляется в виде доступных и отсутствующих значений G Q =[ GQY Тогда условие (.8) запишется в виде: G FR ]. (.9) GQY Y GFRS 0. (.30) Решение вычисляет итерационным способом и имеет вид: ( ) () () S P D S ( P) S (.3) где P - константа D - матрица значимых коэффициентов - номер итерации. ( ) В качестве S 0 используется заполнение случайными числами. Недостатком описанного итеративного подхода является большое количество параметров а именно: количество уровней на которые разбивается область с потерянными пикселями фактор перекрытия размер блоков спектрального представления и пороговый уровень для коэффициентов. Порядок обхода вокруг области восстановления равнозначен что во многих случаях приводит некорректной реконструкции структуры и контуров в центре области. При использовании данного алгоритма так же наблюдается размытие текстуры и структуры в случае восстановления больших областей с потерянными пикселями. К значительным вычислительным затратам приводит большое количество итераций которое может достигать порядка 0 3. Метод экстраполяции значения пикселей изображений в структуре и текстуре предложен в работе [8]. Каждая из составляющих представляется в виде разряженного массива коэффициентов спектрального преобразования. Метод

49 56 проводит декомпозицию изображения на линейную комбинацию текстуры и структуры на основе морфологического компонентного анализа. В случае восстановления текстурной составляющей используется курвет-преобразование а для структурной составляющей используется дискретное косинусное преобразование. Декомпозиция изображения имеет вид суммы: Y G D G D (.3) где G матрица ортогонального преобразования изображения D матрица значимых коэффициентов s структура изображения t текстура изображения. s s Выражение для определения значимых коэффициентов запишется в виде целевой функции [8]: opt opt D D D D M Y G D G D TVG D s t s t s t argn (.33) D s G sy Rt Dt G ty Rt где M маска области с потерянными пикселями параметры метода TV total varaton R остаток. s t t t t t (.34) Недостатки данного метода частично повторяют предыдущие связанные с большим количеством параметров для выбора которых требуется априорная информация о геометрических свойствах изображения размера и формы области восстановления. При восстановлении больших областей так же наблюдается размытие структуры а большое количество итераций увеличивает вычислительные затраты. Метод реконструкции на основе дискретного преобразования Фурье предложен в работах [89 90]. Оценка двумерного сигнала представляется в виде: S GD. (.35) При восстановлении отсутствующих значений пикселей в качестве критерия используется минимизация СКО в виде:

50 57 n W Y S E (.36) где W - весовая функция. Выражение для вычисления ошибки аппроксимации на итерации имеет вид: R Y S W. (.37) Для корректировки спектральных коэффициентов используется следующее выражение: D Y S W. (.38) D W R W G G. (.39) Для следующей итерации спектральные коэффициенты вычисляются в виде рекуррентной формулы: D - D D. (.40) Экстраполяция значений пикселей осуществляется с помощью выражения: S. (.4) GD Ограничение априорной информации накладывает сложности при выборе размера блока ДПФ а так же значения порогового уровня. Визуальное качество изображения значительно ухудшается при восстановлении структуры изображения с контурами из-за их размытия. В работе [9] предлагается метод на основе сегментации исходного изображения на области поврежденных участков и полезную информацию. С помощью фильтрации удаляются поврежденные участки на основе вейвлетпреобразования и выделения локальных частотных особенностей отдельных областей на изображении с последующей пороговой обработкой вейвлеткоэффициентов. В данном подходе изображение S I J представляется в виде двух составляющих: S - множество пикселей не принадлежащих областям пятен и

51 58 R - множество пикселей принадлежащих областям пятен. Дополнительно определяется множество M индексов пикселей изображения не принадлежащих областям пятен. Для вычисления начального приближения (0) S изображения и оценки СКО (0) коэффициентов вейвлет-разложения (0) S используется пространственное усреднение. Далее после итеративно улучшается начальное приближение (0) S. К недостаткам метода стоит отнести размытие перепадов яркости на изображения из-за порогового ограничения высокочастотных вейвлеткоэффициентов. Пороговый уровень и выбор материнского вейвлета зависит от априорной информации об искажении и геометрических свойствах изображения. Для реконструкции небольших областей предлагается метод в работе [9]. На первом этапе восстанавливаются контуры и резкие перепады изображения а потом локальные области мелкозернистой структуры. Изображение разделяется на небольшие квадратные блоки размером 4 4 пикселя. Каждая из областей классифицируется в одну из трех групп которыми являются область без структуры (без перепадов яркости или текстуры) область с единственной структурой (одна граница перепада яркости или область текстуры) и область с многократными геометрическими потоками (сложная граница или контур или пересеченная текстура области). Соответственно для каждой группы восстановление происходит по своему алгоритму. Блоки отнесенные к первой группе восстанавливаются с помощью изменения градиента яркостных значений вокруг области с потерянными пикселями с помощью выражения: S l ( l Y Y ) (.4) где () - позиция отсутствующего пикселя (l) позиция смежного пикселя на области доступных значений. Вторая группа блоков восстанавливается с помощью бандлетпреобразования путем преобразования контуров и структуры в частотной области.

52 59 Для восстановления блоков изображения со сложной структурой и контурами используется анализ границы области восстановления на соотнесение границ проходящих через область с потерянными пикселями. После чего так же используется бандлет-преобразование. При восстановлении больших областей данным методом наблюдается значительное увеличение погрешности реконструкции. Так же стоит отметить что для классификации блоков на группы и использования бандлет-преобразования требуется априорная информация для выбора параметров метода. В литературе широко представлены методы восстановления двумерных сигналов на основе синтеза текстуры. В работе [93] предлагается модель текстуры на основе моделирования марковского случайного процесса а в работе [94] модель текстуры на основе похожести в масштабированном представлении изображения. Данные подходы позволяют эффективно восстанавливать текстуры в виде стохастических полей но имеют ограничения при реконструкции структуры изображения. В работе [95] предлагается метод на основе синтеза текстур случайными вставками областей текстуры из доступной области изображения. Данный метод позволяет восстанавливать структурную информацию но в ряде случаев наблюдаются граничные эффекты при стыковке контуров. Один из широко используемых методов является подход exeplar-based ethod (EBM) основанный на поиске локальных похожих областей []. Его отличие от методов синтеза текстур заключается в том что при восстановлении вычисляется приоритет для каждого пикселя границы который учитывает значимость и порядок выбора расположения области восстановления. Для каждого пикселя границы вычисляется приоритет P ( p) который состоит из двух множителей (рис..5): P( p) С( p) D( p) (.43) C( q) I q S p np C( p) D( p) (.44) p

53 60 где p текущий пиксель на границе доступных пикселей; С ( p) данные доверия; D ( p) данные градиента; p в пикселе p ; I p количество пикселей квадратного блока с центром вектор ортогональный градиенту в точке p ; n p вектор ортогональный границе S в точке p ; нормированный множитель для чернобелых изображений равен 55. На первом этапе восстановления значение данных доверия С для пикселей из области S присваивается равным а для области S ~ равным 0. S p S p S I p n p Рис..5. Построение ортогональных векторов Вычисление приоритета с помощью выражения (.43) позволяет придать больший вес пикселям находящимся на перепадах яркости (границах) таким образом восстанавливая их в первую очередь. Данные доверия С ( p) позволяют придавать меньший вес восстановленным пикселям при увеличении расстояния от доступных пикселей из области S. На следующем шаге в области доступных пикселей S определяется область q на основе поиска минимума евклидова расстояния между всеми комбинациями блоков (рис..6): ) S ~ (Ψ p Ψ q n. (.45)

54 S 6 q q S p p S S ~ Рис..6. Поиск похожих областей На следующем этапе значения пикселей из найденного блока копируются в область S ~. Данные доверия С для восстановленных пикселей присваиваются равным текущему значению C ( p). Процедура пересчета приоритета и поиска похожих областей с последующей заменой повторяется. К недостаткам данного метода следует отнести: видимость границ на восстановленном изображении между найденными похожими блоками; неправильное восстановление при отсутствии похожего блока; чувствительность к выбору размера блока. Размер блока при поиске подобия оказывает значительное влияние на эффектность реконструкции и зависит от априорной информации о размере и формы области восстановления и геометрических свойств изображения. Метод предложенный в работе [96] позволяет эффективно заполнять большие области. В методе exeplar-based ethod (EBM) при вычислении приоритета не учитывается разница между исходной областью и похожими областями. При этом в случае изогнутых границ наблюдается увеличение погрешности восстановления. В данной работе предлагается использование целевой функции Q E которая измеряет различие между областью вокруг пикселя с максимальным приоритетом и наиболее похожей областью с помощью выражения вида: Q (Ψ p Ψ q ). (.46)

55 6 С учетом данного выражение коэффициент данных доверия С ( p) имеет вид: Q С( q) C( p) E. (.47) Далее выражение для приоритета P ( p) переписывается в следующем виде: w C( p) ( w) L( p) D( ) P( p) p 0 w 0 L ( p) где w линейный фактор L ( p) - комбинаторный фактор. (.48) В работе [97] предлагается метод который позволяет восстанавливать изогнутые границы. При этом выражения для коэффициента градиента имеет вид D ( p) : I p D( p) np I p (.49) I где и - комбинаторный фактор и искривленный комбинаторный фактор соответственно. С учетом выше изложенного выражение для приоритета P ( p) имеет вид: I p P( p) w C( p) ( w) L( p) np I p 0 w 0 L ( p).(.50) I Далее находится блок q в области доступных пикселей S для которого евклидово расстояние минимально. Значения пикселей из найденного блока копируются в области S ~. Процедура пересчета приоритета и поиска похожих областей с последующей заменой повторяется для пикселей из области с отсутствующими значениями. В качестве основного недостатка стоит отметить зависимость эффективности реконструкции изображений от выбора размера блока для поиска подобия. В работе [98] предлагается модификация метода EBM. Алгоритм состоит из двух этапов. Первый заключается в сегментации исходного изображения. Второй этап заключается в поиске похожего блока на сегментированном изображении в области с однородной яркостью. p p

56 63 В таблице. представлена классификация методов реконструкции значений двумерных сигналов и необходимая априорная информация для их применения. Анализ результатов показывает что использование известных методов реконструкции статических двумерных сигналов требует априорной информации уменьшение объема которой существенно усложняет процесс обработки изображений и в ряде случаев делает обязательным визуальный контроль и использование экспертных оценок. Каждый из методов реконструкции имеет специфические применения связанные с ограничениями на класс модели изображений. Анализ классификации позволяет сделать вывод что в настоящее время перспективными являются методы которые позволяют одновременно эффективно восстанавливать структурные и текстурные характеристики двумерных сигналов. Т а б л и ц а. - Классификация методов реконструкции значений пикселей изображений. Методы и алгоритмы Методы основанные на геометрических свойствах Методы основанные на статистических свойствах Методы основанные на сходстве локальных областей Методы основанные на разреженных представлениях Методы основанные на восстановлении границ Априорная информация Выбор параметров методов и минимизируемого функционала зависит от априорной информации о размере и формы области восстановления и геометрических свойствах изображения. Выбор параметров методов зависит от априорной информации о размере и формы области восстановления. Выбор параметров методов зависит от априорной информации о размере и формы области восстановления и геометрических свойствах изображения. Размер блоков спектрального представления пороговый уровень и количество итераций зависит от априорной информации о размере и формы области восстановления и геометрических свойствах изображения. Выбор параметров методов зависит от априорной информации о размере и формы области восстановления и геометрических свойствах изображения. Методы предварительного выделения контуров оказывают большое влияние на результат восстановления изображения.

57 64.5. Методы реконструкции динамических двумерных сигналов Присутствие статических изображений в видеопоследовательностях закрывает часть полезной информации от зрителя что мешает восприятию информации. В качестве таких изображений выступают логотипы каналов станций показываемых во время трансляций дата и время на уже записанном видео или субтитры которые были наложены на фильм и далее он был закодирован. Кроме этого в цифровом телевидении отдельным классом областей мешающим просмотру видео являются искаженные блоки при передаче данных от кодера к декодеру. Задача восстановления видеопоследовательности осложняется рядом следующих причин: а) присутствие нестационарного фона: подвижными могут быть не только объекты переднего плана но так же и элементы заднего плана; б) сложность различения объектов и фона в случае медленного движения объектов переднего плана; в) непостоянство условий освещения; г) изменение положения камеры относительно сцены и сложность в предсказании движения объектов. В настоящее время большое количество исследований сделано в области реконструкции изображении и в меньшей степени для видеопоследовательностей. Единственное отличие заключается в необходимости поддерживать временную непрерывность в дополнении к пространственной. Существующие методы пространственно-временной реконструкции видеопоследовательностей можно разделить на несколько классов: ) Подходы аналогичные методам восстановления статических изображений. Основные классы: методы основанные на решении дифференциальных уравнений в частных производных (PDE); методы основанные на ортогональных преобразованиях; методы основанные на синтезе текстуры. ) Методы которые используют при восстановлении пространственновременную информацию.

58 65 3) Методы разделяющие исходный видеоряд на набор слоев (в самом простом случае фон и передний план) при этом каждый слой восстановятся индивидуально. Ранние методы реконструкции видеопоследовательностей были основаны на методах первоначально разработанных для восстановления статических изображений. В работе [77] обработка ведется кадр за кадром при этом восстановление каждого кадра проводится отдельно от остальных. Для восстановления используется метод реконструкции изображений использующий уравнения в частных производных. Метод не позволяет сохранить временную непрерывность что ограничивает его применение. Кроме того подобные методы обычно приводят к размытию границ объектов. Как правило при реконструкции движущихся объектов во времени должна учитываться не только пространственная непрерывность таких объектов но и их временная непрерывность. В связи с этим простое применение методов последовательно к каждому кадру приводит к неудовлетворительным результатам. Одной из проблем является появление так называемых "призраков" [99]. Небольшое изменение освещения или движение окружающих пикселей может привести к существенному изменению в результате восстановления. В некоторых модификациях методов реконструкции используется дополнительно временная связь при восстановлении что значительно уменьшает погрешность реконструкции. В работе [00] предлагается подход к реконструкции динамических изображений. Каждый искаженный пиксель в кадре восстанавливается путем замены пикселя с компенсацией движения предыдущего кадра или следующего кадра. На рисунке.7 показан алгоритм который поясняет работу описанного метода.

59 66 Рис..7.Восстановление пикселей с помощью копирования из соседних кадров К недостаткам данного метода следует отнести то что эффективность реконструкции зависит от параметров метода предсказания движения так как в быстро меняющейся сцене соседние кадры могут значительно отличаться. В работе [0] предложен метод восстановления поврежденных областей видеопоследовательностей с поддержанием пространственно-временной непрерывности. Эта работа расширяет метод непараметрической выборки [0]. Проблема восстановления рассматривается как глобальная задача оптимизации. Недостатком предложенного подхода является вычислительная сложность. Подход предложенный Wexler и др. [03] решает проблему реконструкции при статической камере основан на оптимизации функции энергии. Основным недостатком этого подхода является предположение о том что движение объектов периодическое а также их масштаб изменятся не значительно. В работе [04] метод непараметрического синтеза текстур обобщен на случай видеопоследовательностей который был первоначально разработан для неподвижных изображений. Используется предположение что движение объектов периодическое а также размер объектов существенно не изменится от кадра к кадру. В противном случае подход основанный на поиске похожих блоков не может быть использован. Метод позволяет получить удовлетворительные результаты но есть и ряд недостатков. В статье рассмотрен только случай низкого разрешения и восстановленные области выглядят размыто. Это связано отчасти с тем что пик-

60 67 сели синтезируются путем вычисления средневзвешенного среднего из лучших кандидатов. Кроме того камера всегда статична во всех примерах. Другой полуавтоматический способ предложен в работе [05]. Пользователь должен вручную рисовать границы различных слоев видеопоследовательности. Для реконструкции движущихся объектов используется процесс синтеза текстуры и интерполяция траектории движения объектов. Метод предложенный в [06] обладает низкой вычислительной сложностью но позволяет восстанавливать только периодические движения. Кроме того алгоритм использует статистическую модель фона что дает ограничение на минимальную длительность видеопоследовательности. Все приведенные примеры восстановления относятся либо к случаю неподвижной камеры либо плавному движению камеры. Результаты удовлетворительные хотя и заметны некоторые артефакты. Поврежденные движущиеся объекты восстанавливается путем синтеза новых неповрежденных объектов и наложения их на последовательность. Это приводит к появлению заметных артефактов движение объектов выглядит нереалистично (это связанно с использованием интерполяции траектории). В работе [07] авторы предлагают методику восстановления видеопоследовательности основанную на непараметрическом синтезе [08]. Это приводит к тому что объекты должны двигаться периодически и не могут изменяться в масштабе. Авторы используют отслеживание движения чтобы сократить пространство поиска похожих блоков. Используемый подход может использоваться только в случае неподвижной камеры а в некоторых случаях возможна потеря отслеживаемого объекта. Вероятностный метод предложен в работе [04]. В этом методе определяются "eptoes" в качестве вероятностных моделей блоков которые используются для синтеза данных в области повреждения или удаления объекта. Подход является вычислительно сложными и больше подходит для видеоряда с низким разрешением.

61 68 В работе [09] Patwardhan и др. предложили метод реконструкции видеопоследовательности на стационарном фоне при линейном перемещении объектов. Поиск похожего блока осуществляется не только на текущем кадре но и по всей видеопоследовательности. В работах [0-4] сделаны некоторые попытки использовать различные оптимизации: отслеживание объекта мозаичные изображения разделение видеопоследовательности на слои. Простым и потенциально очень эффективным способом для моделирования и автоматического анализа видеоряда является представление сцены в виде набора слоев [4]. С целью сегментации на движущиеся объекты/неподвижный фон сегментации вычисляется оптический поток к которому затем применяется пороговая обработка. Оптический поток представляет собой набор векторов перемещения для каждого пикселя в промежутки времени t и t t. Существуют быстрые методы вычисления оптического потока использующие частные производные по пространственным и временным координатам [0]. Восстановление поврежденных областей осуществляется с помощью поиска похожих блоков описанного в []. Алгоритм предложенный в работе [5] основан на модели дисперсии яркости во временной области. Этот алгоритм может применяться для обнаружения проблемных областей (ПО) присутствующих в видеозаписи достаточно длительное время. К таким областям относятся логотипы дата субтитры. Модель подразумевает что область не меняется во времени и все изменения яркости и цвета пикселей в данной области связаны только с шумом присутствующим в видеозаписи. Для обнаружения таких областей в видео с шумом целесообразно применять алгоритмы основанные на дисперсии яркости пикселя во временной области называемой временной дисперсией яркости. Основная идея предложенного алгоритма состоит в вычислении значения временной дисперсии для каждого пикселя в области предполагаемого наличия ПО. Если сопоставить дисперсию функции D зависящую от пикселя и времени в которых присутствует ПО тогда предел этой функции для «проблемных пикселей» будет равен дисперсии шума (уровню шума):

62 D 69 D ( ) Y Y (.5) гдеy яркость пикселя с координатами (xy) в момент времени Y средняя яркость пикселя с координатами ( ) для времени.. - количество кадров которое присутствует в видеопоследовательности. ( ( )) { ( ) ( ) (.5) Под шумом в формулах (.5) (.5) понимается случайные изменения яркости и цвета пикселей вызванные либо несовершенством видеоаппаратуры. Такая модель может использоваться в случае если в видеопоследовательности есть движение/изменение. В случае статичного видеоряда во времени предложенная модель (как и все другие) не даст приемлемых результатов. После окончания работы алгоритма детектирования на выходе получается маска искомого объекта. Для обнаружения проблемных областей которые присутствуют в видеоряде некоторое продолжительное время но не всю последовательность (например субтитры) также можно применять модель дисперсии яркости пикселя во временной области но с модификацией скользящего окна. Данная модель означает что ПО присутствует в динамическом двумерном сигнале какой-то интервал времени (например 3 секунды) во время которого ПО остается неизменным в случае отсутствия шума или изменяется в случае его наличия. Для заполнения проблемных областей авторами используется предположение что изображение представляет собой кусочно-гладкую функцию. На основе этого предположения проблемная область заполняется учетом гладкости функции то есть с учетом соседних пикселей экстраполируя их значения с различными весовыми коэффициентами внутрь области с помощью операции размытия. Основная идея алгоритма размытия это замена обрабатываемого пикселя на линейную комбинацию его соседей.

63 70 В случае нескольких последовательных используется информация о движении объектов на основе поля векторов движения. В данном случае удаление основывается на эффекте «наползания» части изображения на проблемную область. Данный метод не учитывает информацию о расстоянии между пикселями. Каждый пиксель в области обработки имеет одинаковый коэффициент. Данный подход дает низкую вычислительную сложность но не всегда хорошее визуальное качество. Другой метод предложенный в [3] использует информацию о расстоянии между пикселями. Каждый пиксель из области имеет свой коэффициент зависящий от его расстояния до обрабатываемого пикселя. Такой подход дает хорошее визуальное качество ценой больших вычислительных затрат. Использование информации о движении позволяет увеличить эффективность реконструкции динамических двумерных сигналов. При этом восстанавливаются области в видеопоследовательности которые перекрываются проблемной областью на основе движения соседних частей изображения на основе поля векторов движения [06-07]. Построение данного поля осуществляется для соседних к проблемной области блоков. В таблице.3 представлена классификация методов реконструкции значений пикселей динамических двумерных сигналов и требуемая априорная информация для их применения. Недостатки методов реконструкции динамических двумерных сигналов частично повторяют недостатки методов реконструкции изображений. В качестве общего недостатка стоит назвать сложность построения модели фона для разделения сцены на несколько слоев с дальнейшим восстановлении каждого слоя отдельно [09-]. Пространственно-временная информация позволяет увеличить количество не искаженных участков на кадрах видеопоследовательности но использование процедуры отслеживания траектории объектов интереса и условия статичности камеры приводят к значительным ограничениям использования таких методов на практике.

64 7 Т а б л и ц а.3 - Классификация методов реконструкции значений пикселей динамических двумерных сигналов. Методы и алгоритмы Методы которые используют при восстановлении пространственную информацию Методы которые используют при восстановлении пространственновременную информацию Методы восстанавливающие видеоряд по набору слоев Априорная информация Выбор параметров методов зависит от априорной информации о размере и формы области восстановления. Выбор параметров методов зависит от априорной информации о модели движения камеры. Выбор параметров методов зависит от априорной информации о размере и формы области восстановления и геометрических свойствах изображения..6. Выводы по главе. Анализ литературных источников показывает что в настоящее время отсутствует единый подход к построению систем восстановления изображений при эффективном восстановлении двумерного сигнала на фоне шума и сохранении перепадов яркости переходов границ и контуров объектов в условиях ограниченного объема априорной информации. При обработке известными методами наряду с подавлением шума наблюдается расфокусировка изображения что в ряде случаев значительно ухудшает визуальное качество.. Проведён анализ который позволяет сделать вывод что использование известных методов реконструкции статических и динамических двумерных сигналов требует значительной априорной информации уменьшение которой существенно усложняет процесс обработки изображений и в ряде случаев делает обязательным визуальный контроль и использование экспертных оценок. Для использования методов реконструкции значений пикселей изображений основанных на решении дифференциальных уравнений в частных производных требуется априорная информация для выбора параметров методов и минимизации функционала кроме того их использование приводит к размытию резких перепадов яркостей и контуров. Неспособность восстанавливать текстуру изображений и изогнутые контуры ограничивает область использования данных методов кото-

65 7 рые в основном применимы при удалении царапин и небольших дефектов на структуре изображений. Для использования методов основанных на ортогональных преобразованиях требуется априорная информация для выбора порогового значения ортогонального базиса и размера блоков спектрального представления. Также следует отметить что данные методы приводят к размытию текстуры и структуры при восстановлении больших областей с потерянными пикселями а большое количество итераций приводит к значительным вычислительным затратам. Применение методов основанных на синтезе текстур требует априорной информации о размере и форме области восстановления и геометрических свойствах изображения для выбора параметров методов. 3. Проведённый анализ методов реконструкции динамических двумерных сигналов показывает что недостатки данных методов частично повторяют недостатки методов реконструкции изображений. В качестве общего недостатка стоит назвать сложность построения модели фона для разделения сцены на несколько слоев с дальнейшим восстановлении каждого слоя отдельно. Пространственновременная информация позволяет увеличить количество неискаженных участков на кадрах видеопоследовательности но использование процедуры отслеживания траектории объектов интереса и условие статичности камеры приводят к значительным ограничениям использования таких методов на практике. 4. Показано что необходим системный подход к решению задачи реконструкции двумерных сигналов включающий информацию о вычислительных затратах и погрешности восстановления. В результате проведенного анализа сформулирован предмет научных исследований диссертации методы повышения эффективности восстановления двумерных сигналов применительно к задачам пространственно-временной реконструкции изображений передаваемых по каналам связи в радиотехнических системах обработки и анализа изображений.. Сформулирована цель диссертационного исследования повышение точности пространственно-временной реконструкции изображений в радиотехнических системах обработки и анализа изображений и современных системах телевидения.

66 73 Для достижения поставленной цели необходимо решить следующие основные задачи:. Систематизация основных методов анализа статических и динамических двумерных сигналов развитие методологии их анализа посредством разработки новых подходов первичной обработки изображений.. Разработка моделей двумерных сигналов на основе геометрического представления с контурным и текстурным анализом применительно к задачам пространственно-временной реконструкции изображений. 3. Разработка и исследование методов и алгоритмов фильтрации изображений на основе адаптивной локальной аппроксимации. 4. Разработка и исследование методов и алгоритмов восстановления двумерных сигналов на основе геометрической модели с контурным и текстурным анализом применительно к задачам пространственной реконструкции изображений. 5. Разработка и исследование метода и алгоритма восстановления двумерных сигналов на основе геометрической модели с контурным и текстурным анализом применительно к задачам пространственно-временной реконструкции изображений. 6. Разработка и исследование системного критерия оценки качества обработки двумерных сигналов применительно к задачам пространственно-временной реконструкции изображений. 7. Разработка методики оценки качества обработки двумерных сигналов применительно к задаче пространственно-временной реконструкции изображений на основе машинного обучения. 8. Анализ эффективности методов восстановления двумерных сигналов применительно к задачам пространственно-временной реконструкции изображений на различных моделях сигналов и сравнение их с известными. 9. Разработка методик практического использования разработанных методов и алгоритмов при решении прикладных задач в различных областях использования.

67 74 ГЛАВА. РАЗРАБОТКА МЕТОДОВ ВОССТАНОВЛЕНИЯ ДВУМЕРНЫХ СИГНАЛОВ НА ОСНОВЕ ГЕОМЕТРИЧЕСКОЙ МОДЕЛИ С КОНТУРНЫМ И ТЕКСТУРНЫМ АНАЛИЗОМ В процессе передачи и преобразования в радиотехнических системах двумерные сигналы которыми описываются изображения подвергаются воздействию различных помех что приводит к потере участков изображений и ухудшению визуального качества. С широким внедрением цифровых систем связи увеличивается актуальность решения задач восстановления ослабления аддитивных шумов и реконструкции многомерных сигналов полученных с помощью фото- и видеокамер и передаваемых по каналам связи... Математическая модель двумерных сигналов на основе геометрического представления с контурным и текстурным анализом Изображение представляет собой двумерную функцию пространственных координат скорость изменения которой намного меньше чем скорость изменения пространственного процесса помехи. Для изображений "локально гладким" принимается сигнал который описывается кусочно-постоянной моделью в виде изображения с пятнами деталями имеющими постоянное значение сигнала в пределах области [ ]. Предлагается обобщенная упрощенная математическая модель статического изображения при решении задачи восстановления изображений которая может быть описана нестационарным случайным процессом который представляет собой аддитивную смесь шума и неискаженного изображения умноженную на двоичную переключающую функцию описывающая наличие искаженных значений (отсутствующих значений) [6-8]: Y ( M ) S M R I J (.)

68 75 где Y исходное изображение S оригинальное (неискаженное) изображение - аддитивная шумовая составляющая M бинарная маска области с искаженными значениями то есть реализация двоичной переключательной случайной функции принимающей с вероятностью значение M и с вероятностью ( РM ) значение M 0 Р M ; Р M вероятность появления искаженных значений Р M ( соответствует искаженным пикселям 0 соответствует не искаженным пикселям) R искаженные (отсутствующие) значения пикселей. При решении задач сглаживания изображений с целью ослабления действующих аддитивных помех рассматривается модель изображения в которой M 0 которая представляет собой двумерную дискретную последовательность I J вида [9 0]: Y K I J K (.) Y S где S неискаженное изображение - аддитивная шумовая составляющая N - количество строк M - количество столбцов двумерного массива изображения K - количество кадров двумерного массива динамического изображения. Цветное изображение Y I J представляет собой совокупность R G B трех восьмибитных двумерных дискретных последовательностей []. В случае динамического изображения рассматривается модель которая представляет собой двумерную последовательность вида ( t) Y I J t T где T - количество кадров динамического изображения. При решении задачи восстановления изображений используются следующие типы статистических моделей: изображение представлено значениями пикселей которые изменяются гладко [4] изображение состоит из локально гладких областей разделенных границами [3 35] и более обобщенная

69 76 модель изображение состоит из локальных однородных областей разделенных границами [ 3]. Текстурные и структурные области которые присутствуют на изображении имеют различную пространственную конфигурацию. Соответственно в общем случае изображение по геометрическим свойствам можно разделить на области текстура и структура (контуры) [-3]. При этом будем считать что границы являются гладкими в том смысле что могут быть достаточно точно аппроксимированы многочленами невысоких порядков. Таким образом область с искаженным значениями пикселей может быть окружена одной или несколькими областями разделенными границами. При этом граница не обязательно представлена разрывом яркости а может быть разделом нескольких текстур с близкими статистическими моментами низкого порядка но разными ориентациями. На рисунке. представлена модель изображения в которой область изображения Y схематично представлена в виде трех подобластей разные типы текстуры границы первой области изображения с текстурой 3 4 границы второй области изображения с текстурой область R с искаженными значениями пикселей пересекает границы 3 и 4. В более общем виде фрагменты контуров можно записать в виде фрагментов контуров l l L где L - количество параметрически заданная функция на отрезке. l Рис... Модель изображения

70 77 Понятие текстура является важным пространственным признаком описывающим распределение цветов или интенсивности яркости в теории обработки двумерных сигналов. Под текстурой понимаются повторяющиеся изменения тона (цвета) на изображении [0]. Текстура представляется упорядоченным изменением тона геометрическими или стохастическими рисунками. Последним типом текстуры как правило описываются естественные объекты природы. В настоящее время отсутствует универсальный способ синтеза текстур с произвольно заданными характеристиками. Кроме того отсутствует универсальная модель описания реальных изображений и текстур в связи с чем известные модели соответствуют реальным изображениям только по ограниченному числу параметров (корреляционная функция гистограмма и т.п.). Модель текстуры используется для приближенного описания изображений и при синтезе различных процедур реконструкции. Для математического описания текстур используются два основных подхода структурный и статистический [ 0]. Первый подход описывает базовые области текстур и пространственные связи между ними что хорошо подходит для описания искусственных и регулярных текстур. Во-втором подходе в качестве описания текстуры используется количественное и статистическое распределение значений интенсивности пикселей в области изображения. Такой подход более подходит для описания реальных текстур. Формирование стохастических текстурных полей близких к естественным представляет сложную в вычислительном отношении процедуру. Для синтеза текстур предпочтительными считаются авторегрессионная модель (АР) и модели с использованием методов линейного программирования. Синтез осуществляется с использованием статистических характеристик текстур-прототипов: плотности вероятности и автокорреляционной функции. Так же основой для описания текстуры могут быть гауссовы или гаусс-марковские поля [0 4]. В практике математического моделирования наиболее часто возникает необходимость в моделировании случайных полей с равномерным релеевским нормальным

71 78 логарифмически нормальным односторонним экспоненциальным и пуассоновским законами распределения. Аппроксимирующие выражения для корреляционных функций (КФ) могут быть выбраны по-разному в качестве основных используют разделимую экспоненциальную функцию экспоненциальную функцию с круговой симметрией гауссоидальную функцию [5]. При этом математическое описание должно удовлетворять общим свойствам корреляционной функции и отображать характерные свойства реальных полей. Для моделирования изображений широкое распространение получил математический аппарат разработанный на основе авторегрессионных моделей случайных полей (АР-модели СП) [5-8]. В работе показано [8] что если в окне W P P задано произвольное множество положительно определенных вещественных ковариаций r то существует единственная АР-модель случайной последовательности n имеющей точно такие же ковариации: Y P a Y M 0 M l Y l. (.3) Решение линейной теплицевой системы уравнений позволяет определить параметры a... P; модели: P r a r P. (.4) 0 0 Данное утверждение позволяет вычислить коэффициенты АР-модели на основе ковариацию реального сигнала экспериментальным путем полученной в окне W. При этом для марковских последовательностей временной интервал может быть разбит любой точкой на условно не зависимые прошлое D Y и будущее D Y [7]. Области D D и D можно условно считать прошлым настоящим и будущим соответственно при этом D перемещается по. Пусть Y y двумерное изображение этом случае D можно рассматривать как одну строку

72 79 изображения. С целью развертки значений двумерного случайного поля в случайную последовательность выбирается порядок обхода и упорядочивания узлов сетки для двумерного случая применяется пилообразная и треугольная развертки [6-9]. D Рассмотрим ограниченную область глобальных состояний :( ) ( ) ( ) которая при развертке включает в себя несколько последних строк двумерного сигнала. Выражение для описания АР-модели СП можно записать в виде функции элементов области глобальных состояний и возмущения [7]: Y f x : D ; ). (.5) ( Стоит отметить что модель (.5) очень трудоемка и на практике практически не используется. Для снижения объема вычислений при имитации СП поле Y определяется только на некоторой части L ) : D ( называемой областью локальных состояний [7] и включающей близкие к Y элементы этом случае Y может быть представлено АР-моделью в виде: Линейная гауссовская АР-модель имеет вид [5]: Y D в f ( Y : L ; ) (.6) Y a Y (.7) L где a весовые коэффициенты; независимых стандартных гауссовских СВ. L область локальных состояний; система Векторная АР-модель СП запишется в следующем виде: Y A Y (.8) D где Y значение векторного поля в узле ; коэффициент усиления в передаточной функции A весовые коэффициенты (... n) (... n) (... n n ) :

73 80 стандартное гауссовское поле векторов с независимыми компонентами. В [8] показано что любая модель (.7) может быть приведена к форме (.8) содержащей минимально возможное число слагаемых. Изменением параметра возможно регулировать связь между элементами двумерного случайного поля увеличения которого приводит к формированию более крупных деталей на моделируемом изображении. Одним из простейших вариантов построения модели текстур является «трёхточечная» АР модель (модель Хабиби) которая является частным случаем -мерной модели (.8) кратности () причем значение параметра задает коэффициент корреляции соседних элементов [5]: Y x Y y Y x y Y ( x ) ( y) (.9) при этом первый элемент поля формируется как Y ; первый столбец Y ˆ x Y ˆ x ˆ ; первая строка Y ˆ y Y ˆ y ˆ. Формируемое случайное поле имеет экспоненциальную КФ которая может быть записана в виде: K x y x y ( ). (.0) x y Y Для двумерной модели кратности () КФ записывается виде [5]: y ( ) x x y K x y Y x y x y. (.) x y Изменение параметров связи и соотношения кратностей позволяет получить различные классы текстур на основе которых возможно построение сложных моделей реальных изображений.

74 8 Оценка вычислительной сложности модели для получения реализации двумерного случайного поля определенного на сетке размером M M... MN элементов требует O операций умножения: O ( n ) M ) (.) ( Генерирование однородных нормальных случайных полей как и стационарных нормальных случайных процессов наиболее просто производится методом формирующего фильтра [9]. Для моделирования тестовых текстур выберем три подкласса со следующими типовыми корреляционными функциями.. Разделимая экспоненциальная корреляционная функция: x x y y K( x y) e. (.3). Экспоненциальная корреляционная функция с эллиптической симметрией: ( K x y) e 3. Гауссоидальная корреляционная функция: 3 ( x x y y K x y) e. x x y y. (.4) (.5) В выражениях.3-.5 x и y - параметры корреляционных функций. На рисунке. представлен пример синтеза текстур с заданными корреляционными функциями (a разделимая экспоненциальная корреляционная функция б экспоненциальная корреляционная функция с эллиптической симметрией в гауссоидальная корреляционная функция). Фрагменты реальных изображений обладают различными статистическими свойствами поэтому модели которые учитывают только ближайшие связи элементов не могут достаточно полно описать свойства реальных изображений. Одним из примеров который достаточно трудно формализовать при описании являются контуры и границы областей. В работах [5-8] предложена модель

75 8 которая представляет изображение в виде суммы двух независимых компонент кусочно-гладкой (контурной) пространственной компоненты определяющей глобальные яркостные изменения и высокочастотной компоненты задающей текстуру шум мелкие детали. а) б) в) Рис... Текстуры с заданными корреляционными функциями К достоинствам данной модели стоит отнести хорошее соответствие реальным изображениям и широкий диапазон практических применений. К недостаткам сложность решения задачи синтеза изображений по заданным параметрам. Предложенная в работе [8] модель не является универсальной для описания неоднородными СП. Очевидно для описания реальных изображений требуются специальные характеристики и соответственно новые способы формирования СП. При решении задачи реконструкции изображений предлагается применение модели для неоднородных СП при этом принимается что практически любое неоднородное СП можно разбить на однородные фрагменты. Как показал анализ для описания однородных моделей СП эффективны АР модели случайных полей. Предлагается в качестве модели рассматривать кластерное представление изображения которое состоит из текстур разделенных контурами в виде границ. Для описания участков контуров предлагается использовать построение составной кривой используя условие геометрической непрерывности [30].

76 83 Параметрическая непрерывность задается согласованием производных соединяющихся участков кривых по параметрам в их общей границе. Непрерывность нулевого порядка по параметру 0 С означает что кривые пересекаются в общей точке. Значения x и y вычисленные в точке t совпадают со значениями x и y вычисленными в точке t для первого и второго участка кривой соответственно. Непрерывность первого порядка по параметру С означает что первые производные по параметру (касательные) координатных функций двух последовательных участков кривой равны в точках из соединения. Непрерывность второго порядка по параметру или С означает что первая и вторая производные по параметру двух кривых равны в точке пересечения. Непрерывность более высоких порядков вычисляется таким же образом. На рисунке.5 приведен примерный вид кусочно-гладкого построения кривой (t) путем соединения -х сегментов с использованием непрерывности разного порядка: а) непрерывность нулевого порядка; б) непрерывность -го порядка; в) непрерывность -го порядка. При непрерывности -го порядка по параметру скорости изменения касательных векторов двух соединяющихся участков должны быть равны в общей точке при этом касательная одной кривой плавно переходит в касательную второй кривой (рис..3в). При непрерывности -го порядка скорость изменения касательных векторов участков кривых может сильно различаться (рис..3б) [30]. При соединении двух участков кривых с условием геометрической непрерывности предъявляется требование чтобы производные по параметрам двух участков были пропорциональны друг другу в точке пересечения кривых [5].

77 84 а) б) в) Рис..3. Пример кусочно-гладкого построения кривой путем соединения -х сегментов Геометрическая непрерывность первого порядка 0 G совпадает с непрерывностью нулевого порядка соответственно участки кривой должны одинаковые координаты точке пересечения. При геометрической непрерывности первого порядка G первые производные по параметрам пропорциональны в точке пересечения двух участков кривой. При непрерывности G участки кривой в общей точке будут иметь равное направление касательных векторов (t) (сонаправленность) но их модули (длины) могут различаться. При условии геометрической непрерывности второго порядка G первая и вторая параметрические производные двух участков кривой пропорциональны на границе [30] а в точке соединения кривизны участков кривой равны. Кривая полученная с помощью условия геометрической непрерывности имеет определенные отличия в форме в сравнении с условием параметрической непрерывности. На рисунках.4 а и б представлено визуальное сравнение кривых полученных с условием параметрической и геометрической непрерывности. C3 С P С C P a) б) Рис..4. Сравнение условий параметрической и геометрической непрерывности

78 Построение составной кривой. 85. Вещественная функция заданная на интервале ( а b) называется гладкой функцией класса n C ( N) n или n -гладкой на интервале ( а b) если эта функция имеет на интервале ( а b) непрерывные производные всех порядков до n включительно. Вещественная функция заданная на отрезке а b называется гладкой функцией класса n C или n -гладкой на отрезке а b если она имеет на интервале ( а b) непрерывные производные всех порядков до n включительно (то есть является n -гладкой на интервале ( а b) ) а в точках t a t b непрерывные односторонние производные тех же порядков ( правосторонние в точке левосторонние в точке t b). t a и Векторная функция r r(t) называется n -гладкой на интервале ( а b) если ее координатные функции являются n -гладкими на этом интервале. Аналогично тому как определяется n -гладкая функция на отрезке а b определяется и n - гладкая функция (векторная функция) на промежутках ( аb и а b).. На практике возникает необходимость построения по конечному набору точек заданных на плоскости (или в пространстве) хорошо приближающей его кривой. Данную задачу можно решить используя естественные геометрические соображения и кубические сплайны [33]. В построении составной регулярной кривой важную роль играет условие сопряжения в точках контакта слагающих ее регулярных кривых. Пусть и -регулярные кривые заданные параметрическими уравнениями r ( t) соответственно и имеющие общую точку: r 0 t r ) (0). (.6) ( r Для того чтобы составная кривая также была -регулярной кривой необходимо совпадение в общей точке единичных касательных векторов: r () r() r (0) (.7) r(0)

79 и векторов кривизны: сопрягаемых кривых и. r() 4 86 ( r() r ()) r() ( r (0) r (0)) r (0) 4 r(0) (.8) Замечание. Символом a b обозначается векторное произведение векторов a и b. Можно показать что если радиусы-векторы кривых связаны условиями геометрической непрерывности Замечание. О геометрической непрерывности. Чтобы получить гладкие переходы между соединяемыми участками кусочно-гладкой кривой необходимо использовать различные условия непрерывности в точке соединения. Пусть участок кривой описывается набором параметрических координатных функций вида: x x( t) y y( t) t t t (.9) Тогда соединение -х кривых в точке P : а) с условием параметрической непрерывности; б) с условием геометрической непрерывности где касательный вектор кривой С 3 в точке P имеет большую длину чем касательный вектор кривой С в точке P. где >0 (.0) выполнены. r r r (0) r () ' '' ' '' (0) r (0) r () (.0) ' () r () 0 некоторые числовые параметры то все требования (.6) Рассмотрим набор из точек V 0 V... V V заданных своими радиусвекторами (рис..5).

80 87 V V V 0 V... V V V V O Рис..5. Построение контрольной ломаной При построении составной кривой важную роль играет контрольная ломаная которая последовательно соединяет все точки кривой. Составную - регулярную кривую возможно определить при помощи частичных кривых описываемых уравнениями вида [33]: b r ( t) b ( t) V 0 t (.) 3 ( t) C ( 0 ) t ( 0 ) (.) где b (t) не зависящие от весовые функциональные коэффициенты. Параметрические полиномиальные кривые (мотивировки). Параметрическими полиномиальными кривыми называют кривые заданные в параметрической форме у которых все весовые функциональные коэффициенты имеют вид полиномов (степени n ). При использовании кубических полиномов ( n 3) по заданному массиву точек V 0 V V V3 (или их радиус-векторов) элементарная кубическая сплайновая кривая определяется с помощью векторного уравнения имеющего следующий вид: 3 r( t ) b ( t) 0 t (.3) 0 V

81 88 где 3 b ( t) C t кубические полиномы. 0 Кривую можно определить на любом интервале изменения параметра t t но не теряя общности рассуждений можно считать что 0 t n t ax поскольку линейная функция преобразующая отрезок увеличит степени полиномов b (t). n t ax t в отрезок 0 не Матричная запись параметрических уравнений которые описывают кубическую кривую имеет вид [3435]: r ( t) VBT 0 t (.4) где r x( t) ( t) y( t) ; x0 x x x3 V ( V0 V V V3 ) ; y0 y yy3 C00C0C0C30 C0CCC3 t B матрица коэффициентов полиномов b C 0CCC (t) ( 03 ) T. 3 t C03C3C3C 3 33 t О достоинствах полиномиальной параметрической формы представления. Основные доводы в пользу использования данной формы следующие: ) возможность локального контроля формы объекта; ) непрерывность и гладкость в математическом смысле; 3) возможность аналитического вычисления производных (необходимость этого возникает из-за требований гладкости в точках соединения); 4) устойчивость к малым возмущениям. Процесс формирования кривой желательно организовать таким образом что бы каждый сегмент строился индивидуально а не строить все сегменты единой глобальной вычислительной процедурой. Причина по которой такая организация предпочтительнее заключается в том что в таком режиме пользователю гораздо удобнее подбирать форму кривой на отдельных участках исходя из особенностей поставленной задачи. Внесение небольших изменений в спецификацию кривой приводит только к локальным изменениям её формы на том участке с которым в текущей момент

82 89 работает пользователь и мало влияет на остальные участки. Такой способ реализует устойчивую стратегию конструирования которая неформально может быть охарактеризована следующим образом: малые вариации исходных параметров на входе должны приводить к малым вариациям результата на выходе [36]. О выборе степени полинома параметрически заданных кривых. Выбор степени полинома полиномиальных кривых играет важную роль для описания формы кривой. Использование полинома высокой степени приводит к росту числа степеней свободы но процесс расчета координат точек на кривой потребует большего количества вычислений. Так же стоит отметить что использование полиномов высокой степени увеличивает вероятность получить кривую «волнистой» формы из-за наличия большого числа точек экстремума у такого полинома. Полином низкой степени может привести к тому что малое число регулируемых параметров-коэффициентов полинома не позволит варьировать параметры кривой в широком диапазоне и получить форму кривой с требуемой точностью. Разбиение кривой на сегменты небольшой длины и описание полиномом низкой степени позволит избежать такой проблемы как при описании единым полиномом. Хотя такой полином и обладает малым количеством степеней свободы на их вполне достаточно чтобы воспроизвести форму кривой на отрезке небольшой длины. Выбор же между квадратичным и кубическим полиномами решается в пользу последнего в силу во-первых большего числа коэффициентов (степеней свободы) и во вторых потому что у кубической кривой (в отличии от квадратичной) имеется точка перегиба (т.е. кривая изменяет направление выпуклости) а значит аппроксимационные возможности такой кривой существенно выше (рисунок.6).

83 90 а) б) в) г) Рис..6. Примеры аппроксимации сплайнами различной степени а) б) форма кубической кривой вблизи точки перегиба; в) г) форма квадратичной кривой.. Разработка метода восстановления двумерных сигналов на основе адаптивной локальной аппроксимации В процессе передачи и преобразования в радиотехнических системах двумерные сигналы которыми описываются изображения подвергаются воздействию различных помех что приводит к потере участков изображений и ухудшению визуального качества. Эффективность использования существующих методов фильтрации зашумлённого двумерного сигнала зависит от выбранной математической модели изображения и шума. В качестве основных математических моделей взаимодействия полезного сигнала и шума можно выделить на три группы: аддитивные мультипликативные и смешанные или комбинированные [-5]. Аддитивный шум с гауссовской плотностью распределения нулевым математическим ожиданием и постоянной дисперсией является одной из основных моделей шумов. Данная модель шума используется в электронных цепях при описании теплового шума сенсоров из-за недостатка освещения или высокой температуры.

84 9 В первой главе рассматривается методология восстановления двумерных сигналов при этом выделение полезного двумерного сигнала (сглаживание) предшествует экстраполяции утраченных и искаженных значений пикселей изображений []. Под сглаживанием изображений понимается уменьшение дисперсии помех связанных с несовершенством системы формирования изображения и передачи его по каналам связи. Понятие сглаживание связано с понятие "идеально гладкий" сигнал []. Изображение описывается двумерной функцией пространственных координат скорость изменения которой намного меньше чем скорость изменения пространственного процесса помехи. Для изображений "идеально гладкий" сигнал связан с представлением в виде кусочно-постоянной модели для которой изображение имеет постоянное значение сигнала в пределах некоторой области []. Обобщенная упрощенная математическая модель статического изображения при решении задачи восстановления изображений может быть представлена в виде (.). Для получения оценки изображения на фоне помех рассматривается модель вида (.). В работах [37-39] для сглаживания шумовой составляющей одномерных сигналов используется метод размножения оценок который является эффективным методом обработки в условиях априорной неопределенности. Метод позволяет увеличивать «размножать» оценки полезной составляющей путем многократного разбиения исходной реализации на интервалы случайной длины и оценивании на них полезной составляющей с помощью аппроксимации (линейной или квадратичной функцией) методом наименьших квадратов с последующим усреднением в каждый момент времени. В работе [40] метод размножения оценок обобщен на случай двумерных сигналов путем раздельной обработки каждой из строк и столбцов изображения с последующим усреднением полученных оценок. Использование раздельной обработки приводит к появлению артефактов на изображении из-за нарушения

85 9 корреляционных связей между пикселями изображения ухудшающих визуальное качество (ложные линии в виде сетки). В работе [4] с целью сохранения корреляционных связей между пикселями при обработке изображений предлагается двумерный метод на основе метода размножения оценок. Двумерный метод размножения оценок основан на случайном разбиении исходного изображения на прямоугольные области при этом оценка в каждой области определяется с помощью аппроксимации поверхностью первого порядка двумерным методом наименьших квадратов [4-44]. Реализация предложенного двумерного метода размножения оценок возможна как в аппаратном так и в программном исполнении [45-54]. Сложность обработки реальных изображений связана с наличием у двумерных сигналов локальных областей в виде границ перепадов яркости переходов между различными типами текстур. Различные геометрические особенности на изображении приводят к ограничению при обработке линейными алгоритмами фильтрации так как наряду с подавлением шума наблюдается значительная расфокусировка изображения что приводит к ухудшению визуального качества []. В работах [55-57] предлагается метод адаптивной локальной аппроксимации (или адаптивный двумерный метод размножения оценок) основанный на адаптации границ области фильтрации к изменениям значений градаций яркости изображения и вычисления оценок с помощью аппроксимации поверхностью методом наименьших квадратов [58]. Для адаптации границ области фильтрации к изменениям значений градаций яркости изображения для каждого значения пикселя рассматриваются восемь направлений h 8 (рис..9) в которых определяются интервалы квазистационарности сигнала [59]. Для проверки условия квазистационарности используется вычисление случайной величины равной сумме числа инверсий значений пикселей в каждом из восьми направлений двумерного сигнала I J [60]. Y

86 Рис..7. Направления для определения интервалов квазистационарности на изображении Например сумма числа инверсий для направления 5 равна: d d d u( Y l Y ) d R l0 l ( Y l Y ) 0 Y l Y l Y. ; (.5) Y u (.6) где const const ; Y текущее значение пикселя изображения с координатами (); l... d последующие значения пикселей Y l изображения по -ому столбцу (движение в направлении 5) максимальная длина интервала квазистационарности. Количество сочетаний вычисления суммы инверсий составляет: d R R d ( d ) X. (.7) Проверка на присутствие не стационарности (убывающий сигнал) проводится с помощью условия [6]: d c X X 05. (.8)

87 вид [60]: 94 Для принятия второй альтернативы (возрастающий сигнал) условие имеет c d X X 05. (.9) Соответственно гипотеза о стационарности сигнала принимается при условии c d c где α - априорно задаваемое значение ошибки первого рода. Для каждого из восьми секторов образованных направлениями формируются область квазистационарности [40 44] граница которой которая формируется линейной интерполяцией границ смежных интервалов уравнением прямой проходящей через две точки: (.30) где ) - координаты границы направления h ) - координаты границы ( направления h+. ( На рисунке.9 представлен фрагмент изображения с резкими перепадами яркости на котором для центрального пикселя определяются восемь направлений. На рисунках.8 абв изображен фрагмент изображения с секторами образованными - и -3 направлениями. Для направлений h 8 (рис..8) на изображении для одномерных реализаций полученных из значений пикселей по вертикальным и диагональным направлениям от центрального пикселя исходного изображения определяются интервалы квазистационарности с помощью метода инверсий. Данные границы позволяют получить интервалы с монотонным изменением яркости сигнала. На рисунках.8 гд представлены области квазистационарности для секторов образованных - и -3 направлениями которые формируются из значений пикселей попавших между направлениями и интерполирующими прямыми проходящими через границы интервалов квазистационарности. Далее все восемь полученных секторов объединяются в одну область (рис..8е). Таким образом для каждого пикселя формируется окрестность пикселей близких по значению яркости.

88 а) б) в) г) д) е) Рис..8. Фрагмент изображения с секторами образованными --3 направлениями Значения пикселей из области каждого из секторов объединяются в одну область и аппроксимируются поверхностью. Постановка задачи аппроксимации двумерной функции для значений координат двумерного сигнала ( )( )...( n n) из области сводится к следующей. По известным значениям двумерной функции функцию ~ S Y требуется найти на локальной области координат )( )...( n ) ( n которая наилучшим образом приближает значения Y. Существует два метода представления квадратичных поверхностей - алгебраический (включающий параметрические представления) уравнением вида z f ( x y) и геометрический уравнением вида F ( x y z) 0. Геометрические описания обычно применяются для естественных квадратичных поверхностей.

89 96 Приближающую функцию можно записать в виде многочлена степени в общем виде: ˆ ~ C C C S. (.3) Таким образом требуется найти набор параметров C 0 0 C 0 ˆ C приближающих функцию к минимуму n ) ~ (( R Y S. С этой целью дифференцируем данное выражение отдельно по каждому из параметров C 0 C 0 ˆ 0 C : ) ) ~ (( ( R C S Y ) ) ~ (( ( R C S Y R C S Y ˆ ) ) ~ (( (. (.3) Приравнивая данные выражения к нулю получаем систему уравнений: 0. ) ) ~ (( (... 0 ) ) ~ (( ( 0 ) ) ~ (( ( 0 R R R C S Y C S Y C S Y (.33) Подставим выражение (.33) в данную систему:

90 97 0. ) )) ˆ ( (( (... 0 ) )) ˆ ( (( ( 0 ) )) ˆ ( (( ( R R R C C C C Y C C C C Y C C C C Y (.34) 0 ) ( )) ˆ ( ( ) )) ˆ ( (( ( R R C C C C C C C C C Y C C C C Y (.35) C C 0. Перепишем выражение (.35) в виде: 0 ) ( )) ˆ ( ( R C C C Y. (.36) Так как: (.37) Приходим в итоге к следующему выражению: 0 )) ˆ ( ( R C C C Y (.38)

91 98 где.. 0. Распишем систему в явном виде: 0; )) ˆ ( (... 0; )) ˆ ( ( 0; )) ˆ ( ( R R R C C C Y C C C Y C C C Y (.39) 0. )) ˆ ( (... 0; )) ˆ ( ( 0; )) ˆ ( ( R R R C C C Y C C C Y C C C Y (.40) Преобразуем данное выражение в виде: ) ˆ (... ; ) ˆ ( ; ) ˆ ( R R R R R R Y C C C Y C C C Y C C C (.4) Раскроем сумму по для первого уравнения системы:

92 99 )). ˆ... ˆ ˆ ( )... ( )... (( )) ˆ... ˆ ˆ ( )... ( )... (( ) ˆ ( R R R C C C C C C C C C C C C C C C C C C C C C (.4) Раскроем сумму по для второго уравнения системы: )). ˆ... ˆ ˆ ( )... ( )... (( ) ˆ ( R R C C C C C C C C C C C C (.43) Раскроем сумму по для -ого уравнения системы: )). ˆ... ˆ ˆ ( )... ( )... (( ) ˆ ( R R C C C C C C C C C C C C (.44) Введем обозначения:. ) ( ˆ ˆ ˆ C C C x Z C C C x Z C C C Z y (.45) Тогда:

93 00. )... (... ; )... ( ; )... ( R R R R R R y Y x Z x Z x Z y Y x Z x Z x Z Y x Z x Z Z (.46) Запишем в систему уравнений в виде матрицы:. 0 R R R R R R R R R R R R y Y y Y Y Z Z Z x x x x x x x x (.47) Систему уравнений запишем в матричном виде: Y Z x где R R R R R R R R R x x x x x x x x x Z Z Z 0 Z R R R y Y y Y Y Y. Решаем систему матричным методом и находим вектор Z который состоит из коэффициентов Z Z Z 0 :

94 0 0 R R R R R R R R R R R R y Y y Y Y x x x x x x x x Z Z Z Y x Z. (.48) При аппроксимации в пространстве используются: алгебраические поверхности первого порядка описываемые алгебраическим уравнением первой степени с тремя неизвестными: C B A S ~ (.49) алгебраические поверхности второго порядка описываемые алгебраическим уравнением второй степени с шестью неизвестными коэффициентами: F E D C B A S ~. (.50) При аппроксимации поверхностью первого порядка значения коэффициентов A B и C определяются с помощью двумерного метода наименьших квадратов для нахождения которых минимизируется целевая функция вида: n ) ~ (( R Y S (.5) n ) (( R C B A Y (.5) 0 R R (.53) где R R значения бинарной маски [57]. Дифференцируя выражение (.5) по A B и C и приравнивания к нулю получаем систему линейных уравнений:

95 0 ; 0. ) ( 0 ) ( 0; ) ( С C B A Y B C B A Y A C B A Y R R R (.54) Решением системы (.54) является: ; ) ( ) ( ) ) ( ( ( D Y Y Y A R R R R R R R R R R R R (.55) ; )) ( ) ( ( ) ) ( ( D Y Y Y B R R R R R R R R R R R R (.56) ; )) ) ( ( ) ( ( ) ( D Y Y Y C R R R R R R R R R R R R R R (.57) ) ( ) ( ) ) ( ( R R R R R R R R R D. (.58) Процедура получения области и вычисление оценки S ~ повторяется для каждого значения пикселя Y J I при этом формируется весовая функция W J I значения которой равны количеству размноженных оценок для каждого пикселя. Результирующая оценка изображения S определяется как среднее арифметическое размноженных адаптивных оценок:

96 03 S K S ~ I J. (.59) W Алгоритм адаптивной локальной аппроксимации представлен в виде блоксхемы (рис..9) и реализован в виде компьютерной программы. Принцип работы алгоритма заключается в следующем: записываются значения входного изображения Y I J ; задаются параметров метода: значения вероятности ошибки первого рода и максимальной длины интервала квазистационарности R ; d вычисляется случайная величина d d u( Y d R Y ) пороговых значений c X X 0 5 и c X X 0 5; и два проверяется гипотеза о стационарности сигнала c d c при выполнении условия происходит формирование бинарной маски R R ; вычисляется оценка S ~ за счет аппроксимации значений Y ~ поверхностью первого порядка вида S ( A B C) где R R и вычисляется весовая функция W N M ; данной процедуры повторяется для всех значений пикселей исходного изображения Y N M в результате чего получается набор оценок S ; вычисляется результирующая оценка S как взвешенная сумма ~ размноженных адаптивных оценок S K S ~ где N M W.

97 04 начало Входное изображение Y = N = M Параметры алгоритма R N M h 8 d R Вычисление c d c Да Проверка на стационарность c d c Нет Формирование массива маски Вычисление оценки и веса S ~ t W Результирующая оценка K S t ~ S t W конец Рис..9. Блок-схема алгоритма адаптивной локальной аппроксимации На основе предложенного метода обработки статических сигналов разработано устройство для обработки изображений на основе двумерного способа размножения оценок (патент РФ 40630) принцип работы которого описан в приложении A.

98 05 В работах [6-68] предложены подходы обнаружения аномальных значений на основе метода адаптивной локальной аппроксимации которые позволяют повысить эффективность обработки изображений в случае присутствия импульсного шума. При обработке динамических двумерных сигналов используется два подхода [69]. Первый из них основан на использовании корреляционной связи между кадрами. Предполагается что кадры в пределах небольшого интервала времени изменяются незначительно при этом возможно применить все методы которые используются для статических изображений где в качестве пространства обработки используется зависимость амплитуда номер кадра. Данный подход имеет недостатки связанные с выбором количества кадров для обработки. Наличие в видеоряде динамических сцен приводит к расфокусировке и искажению полезного двумерного сигнала. Второй подход для фильтрации динамических изображений основан на обработке кадра как отдельного изображения и как следствие рассмотренные методы повторяют все недостатки методов фильтрации статических изображений [70]. Предлагается использовать обобщение метода адаптивной локальной аппроксимации на динамические двумерные сигналы [7]. С этой целью используется пространственно-временная обработка которая так же учитывает корреляционную связь между кадрами видеопоследовательности но при этом количество кадров обработки выбирается с помощью анализа участков стационарности что позволяет уменьшить расфокусировку объектов на кадрах. Пространственная обработка заключается в адаптивной локальной аппроксимации пикселей каждого кадра видеоряда которая описана выше. Временная обработка использует набор кадров для получения результирующей оценки. В качестве временной обработки предлагается использовать набор кадров для каждого пикселя (рис..0). При этом определяется интервал

99 06 квазистационарности для значений t Y по координате t с помощью метода инверсий описанного выше (выражения.5-.9).... t n Y x y Y t x y t Y x y... t n Y Y t t Y Рис..0. Пространственно-временная обработка динамического двумерного сигнала Сумма числа инверсий для t Y равна: d d t t u( Y Y ) l0 tl d R (.60) t t Y Y t t u ( Y Y ) (.6) t t 0 Y Y. где I J t ; Y - текущее значение пикселя кадра t видеопоследовательности с координатами (); Y t l... d t - последующие значения пикселей кадров видеопоследовательности квазистационарности. d R R - максимальная длина интервала Далее для набора значений пикселей Y t t d Y вычисляется аппроксимирующий полином второго порядка с помощью метода наименьших

100 07 квадратов. Значения данного полинома являются результирующей оценкой динамического двумерного сигнала. Блок-схема алгоритма адаптивной локальной аппроксимации динамического сигнала представлена на рисунке.. начало Входное изображение Y = N = M Параметры алгоритма R N M h 8 d R Вычисление d c c Да Проверка на стационарность c dc Нет Формирование массива маски Вычисление оценки и веса S ~ t W Результирующая оценка K S t ~ S t W конец Рис... Блок-схема алгоритма адаптивной локальной аппроксимации динамического сигнала Принцип работы заключается в следующем: t записываются значения входного динамического двумерного сигнала Y I J t T ;

101 08 задаются параметры метода: значения вероятности ошибки первого рода и максимальной длины интервала квазистационарности R ; d вычисляется случайная величина d d u( Y d R Y ) пороговых значения c X X 0 5 и c X X 0 5; и два проверяется гипотеза о стационарности сигнала c d c при выполнении которой происходит формирование бинарной маски R R ; вычисляются оценки S ~ за счет аппроксимации значений Y ~ поверхностью первого порядка вида S ( A B C) где R R и вычисляется весовая функция W I J ; данная процедура повторяется для всех значений пикселей исходного кадра видеопоследовательности ~ S t ; t Y в результате чего получается набор оценок вычисляется оценка для каждого кадра видеопоследовательности S ˆ t как взвешенной суммы размноженных адаптивных оценок Sˆ t K ~ S t W где I J ; вычисляется случайная величина t t u( Y Y ) d R и два l0tl пороговых значения c X X 0 5 и c X X 0 5; проверяется гипотеза о стационарности сигнала c c при выполнении которой происходит формирование набора значений пикселей Y t t d Y ; d d

102 09 аппроксимация значений пикселей S t Sˆ t d ˆ полином второго порядка с помощью метода наименьших квадратов; вычисляется результирующая оценка для каждого кадра видеопоследовательности S t как взвешенная сумма размноженных адаптивных оценок K t Sˆ S t K где I J t T. На основе предложенного метода обработки динамических сигналов разработано устройство адаптивной фильтрации видеосигналов (Патент РФ 3433) описанное в приложении А..3. Разработка метода пространственной реконструкции изображений на основе геометрической модели с контурным и текстурным анализом В процессе передачи и преобразования в радиотехнических системах двумерные сигналы которыми описываются изображения подвергаются воздействию различных помех что приводит к потере участков изображений. Результаты восстановления изображений находят широкое применение в системах автоматической обработки сигналов в цифровых системах фото- и видео фиксации и машинного зрения. В большинстве случаев при решении задачи реконструкции требуется оценить отсутствующие значения пикселей изображений и видеопоследовательностей а так же выбрать из большого числа уже имеющихся участков наиболее «похожий». Решение данной задачи предполагает ретушь и восстановление недостающих фрагментов изображений при удалении царапин дефектов ненужных надписей и т.д. Задача удаления различных дефектов в виде пятен царапин поврежденных областей и линий сгиба возникает при обработке архивных фотоизображений и музейных документов.

103 0 Упрощенная математическая модель исходного двумерного сигнала представляет собой восьми битную двумерную дискретную последовательность вида (.). При решении задачи реконструкции важную роль играет визуальная оценка качества восстановления изображений поэтому в большинстве методов рассматривается текстурно-геометрическая модель двумерного сигнала которая позволяет учитывать границы объектов и переходы между текстурами то есть области которые играют важное визуальное восприятие. Предполагается что априорная информация о геометрических особенностях изображений отсутствует считаются известными координаты области R N M при этом ее принадлежность к классу искажений не известна. При реконструкции важным этапом является выбор модели изображения от которого зависят все последующие этапы восстановления. Текстурные и структурные области которые присутствуют на изображении имеют различную пространственную конфигурацию. Соответственно в общем случае изображение по геометрическим свойствам можно разделить на области текстура и структура (контуры). На рис.. представлена модель изображения в которой область изображения Y схематично представлена в виде трех подобластей которые представляют собой различные типы текстуры На основе предложенной текстурно-геометрической математической модели двумерных сигналов разработан метод синтеза неоднородного двумерного сигнала. Подход заключается в разбиении изображения на кластеры в пределах каждого из которого предполагается однородность модели. Для восстановления границ раздела текстур предлагается использовать сплайн-интерполяцию. После восстановления границ кластеров используется операция заполнения (аппликация) кластеров фрагментами случайных полей которые синтезируются на основе различных однородных моделей.

104 Предлагаемый подход к реконструкции двумерных сигналов на основе текстурно-геометрической модели включает в себя четыре главных этапа: ) нахождение фрагментов границ пересекающих область R (на примере рис.. кривые 3 и 4 ); участков; ) определение соответствия между участками кривых; 3) интерполяция кривых описывающих границы объектов и текстурных 4) синтез текстурных областей в пределах восстановленных контуров. Извлечение контуров объектов на изображении является нетривиальной задачей сам по себе. В простейшем случае для этого может быть использован детектор Канни [7] который позволяет объединять в границы пиксели для которых в направлении вектора градиента достигается локальный максимум. Недостатком такого подхода является некачественная сегментация текстур. В связи с этим можно использовать и специализированные методы сегментации текстур. Реализация детектора Канни относительна проста и не требует больших вычислительных затрат. В более сложном случае возможно использовать различные методы кластеризации пикселей области вокруг искаженных значений которые позволяют увеличить эффективность сегментации и уменьшить количество ложных участков контуров и перепадов яркости. Для эффективной обработки предлагается использовать метод сегментации изображений на основе геометрической модели активного контура который разработан Chan и Vese в [7374]. Этот подход позволяет успешно сегментировать изображения различных типов в том числе которые трудно или невозможно сегментировать классической пороговой обработкой или методами основанными на градиенте. Модель Chan - Vese (CV) является альтернативным решением проблемы Muford Shah которая решает задачу минимизации путем минимизации следующего функционала энергии:

105 E CV ( c с ) С) Length( C) u0( x y) c dxdy u0( x y c dxdy nsde( C) outsde( C) где и являются положительными константами как правило фиксированные с и с - средние значения интенсивности u 0 внутри C и за ее пределами C соответственно. В сегментированном изображении (рис..а) анализируются все участки контуров которые находятся в локальной области (рис..б) вокруг области R. Следующим этапом алгоритма является анализ полученных границ.... L l L L количество участков границ пересекающих область с искаженными пикселями R и их соотнесение к одной границе. Так например на рисунке.б участки первой границы ; 3 4 участки второй границы 34. а) б) Рис... Выделение и анализ границ Другое эквивалентное представление цепочки фрагментов которые образуют контур основан на структурной значимости [75]. Моделирование контуров на основе локальных и глобальных характеристик предложено в [76] а в [77] свойство криволинейной непрерывности использованы для извлечения замкнутых контуров.

106 3 Для сопоставления участков границ разработано несколько подходов которые отличаются друг от друга эффективностью и вычислительными затратами. В первом случае сопоставление участков границ осуществляется с помощью векторного представления локальных окрестностей [78-80]. Локальные поверхности могут быть представлены тензором который позволяет учитывать ориентацию изменений яркости а так же особенности изменения градиента. Для каждой локальной окрестности разделения области границами l и l вычисляется тензор. l полученной в результате Выражение для структурного тензора запишется в следующем виде []: cos sn J J cos sn J (.6) sn cos J J sn cos Значение структурного тензора характеризуется собственными значениями от которых зависит мера когерентности С : ( J J) 4 J С. (.63) J J Значение С находится в диапазоне 0 С. При этом для однородной области С 0 так как собственные значения 0 равны нулю уровни яркости в направлении соответствующего собственного вектора не изменяются и локальная окрестность имеет постоянные значения. Если 0 0 то значение С 0 и уровни яркости изменяются во всех направлениях и локальная окрестность представляет собой текстуру. Таким образом по значению когерентности определяется тип локальной подобласти l и происходит их сопоставление как принадлежащих одной области с соответственными границами l. Значение С l вычисляется для каждой области l l L; а соответствие границ.... L определяется минимум величины Сl Сll ll l L. Во втором способе поиска соответствия между участками кривых используется вероятностная модель [8-83]. При этом вводятся следующие

107 4 обозначения; A число элементов конечного множества A Z множество всех целых чисел R множество всех действительных чисел R множество всех точек координатной плоскости Z множество всех точек в R с целочисленными координатами. Если u R то u целая часть числа u sgn(u) - его знак т.е. u 0 sgn ( u) 0 u 0 (.64) u 0 Для любой точки x ( ) Z U ( x) ; ; квадрат с вершинами в точках ;. Если Z то U U x) x (. Далее идет речь об изображениях заданных на плоскости R ; при этом квадраты U (x) где x Z рассматриваются как пиксели составляющие данные изображения. Функция (x) определяется с областью определения Z которая может принимать лишь целые значения из отрезка [ 0;55]. Значение (x) мера яркости пикселя (x) U в рассматриваемом изображении. Поскольку реальное изображение всегда ограниченно функция (x) финитна т.е. обращается в ноль вне некоторого круга с центром в начале координат. Если ( ) x y ( l) Z B Z A то ( x y) ( ) ( l) расстояние между точками x и y ( A B) n ( a b): a A bb расстояние между множествами A и B x ( x A) A. Определим два типа дискретных кривых на множестве Z так называемые -кривые и -кривые. Пусть t или t ; ( y) Z x. t -кривой c началом x и концом Y назовем любую конечную последовательность L x x... x ) элементов множества Z такую что ( n x x xn y ( x x ) t 3... n. При этом в случае x y замкнутой. Символ [L] обозначает контент кривой L то есть множество

108 5 всех составляющих её точек. t кривая L называется простой если выполнены три импликации: n x x ; n ( x x ) ; n 3 ( x x ). При этом число n называется длиной кривой и обозначается L. Из этого определения следует что всякая простая незамкнутая - кривая одновременно является простой незамкнутой -кривой. Зафиксируем произвольное непустое множество Z. Зададим на бинарное отношение [ t] следующим образом: для любых x y [t] y тогда и только тогда когда из элементов множества можно составить t кривую L с началом x и концом y. Тогда x Покажем что [ t] является отношением эквивалентности. Пусть x y z [t] x x) t рефлексивно; x. ( кривая с началом x и концом x т.е. отношение [ t] [ t ] y y [ t] x (если L ( x u... v y) t кривая [L] то и ( y v... u x) t кривая с контентом ] наконец x [t] y t] z [ пусть ( u... v y) [L из отношение [ t] симметрично x y w... q z) t ( -кривые контенты которых содержатся в. Тогда то же можно сказать о кривой ( x u... v y y w... q z) что означает транзитивность отношения [ t]. Требуемое утверждение доказано и множество распадается на классы эквивалентности по отношению [ t] которые мы назовём - компонентами множества. Множество называется связным если оно пусто или имеет единственную t компоненту (совпадающую в этом случае с ). Очевидно t компоненты являются t -связными множествами а -связность множества влечёт его -связность. Компонент - кривой является - связным множеством. Докажем несколько вспомогательных утверждений. Теорема. Пусть непустое - связное множество и. Тогда содержится в одной из t компонент множества. Z Доказательство. Зафиксируем какой-либо элемент x и пусть - t компонента множества которой принадлежит x. В силу связности множества для каждой точки y имеется - кривая L с началом x концом y

109 6 и такая что [ L ]. Тогда множество [L] содержится и в следовательно y. Этим доказано включение. Теорема. Пусть t связные множества... n таковы что p( ) t... n. Тогда множество n t связно. Доказательство. Зашифруем произвольные элементы обозначения их выбраны так что x y. Пусть x y где n. В случае x[ t] y x[ t] y. Установим эту же эквивалентность при. Для каждого выберем точки v u так что ( u v ) t. Тогда u v ) есть ( t -кривая и мы получаем цепочку эквивалентностей x[ t] u [ t] v[ t] u [ t] vt... u [ t] v [ t] y которая показывает что x [ t] y. Следовательно множество t - связано. Рассмотрим произвольную простую незамкнутую -кривую L x _ x _... X _ n x _( n ) где n и пусть x ( l )... n. Для всех n положим T _ ( L) x Z \[ L]: ( x X _ ) а для каждой точки x ( l) T ( L). x) sgn ( l l )( ) ( )( l l ). ( Рассмотрев все возможные конфигурации части x x x ) кривой L ( приходим к выводу о том что множество T (L) состоит из двух -компонент. Нетрудно проверить что во всех случаях одна из этих компонент (обозначим ее T ( L) ) удовлетворяет неравенству ( x) 0 а другая T ( L ) неравенству xt ( x) 0. Компоненты ( ) ( L) xt ( L) T L примыкают к кривой L слева а компоненты T ( L) справа. Исследовав все возможные виды простых незамкнутых -кривых длины 4 можно убедиться в том что при 3 l l L) т.е. n T ( L) T (

110 l l T ( L) T ( L) 0 7 l n l. В силу теоремы множества n l T ( L) T ( L) l l -связны. Пусть на плоскости R задано изображение иными словами на множестве Z определена финитная функция со значениями из множества 0 ;;;...;55. Пусть кроме того в Z заданы: а) конечное множество F простых незамкнутых - кривых таких что соответствующая каждой из них цепь пикселей разделяет участки изображения различной текстуры; б) некоторое множество Q пересекающееся с контентом каждой кривой из F. Заметим что свойство из пункта а) не определяется строго а вводится на уровне интуитивного представления. Постановка задачи предполагает что известны лишь множество Q и «остатки» кривых семейств F полученные удалением из контентов последних точек множества Q. Требуется найти в определенном смысле наиболее правдоподобное распределение этих «остатков» по парам означающее что кривые каждой пары являются частями одной и той же кривой семейства F. При этом допускается отсутствие пары у некоторых «остатков» что может служить отражением реальной картины (так будет например в случае нечётности числа «остатков» принятых к рассмотрению). Сформируем два семейства G H - кривых полученных рассечением кривых совокупности F множеством Q. Предварительно зададим небольшое натуральное число N и условимся не включать в указанные семейства частей кривых из F длины меньшей N. Очевидно что для любой кривой L F множествоl \ Q пусто или представляет собой объединение контентов нескольких незамкнутых -кривых. Две из этих кривых удовлетворяют двойному неравенству где ( x Q) ( y Q) (.65) x y (или y x ) начало и конец кривой. Такие кривые можно назвать «хвостами» кривой L поскольку контент каждой из них необходимо содержит начало и конец L. Для частей кривой L не соответствующих условию (.65) (в том числе возможно и для некоторых ее «хвостов») выполнены неравенства

111 8 ( x Q) ( y Q). Составим множество G из «хвостов» кривых семейства F длина которых больше или равна N а начала и концы отвечают условию (.65). Перенумеруем если это необходимо элементы каждой кривой множества G таким образом чтобы из условия (.65) вытекало что x ее начало а y конец. Рассмотрим произвольную кривую x x... x G n. Поскольку ( x Q) ( x Q) найдется номер удовлетворяющий соотношению n n n:ρx θ. Положим x x L и в случае N включим...x кривую L во множество H. В результате получим некоторое семейство H простых незамкнутых -кривых L таких что для Q в том и только том случае если L x. Решим вспомогательную задачу: каждой паре кривых L N и для всякого L L H поставим в соответствие численную меру L L возможности того что они являются частями одной и той же кривой семейства F. Эту величину зададим так чтобы она принимала значения из промежутка 0 ; что позволит принять ее в качестве оценки вероятности означенного события. u Для любого непустого множества Z определим некоторую функцию f 0 u характеризующую текстуру части x L x исходного двумерного сигнала. В целом эта характеристика будет тем удачней чем шире данный участок и глаже его граница а главное чем однородней его структура. Для каждого целого 0;55 положим Пусть ; Точки... делят отрезок ; 0 55 x :x 55 ; тогда 0. 0 на r частей где r - количество знаков возникающих в указанной цепочке неравенств при рассмотрении конкретных изображения и множества ; всегда r 56. На отрезке 0 ; зададим функцию u ; 0 0 f соотношениями f u если u f. Очевидно f u кусочно-постоянная неубывающая функция с множеством значений ;55 0 Z : -.

112 9 Далее будет удобна следующая аналогия. Примем представление о кривых семейства H как о «реках» впадающих в «озеро» Q (или «систему озер» - в случае если множество Q не является односвязным). Определим вероятность p как степень близости функций A и B иd L L C левый и правый «берега» «реки» L (соответственно «реки» L ) то есть некоторые односвязные множества примыкающие слева и справа к указанным кривым. Дадим строгое определение этих «берегов» (они будут зависеть от заданной положительной величины условно говоря «ширины» «берега»). Выберем произвольную кривую x x x H L... n. Из определения кривых множества H следует что при каждом множество xq x x n Q : не пусто в том и только в том случае если n. Значит для любой точки является простой незамкнутой -кривой. x x ~ n Qn последовательность L x x... x n xn Заметим что при каждом l существует одна и только одна точка l n Q l l n такая что T L Q l l n где L x x... xn xn. Эту точку можно задать алгоритмически следующим образом: ) Выбираем произвольную точку ~ n l x n Qn. l ) Если T L Q полагаем x n xn; в противном случае производим переобозначение приняв в качестве x n любую точку множества l Tn L Q ~. ~ Обратим внимание что при этом изменится конец кривой L а значит и множество l n L T ~. 3) Вновь выполняем п.). Примем обозначение K W и зададим небольшое положительное UK H число из интервала 0 ;. Построим две последовательности множеств l CZ \ Q L l с помощью следующего алгоритма: ) Задаем значение 0 и множество ;l I Z :3 n l.

113 l 0 ) Для каждой пары номеров ; l I полагаем rl n ; x x Q L : x x xz \ r. 3) Если -компонента множества l l Q содержащая множество T l l n L не пересекается с множеством W обозначаем ее. В противном случае исключаем пару ;l из множества I и так же поступаем если указанная компонента не l пересекается с W но при этом выполнено равенство r x x l l l n 4) Полагаем T L U 3 l. l. Если или построение искомых последовательностей случае множество l последовательностей l заканчивается. При этом в первом l в них не включается и мы получаем пару l а во втором случае включаются что дает 0 l 0 последовательности l. 5) Пусть а I. Тогда увеличиваем значение на единицу и возвращаемся к исполнению п.). При определённом значении расчет будет завершен и получится l последовательность. Поясним некоторые пункты описанного алгоритма. l П. ): при ; l I величина r а значит и множества неизменными. l l остаются l П. 3): множество определено корректно: поскольку L простая незамкнутая -кривая то при ( ; l) I не превосходит x x а значит и величины l r. Тогда для l I l l l ; T L C (здесь важно отметить что из определения кривых l l L следует пустота множества T L Q) l l n. Так как множество l T -множества. Условие а) из постановки задачи позволяет считать контенты кривых множества F попарно не пересекающимися. Подавно то же самое можно сказать об их частях контенты кривых семейства H. Поскольку пиксели реального изображения очень малы в сравнении с размерами изображения вполне можно считать что части границ L H участков изображения различной

114 текстуры отделены друг от друга не просто положительными а достаточно существенными расстояниями составляющими по крайней мере несколько единиц. Сказанное исключает пересечения какого-либо из множеств l с множеством W при первом прохождении п.3) алгоритма. Следовательно при его использовании для всех 3 n l будут определены по крайней мере начальные наборы точек l. Кроме того выскажем следующие соображение. Содержащийся в п.3) запрет на расширение «берегов» «реки» L за счет элементов других «рек» вполне объясним. Покажем снятие этого запрета через несколько шагов вычислительной процедуры не может оказаться конструктивным. Пусть при очередном прохождении п.3) для некоторой пары l I ; компонента множества l о которой в нем идет речь пересекаясь W. Предположим далее несмотря на это обстоятельство обозначим указанную компоненту l l а затем обновим значение r и множества на единицу большего значения K. При этом величина множество l l l для очередного l r не уменьшается а l не теряет одного элемента. Значит «старое» множество содержится в «новом» множестве l. Но тогда на основании леммы и - l связности «старого» можно утверждать что последнее содержится и в одной из -компонент «нового» l l. Поэтому множество L l T содержится в «старом» l l этот компонентой может быть только «новое». Отсюда вытекает что и l «новое» пересекается с W. Это же происходит при построении множеств l для последующих значений. Все сказанное доказывает целесообразность прекращения расчета в части относящейся к паре ; l. Пусть C непустое -связное подмножество конечного множества D t. Опишем алгоритм нахождения -компоненты E множества D содержащей множество C который на наш взгляд целесообразно использовать при выполнении п.3) комментируемого алгоритма: ) Полагаем D E C.

115 ) Строим множество x D : x E E. 3) Если E полагаем D D E ; в противном случае заканчиваем расчет присвоением пункту п.. D D. Присваиваем к значению и обращаемся к l п.4): при l и l множество представляет собой объединение l l l l l последовательности -связных множеств T ( L ) n в которой любые два l l l соседних множества пересекаются ( Т ( L ) причем l l l l Т ( L ) Т ( L ) n). В соответствии с леммой множества и тоже -связны. Они являются тем самым левым и правым «берегами» «ширины» «реки» L которые упоминались выше. Условие означает что эти «берега» не должны сливаться. Проверить его рекомендуется так: сначала определить множество а при его построении множества выяснить принадлежит ли каждый вновь найденный его элемент. Если и когда обнаружится общий элемент этих двух множеств проверка завершится выводом о пересечении с. Если снять ограничения на построение последовательностей то из фактически доказанного выше расширения последовательностей l будет следовать импликация еще раз подтверждающая обоснованность этих ограничений. При установлении соответствия между «хвостами» кривых множества F включенными в совокупность H остальные «остатки» кривых из F в построении соответствия не участвуют. Пронумеруем кривые множества H любым способом: H L L... L. При каждом последовательность q выделим последовательность q левых и правых «берегов» «реки» L c помощью предложенного выше алгоритма. Для удобства описания дальнейших действий будем считать эти последовательности бесконечными приняв l l q q...; l l l l q при. Выберем небольшое значение но не слишком малое

116 3 l натуральное число M n q : l ограничивающее снизу «ширину» «берегов». Желательность задания такого ограничения обусловлена теоретическим возможным (хотя и множественным) ухудшением качества характеризующей текстуры участков изображения вследствие использования слишком узких «берегов». Очевидно и слишком короткие «берега» не благоприятствуют качественному описанию текстуры; а именно по этой причине при построении множества H был установлен барьер для L N. Для любых номеров l вычтем интегралы l f l ( u) f 3 l ( u) du 0 l 3l l l l 3l M ax( q q ) а затем величины n : M ax( q q ) 55 принимающие значение из отрезка [0;]. В качестве оценки принадлежности «хвостов» l L L одной кривой семейства F примем значение L L n l l l (очевидно всегда поэтому значение достаточно вычислить при ). Назовем соответствием любое не пустое множество... S r r двухэлементных попарно не пересекающихся подмножеств множества... кривые Данное соответствие понимается в том смысле что: ) при каждом L и L представляют собой «хвосты» одной и той же кривой первоначального семейства кривых F ; ) кривые множества H номера которых не попали ни в одну из пар соответствия S являются единственными «хвостами» * некоторых других кривых из F. Оптимальное соответствие S строим следующим образом. Вначале принимаем в качестве любую пару номеров каждом такую что ax Пусть при некотором. n n уже найдены пары r из условия : :. Тогда при n определяется n ax n n

117 4 очередная пара n n. В случае заканчивается. Если кривые n процесс выбора пар L L H являются частями одной и той же кривой исходного множества кривых F то величина должны оказаться существенно ближе к нежели в случае когда «хвосты» L L порождены различными кривыми из F. Поэтому вероятно что после некоторого шага (пусть r его номер) процесса отыскания пар пройдет заметное уменьшение величин выделяемым парам кривых. l соответствующих Если уже для первой пары значение значительно меньше * принимаем r 0 S. Эта ситуация означает принятие гипотезы о том что всякая кривая семейства F породила не более одного «хвоста» из числа отобранных во множество H. Возможен и другой крайний случай r ; тогда для каждой кривой L и H (при нечетном кроме одной) мы указываем ее пару гипотетически порожденную той же кривой семейства F что и L. L H Наконец в промежуточном случае 0 r отбрасываем часть... найденного соответствия как недостаточно r r r r правдоподобную и полагаем: Это отношение справедливо и при... S * r r (.66) r. В определении пар и значение при r нет необходимости; при появлении первого значения отличного от значения r в ряду величин: r r r r r (.67) * расчет прекращается и задается множество S равенством (.66).

118 5 Положение разделяющего знака > в цепочке неравенств (.67) обозначено достаточной близостью числа разности r r r r r r к и сравнительно большим значением. В не столь определенных ситуациях пользователь должен будет принять более трудное решение об интерпретации результатов исследования (возможно и без использования найденного соответствия а на основе дополнительного изучения матрицы величин ). На следующем этапе осуществляется интерполяция сплайнами соответственных участков контуров. Для интерполяции кубическими сплайнами каждой из полученных пар участков кривых используется модель на основе понятии параметрической и геометрической непрерывности предложенная в разделе.. Для интерполяции границ используются кубические полиномы. По заданному массиву точек V 0 V V V3 (или их радиус-векторов) элементарная кубическая сплайновая кривая определяется с помощью векторного уравнения (.). Матричная запись параметрических уравнений описывающих элементарную кубическую кривую имеет вид (.4). Для того чтобы найти эти весовые коэффициенты b (t) (.4) потребуем чтобы для векторов r (t) и r ( ) в точке сопряжения выполнялись условия t геометрической непрерывности (.7-.8). С учетом формулы (.3) условия (.0) записываются следующим образом: b (0) V b () V ' ' b (0) V b () V '' '' ' b (0) V b () V b (.68) Полученные соотношения позволяют найти все функциональные коэффициенты b (t) 0. Расписав например первое из равенств (.68) подробнее: V.

119 b 6 ( 0) V b (0) V b0 (0) V b (0) V b () V b () V b0 () V b () V Приравняв коэффициенты при одинаковых векторах получим: 0 b () b ( 0) b( ) b ( 0) b0 () b0 ( 0) b () b (0) 0. (.69) Второе из равенств (.68) даёт: b ( 0) V b (0) V b0 (0) V b (0) V ( b () V b () V b0 () V b () V ). Приравнивая коэффициенты при одинаковых векторах V получаем: 0 b () b 0) b () b 0) () b 0) () b (0) 0 (.70) ( ( b0 Расписываем третье из равенств (.68): b ( (0) V b b (0) V () b ()) V b (0) V 0 b (0) V 0 ( b () b 0 ( ()) V 0( b b () b ()) V ( b () b И приравниваем коэффициенты при одинаковых векторах ()) V b () b () b ( 0) b () b ( ) b ( 0) b0 () b 0 0 b 0) b () () b (0) 0. (.7) 0( b Используя формулы (.68) получаем из равенств (.69)-(.7) линейную систему для определения коэффициентов ( 03; 0 ). Вычислим коэффициенты С С и подставим их в формулы (.). При этом получаем следующие выражения для весовых функций:. 3 b ( t) ( t) 3 b ( t) ( t ( t 3 t 3) ( t b0 ( t) ( t ( t 3) t ( t t b ( t) t 3) t ) ( t ( t 3 3 t 3) ( t ) ( t 3 ) 3 3 t ) (.7) 3 где Найденные выражения весовых функций подходят для всей конструкции. Подставляя их в формулу (.) получаем векторные функции r ( t)... r ( t). Подбором дополнительных вершин можно влиять на поведение составной бета-сплайновой кривой вблизи ее концов. Например для того чтобы составная кривая проходила через вершины V 0 и V и касалась отрезков V 0V и V V

120 7 контрольной ломаной (рис..3) следует добавить к полученному набору еще четыре векторные функции: ) ) ( ( ) ( ) ( )) ( ) ( ( ) ( ) ( ) ( ) ( ) ( )) ( ) ( ( ) ( ) ( ) ( V t V t t r V t b t b V t b V t b t r V t b V t b V t b t b t r V t V t t r (.73) где V 0 V V V 3... V V V V 3 Рис..3. Подбор дополнительных вершин Замечание 3. Дополнительные вектор-функции ) ( 0 t r ) ( t r ) (t r ) ( t r. Добиться того чтобы начальная точка составной кривой совпадала с 0 V а конечная с V можно подбором вспомогательных вершин и построением дополнительных кривых. Обычно это проводится путем использования кратных или воображаемых вершин. В нашем случае используются две дополнительные вершины V и V (кратные или двойные) такие что 0 V V и V V и строятся две новые элементарные кривые ) ( t r и ) (t r задав их параметрическими уравнениями: )) ( ) ( ( ) ( ) ( ) ( ) ( ) ( )) ( ) ( ( ) ( V t b t b V t b V t b t r V t b V t b V t b t b t r (.74) где 0 t.

121 8 Тогда новая составная кривая r t) r ( t)... r ( ) ( 0 t ) будет начинаться в ( t точке r ( 0) ( ) V0 V (касаясь отрезка 0 V ' 6 V так как r ( 0) ( V V0 ) ) и заканчиваться в точке r 3 () V ( ) V 3 (касаясь отрезка V V так ' 6 как r ( ) ( V V) ) (рис..4). V V V V 0 V 3... V 3 V V Рис..4. Построение дополнительных вектор-функции Кроме того составная кривая будет иметь в двух этих точках нулевую кривизну. Затем добавим еще две вершины V и V (тройные) так что V V V0 и V V V и возьмем в качестве двух новых элементарных кривых r ( ) и r ( ) прямолинейные отрезки: 0 t где 0 t. t r 3 ( t) 3 t r0 ( t) ( ) V 0 t V 3 ( t) V 3 3 ( t) ( 3 ) V (.75) С учетом кривых построенных ранее новая составная кривая r ( ) r ( ) V. r ( t) ( 0 t ) будет начинаться в вершине Уравнение составной кривой будет иметь следующий вид: где 0 t. r 0( t ) r ( t) r ( t ) r (t) r ( t) (.76) 0 t t

122 9 Основные свойства построения кривой. ) Свойства элементарной сплайновой кривой (дуги построенной по четырем вершинам). Свойства функциональных весомых коэффициентов b ( ) b ( ) b ( ) b ( ) оказывают существенное влияние на поведение элементарной кривой. При 0 t весовые коэффициенты b (t) подчиняются условиям: b ( t) 0 ( t) t t 0 t t b. (.77) Условие означает что выражение (.77) является выпуклой линейной комбинацией вершин V V V V. Это означает что кривая определяема векторной функцией r (t) и значит вершинами V V V V лежит в их выпуклой оболочке (рис..5): r ( t) b ( t) V. (.78) V V V Рис..5. Построение элементарной сплайновой кривой по четырем вершинам V Составная кривая лежит в объединении выпуклых оболочек построенных для всех последовательно взятых четверок вершин: V 0 V V V 3 ; V V V 3 V 4 ; V V 3 V 4 V 5; Выпуклой оболочкой данного множества называется наименьшее выпуклое множество содержащее данное. Элементарная кривая как правило не проходит ни через одну из вершин V V V V. ) Свойства составленной сплайновой кривой:

123 а) является G гладкой кривой; 30 б) как правило не проходит ни через одну из вершин заданного массива точек (кроме начала и конца); в) лежит в объединении - выпуклых оболочек порожденных V = 3 -; V V г) «повторяет» опорную ломанную (рис..6) (в частности число точек пересечения составной сплайновой кривой с произвольной прямой не больше числа точек пересечения контрольной ломанной с этой прямой); д) если вершины V 0 V V V массива лежат на одной прямой то составная сплайновая кривая также лежит на этой прямой (между вершинами V 0 и V ); е) составная кривая обладает локальным свойством которое заключается в следующем: произвольная вершина V принимает участие в образовании не более одной частичной кривой. Изменяя одну вершину составная кривая не подвергается никаким преобразованиям вне зоны влияния этой вершины. В частности при добавлении в массив одной вершины возникает необходимость «пересчета» параметрических уравнений только четырех элементарных кривых; целиком; ж) выбор параметров позволяет изменять форму составной кривой Рис..6. Опорная ломанная

124 3 Замечание 4. Параметры формы и не обязательно должны быть одинаковыми для всех элементарных фрагментов. С учетом взаимного расположения вершин массива их можно выбирать так чтобы: а) пара значений ( ) и ( ) для каждой элементарной кривой была своя; ( ) t ( ) t б) на каждом единичном отрезке [0; ] функция ( ) и ( ) линейно зависели от параметра t; ( ) t ( ) t в) функции ( ) и ( ) были разными для разных элементарных фрагментов (=3 -). Выбор параметров и определяется взаимным расположением вершин в массиве. Выбор одинаковых параметров для участков кривой позволяет получить хорошее приближение в случае если расстояние между соседними вершинами различаются не слишком сильно. Подбор различных параметров формы позволяет получить хорошие результаты в случае большого различия расстояния между вершинами. Q и По найденным парам вершин P и P l и не нулевым векторам касательными Q l можно так же определить кубическую кривую Эрмита (рис..7) при помощи векторного уравнения имеющего следующий вид [8485]: B( t) ( 3t t ) P t (3 t) P l t( t t ) Q t ( t) Q l 0 t. (.79) Q P l P Q l Рис..7. Построение кубического сплайна Матричная запись параметрических уравнений описывающих элементарную кубическую кривую Эрмита имеет вид [35]:

125 3 B( t ) G Μ Τ 0 t (.80) ( x xl u ul ) G P Pl Q Ql y yl v vl (.8) x( t) B y( t) M t t t t 0 3 T (.8) где M базисная матрица кубической кривой Эрмита G геометрическая матрица. Касательный вектор элементарной кубической кривой Эрмита в концевой точке P 0 (0) P совпадает с заданным вектором Q B() B 0 P с вектором B () Q (рис..8a). Q l l При линейной замене параметра единичный отрезок 0 в промежуток a b векторы Q и b Q a и b Ql a касательных векторов на границе Эрмита (рис..8б). B (0) Q а в точке P t ( t) a t b преобразующий Q l заменяются на соответственно. В результате для каждой пары точек и S определяется интерполирующая кривая а) б) Рис..8. Восстановление границ

126 33 На рисунке.9 представлен пример восстановления границ контуров с помощью предложенного подхода. S S 3 S 4 Рис..9. Восстановление контуров После восстановления границ кластеров используется операция заполнения фрагментами случайных полей которые синтезируются на основе однородных моделей при этом полученное изображение обладает неоднородной структурой [86-88]. где Значения пикселей в блоке могут быть описаны D случайным полем [30]: Ψ ˆ p s( o p Xs ns ( o qn sn s (.83) ) s( o p и ( n ) ns( o q соответственно авторегрессии с параметрами ( 0 0 и s обозначает последовательность нормально распределенных случайных величин с дисперсией. Коэффициенты уравнения авторегрессии определяются с помощью решения системы уравнений Юла-Уокера по заданным или оцененным на основе эксперимента значениям коэффициентам корреляции. Нерекуррентность предлагаемого подхода реконструкции и высокие требования к вычислительным ресурсам ЭВМ является существенным недостатком предлагаемого подхода. В связи с этим предлагается другой способ синтеза текстур. Для выбора пикселя в области R для восстановления используется метод обхода быстрый

127 34 марш [8990] основанный на решении уравнения Eonal T в восстанавливаемой области R и T на границе восстанавливаемой области S где решение данного уравнения T это дистанция которая зависит от расстояния до границы S. Данный критерий обхода позволяет выбирать пиксель расположенный максимально близко к первоначальной границе восстановления значения пикселя граница изменяется значения пересчитываются далее выбирается следующий пиксель для восстановления. Пиксели в каждой из классифицированных областей. После восстанавливаются независимо друг от друга. Существует несколько подходов к восстановлению. Первый из них заключается в «быстром» восстановлении на основе метода Телеа (усреднения) [90]. Использование данного подхода позволяет эффективно восстанавливать однородные области изображений с уменьшением вычислительных затрат. На рисунке.0 представлен фрагмент изображения содержащий текущую восстанавливаемую точку p. S T Рис..0. Восстановление методом усреднения Для восстановления значения пикселя p используется малая окрестность p в области доступных пикселей значение которого вычисляется с учетом значений пикселей из данной окрестности и градиента изображения с использованием выражения:

128 S( p) q p 35 ( p q) ( S( q) S( q) ( p q)) q ( p q) p (.84) где q p каждый пиксель из области p ( p q) весовая функция. При этом значение весовой функции ( p q) зависит от трех критериев: - направления в котором расположена данная точка относительно восстанавливаемой (максимальный приоритет имеют точки расположенные на перпендикуляре к границе восстанавливаемой области); - расстояния между точками p и q ; - расстояния между точкой q и границей S. Вместо данного выражения для восстановления значений пикселей может использоваться любое другое на основе решения дифференциальных уравнений в частных производных вычисленное в локальной области p. Кроме того возможно изменение весовой функции ( p q). Как правило второй и третий критерий оказывают значительное влияние только при использовании достаточно большого размера области p. Более эффективный способ восстановления значений двумерного сигнала основан на текстурном синтезе. С этой целью вокруг пикселя p выбранного методом «быстрый марш» для восстановления определяется область области доступных пикселей S находится блок расстояние минимально (рис..): p. Далее в q для которого евклидово ( p q ) n. (.85)

129 36 q q p p R - S 3-4 Рис... Восстановление текстуры Значения пикселя p в области R восстанавливается путем копирования соответствующего пикселя q из найденного блока q в пределах восстановленных контуров [9]..4. Разработка метода пространственной реконструкции изображений на основе геометрической модели с текстурным анализом В данном разделе предлагается метод который использует текстурные свойства изображений и основан на свойстве повторяемости небольших участков двумерных сигналов. В литературе [90-9] описаны методы текстурного синтеза которые позволяют синтезировать большие участки изображений текстур на основе локального анализа статистических свойств текстур. Предлагаемый подход позволяет синтезировать текстурные участки изображений с возможностью учёта различных весов для областей восстановления в первую очередь восстанавливая значения пикселей которые находятся на границе текстур и объектов. Обозначим множество пикселей принадлежащих границе области восстановления как где: I J (рис..). S

130 37 S S S R Рис... Модель изображения На первом шаге для каждого пикселя границы определяется форма S области для поиска подобия на основе метода инверсий которая формируется объединением смежных подобластей в направлении максимума градиента [78]. Данный подход предложен и подробно описан в разделе.. Далее для каждого значения пикселя границы вычисляется значение приоритета P( S) который состоит из двух множителей (рис..3) [ 9]: P( S) С( S) D( S) (.86) C( l) I l S ns S C( S) D( S) (.87) S где: - текущий пиксель на границе доступных пикселей; С( S) - коэффициент S доверия; D( S) - коэффициент градиента; S - адаптивный блок пикселей с центром в пикселе ; S - количество пикселей адаптивного блока S I S - вектор ортогональный градиенту в точке S ; n S - вектор ортогональный границе S в точке S битных изображений равен 55. ; - нормированный множитель который для восьми Вначале предполагается что значение коэффициента доверия С для пикселей из области S равно а для области равно 0 [].

131 38 S S S S S I S n S R Рис..3. Построение ортогональных векторов Вычисление приоритета с помощью выражения (.87) позволяет придать больший вес пикселям находящимся на перепадах яркости (границах) таким образом восстанавливая их в первую очередь. Данные доверия С ( p) позволяют придавать меньший вес восстановленным пикселям при увеличении расстояния от доступных пикселей из области S. После определения пикселя p ( ) с максимальным значением приоритета ax( P( )) на границе S адаптивно выбирается форма области S p с центром в данном пикселе p ( ) (рис..4). Использование адаптации позволяет корректно учитывать форму области восстановления и не захватывать лишние границы которые могут привести к неправильной реконструкции изображения. В статье [9] представлены исследования по выбору размера и формы блоков для восстановления которые показали что наилучший результат реконструкции тестовых изображений достигается путем использования предложенной процедуры адаптивного вычисления формы области.

132 39 S S p p S R Рис..4. Адаптивный выбор формы области для поиска подобия Количество областей полученных из исходного изображения с доступными пикселями предлагается увеличивать с помощью их поворота на градусов (рис..5). Увеличение количества блоков позволяет уменьшить погрешность восстановления изображения за счет увеличения вероятности нахождения более похожей области по евклидовой метрике Рис..5. Поворот области пикселей на изображении На третьем шаге находятся области ( h) h R в доступных пикселях S с учетом повернутых на градусов для которых евклидово расстояние минимально (рис..6): q

133 40 ( p q ) n. (.88) Количество областей подобия R определяется с помощью доверительного интервала: p q n p q n p q (.89) ( ) ( ) ( (h) ) где: h R ; - уровень значимости. S q q q q S p p S R Рис..6. Поиск похожих областей Значения пикселей в области R смежные к пикселю с максимальным приоритетом p восстанавливаются путем усреднения соответствующих пикселей из найденных областей ( h) в области доступных пикселей S с помощью выражения S R q h ( ) h R q [9393]. Данные доверия С для восстановленных пикселей присваиваются равным текущему значению C ( p). Процедура пересчета приоритета и поиска похожих областей с последующей заменой повторяется. Реализация предложенных методов реконструкции изображений возможна как в аппаратном так и в программном исполнении [95-3]. На основе предлагаемого метода разработано устройство обработки двумерных сигналов при реконструкции изображений принцип работы которого описан в приложении А.

134 4 Предложенный подход обладает высокими вычислительными затратами на этапе поиска похожих областей поэтому предлагается дополнительный этап на основе оптимизации поиска похожих блоков в алгоритме для уменьшения вычислительных затрат. Предлагается осуществлять поиск похожих блоков на основе получения хеш-структуры для всех блоков изображения [3334]. Перцептивные хеш-функции часто используются в криптографии в сравнении и поиске изображений в базе данных. В простейшем случае в роли перцептивного хеша используется среднее значение составляющих низких частот для каждой области изображения (рис..7). a) б) Рис..7. Пример блока и значений перцептивного хеша Для восстанавливаемого блока и каждого блока из хеш-таблицы вычисляется расстояние Хэмминга без учета битов для пикселей из области R. Блок для которого расстояние Хэмминга минимально используется для восстановления копированием пикселей в область с отсутствующими пикселями [35]. Алгоритм предложенного метода состоит из следующих этапов (рис..8): ) На вход поступает исходное изображение S I J ; ) Вычисляется адаптивная форма и размер области для поиска подобия для каждого пикселя границы с помощью метода инверсий; ; S 3) Вычисляется коэффициент доверия С С f С S С 0 f С

135 4 4) Вычисляется приоритет P ) для каждого граничного пикселя ( S P( S ) С( S ) D( S ) где l S C( S ) S C( l) D( S) I n S S ; 5) Определяется пиксель p ( ) с максимальным значением приоритета ax( P( S )) на границе S p ( ) ; градусов; и выбор адаптивной формы области p для пикселя 6) Увеличение числа похожих областей за счет поворота p на и 70 7) Вычисление евклидовой нормы ( p q) q N M ; 8) Определение числа похожих областей R для которых ( ) ( ) ( ) (h) p q p q p 0 05 h R ; n n q 0) Копирование пикселей смежных к p в область R при этом значение восстановленных пикселей вычисляется с помощью выражения R S h 0) Вычисление коэффициента доверия С для восстановленных пикселей; ) Повторение пунктов 4-0 до тех пор пока не будут восстановлены все пиксели из области то есть пока T 0 где T - количество пикселей границы S. ( q h ) R ;

136 43 Начало Входное изображение S = N = M Параметры алгоритма Определение значений коэффициента доверия С если С S 0 если С С = R. Вычисление приотритета P( S) С( S) D( S) Нахождение пикселя p ( ) с максимальным значением приоритета ax( P( S )) Адаптивное определение формы области для поиска подобия с помощью метода инверсий p Увеличение числа похожих блоков за счет поворота Вычисление евклидовой метрики для всех доступных значений пикселей изображения ) q N ( p q n ( n ( ( ) ) ( h ) ) p определение количества блоков подобия R для которых выполняется неравенство q p q p M q Восстановление значений пикселей в области R S h q ( h ) R h R Пересчет коэффициента доверия для восстановленных пикселей Нет T 0 Да Конец Рис..8. Алгоритм метода реконструкции изображений

137 44 Предложенный метод позволяет получить квазиоптимальную форму области при поиске похожих блоков. Другая проблема оригинального подхода [] и предложенного метода заключается в процедуре поиска похожих областей с использованием евклидовой метрики. Данная метрика использует интегральную оценку всей области что приводит в некоторых случаях к ошибке при поиске похожих областей. На рисунке.9 представлен пример области () которая q найдена как более близкая для p в смысле минимума среднеквадратического отклонения чем ( ). В результате восстановления получается визуально плохой q результат так как метрика вычисляется только в области доступных пикселей. Таким образом критерий минимума евклидовой метрики для поиска похожих областей для некоторых изображений может привести в некорректной реконструкции. () q p () q Рис..9. Поиск похожих областей () и ( ) q для p q В связи с этим предлагается модификация этапа поиска похожих областей с учетом текстурной структурной информации на основе составного критерия. Выражение для вычисления евклидовой метрики запишется в виде: D E ( p q ) ( p q ) n. (.90) Для вычисления текстурных особенностей областей предлагается использовать метод вычисления локальных бинарных шаблонов (LBP) [36]. Оригинальный оператор LBP рассчитывается путем сравнения каждого пикселя

138 45 вокруг центрального пикселя с центральным пикселем принятым за пороговое значение в локальной области размером 3 на 3 пикселя [37]. Если центральный пиксель меньше или равен соседнему то на его место записывается иначе 0. В результате проделанной операции центральному пикселю соответствует 8- битный двоичный код что показано на рисунке.30. g g g g 4 g 0 g 5 Порог 0 g 6 g 7 g 8 0 Рис..30. LBP оператор В работе [38] предложена модификация оригинального метода LBP. Суть модификации заключается в увеличении радиуса пикселей которые сравниваются с центральным пикселем. Также выделены 9 равномерных шаблонов которые несут наибольшую информативность о текстурных особенностях изображения (рис..3) а также позволяют сократить количество мало информативных бинов. Каждый из 9 равномерных шаблона соответствуют своей текстурной особенности изображения такие как ребра углы и пятен. образом: Модифицированный LBP оператор может быть записан следующим LBP P f ( g p g0) p P otherwse f U U x 0 f (.9) 0 x 0 T P K ( x) где P число соседей; K радиус; U число переходов между и 0; U T пороговое значение на количество переходов. Таким образом формируется гистограмма для локальной области представляющая собой дескриптор для анализа локальных областей (рис..3).

139 Рис..3. Равномерные локальные бинарные шаблоны Использование гистограммы пространсвенных значений яркости изображений при построении дескритора не позволяет получить описание текстурных локальных областей что показано на примере рисунка.3. В данном случае два изображения с разлиными текстурами имеют одинакову гистограмму яркости. Рис..3. Гистограмма яркости Гистограмма формируется для каждой локальной области и p q используется в качестве дескриптора. Для определения соответствия между гистограммами ряд мер расстояний предложены в [36]: - гистограмма пересечений: - мера Батачарая: - дистанция : K HstInt ( h h ) n ( h ( ) h ( )) (.9) p q K p Bh( h h ) h ( ) h ( ) (.93) p q p q q

140 где h и p h гистограммы LBP для q 47 K h h ( ) ( ) p q ( h h ) (.94) p q h ( ) h ( ) p и p q областей соответственно. Исследования проведенные в [36] показали что для соответствия гистограмм дистанция показывает лучше результаты. В составном критерии предлагается использовать евклидову метрику для яркости пикселей и меру для гистограмм локальных бинарных шаблонов в виде: q F ( ) D ( ) ( h h ) n (.95) E p q p q где весовой коэффициент. Правильный подбор коэффициента в составном критерии является важным шагом в предлагаемом подходе так как он определяет его эффективность. Весовой коэффициент может изменяться от 0 до. Если 0 то в качестве меры близости для поиска похожих областей используется только евклидова метрика и если то используется мера для гистограмм локальных бинарных шаблонов. Исследования показали что наименьшая погрешность восстановления изображений достигается при 0 5. Далее как и в оригинальном алгоритме определяется область q в области доступных пикселей S для которого значение составного критерия принимает минимальное значение (рис..6). Для уменьшения эффекта при замене областей в R пикселями предлагается использовать алгоритм склейки который используется при синтезе текстур [07]. Алгоритм позволяет оптимизировать области перекрытия между участками с использованием минимизации ошибки пересечения на границах областей (рис..33) [36]. q

141 48 p q p q Операция добавления Минимизация ошибки пересечения Рис..33. Минимизация ошибки перекрытия областей.5. Разработка метода пространственно-временной реконструкции динамических изображений на основе геометрической модели с контурным и текстурным анализом Проблема реконструкции видеосигналов в последнее время пользуется большим интересом среди исследователей. В литературе представлено большое количество подходов к решению данной проблемы. Но несмотря на это существующие подходы не могут быть обобщены на любой возможный случай. В связи с этим актуальна задача усовершенствования существующих методов особенно применительно к практическим приложениям. Первые методы реконструкции динамических изображений были основаны на методах разработанных для восстановления статических изображений. Данные методы не позволяют сохранить временную непрерывность что ограничивает его применение. Кроме того подобные методы обычно приводят к размытию границ на изображении. Задача восстановления видеопоследовательности осложняется рядом следующих причин [39]: а) присутствие нестационарного фона: подвижными могут быть не только объекты переднего плана но так же и элементы заднего плана; б) сложность различения объектов и фона в случае медленного движения объектов переднего плана; в) непостоянство условий освещения; г) изменение положения камеры относительно сцены и сложность в предсказании движения объектов.

142 49 Таким образом при разработке конкретного подхода к восстановлению видеопоследовательностей необходимо сделать ряд предположений: а) на каждом кадре может быть выделен подвижный передний план и неподвижный фон; б) возможно движение камеры но только параллельно плоскости сенсора; в) движущиеся объекты не меняются в размере; г) вся видеопоследовательность доступна во время обработки. Эти предположения являются в некотором смысле общими для многих работ посвященных данной теме и представляются достаточно обоснованными. В работах [09-0] Patwardhan и др. предложили метод реконструкции видеопоследовательности на стационарном фоне при линейном перемещении объектов. Предлагается модификация данного метода с целью обобщения на случай нестационарной камеры и перекрытия объектов друг другом. Предлагаемые метод включает в себя предварительную обработку и два последующих этапа анализа работы (рис..34). Метод итеративно выполняет следующие операции (рис..35): находит кадр; обновляет модель сцены; обновляет позиции движущихся объектов; заменяет части кадра занимаемой объектами отмеченные для удаления с использованием модели фона. На этапе предварительной обработки осуществляется сегментация каждого кадра на передний (объекты) и задний план (фон). Сегментация используется для построения мозаичного изображения которое позволяет сократить время при поиске похожих блоков. Объекты переднего плана могут быть восстановлены на основе повторяющейся модели движения. Перекрытые движущиеся объекты переднего плана восстанавливаются двухэтапным процессом используя сохраненные шаблоны объекта.

143 50 Предварительная обработка Сегментация каждого кадра Статический Фон + Движущиеся объекты Восстановление объектов Вычисление наивысшего приоритета и местоположения для заполнения движения Поиск на переднем плане мозаики возможных кандидатов для копирования Копирование похожего блока Вычисление оптического потока Пересчет приоритетов Повторите этот блок для всех кадров Восстановление фона Временное копирование Вычисление приоритета на основе синтеза текстуры Рис..34. Структурная схема метода пространственно-временной реконструкции динамических изображений Запись видепоследовательности Блок предварительной обработки Блок восстановления подвижных объектов Блок восстановления неподвижного фона Блок получения результирующей видеопоследовательности Блок совмещения результатов обработки Рис..35. Блок-схема метода пространственно-временной реконструкции динамических изображений

144 5 На этапе предварительной обработки строится модель видеопоследовательности. Основная цель заключается в разделении входной последовательности на фон и объекты переднего плана [30]. После чего каждая составляющая обрабатывается отдельно. Простым и потенциально эффективным способом для моделирования и автоматического анализа видеоряда является представление сцены в виде набора слоев [3]. С целью дальнейшей сегментации на движущиеся объекты/неподвижный фон сегментации вычисляется оптический поток к которому затем применяется пороговая обработка. Оптический поток представляет собой набор векторов перемещения для каждого пикселя в промежутки времени t and t t [3-35]. Существуют быстрые методы вычисления оптического потока использующие частные производные по пространственным и временным координатам. Для пикселя с координатами ( t) с интенсивностью t Y существует сдвиг t между двумя кадрами при этом изображение может быть представлено в виде следующего выражения: t tt Y Y. (.96) Предполагается что сдвиг не большой и изображение может быть разложено вряд Тейлора t Y : или Из уравнения следует: t t t Y Y Y Y t H. O. T. (.97) Y Y Y Y t 0 t Y Y t t t t (.98) 0 (.99) в результате запишем: Y V Y V Y t 0

145 5 где V V компоненты величины оптического потока t Y а Y Y Y и t частные производные изображения в точке ( t) в соответственных направлениях. Y T и I t могут быть представлены в производных в следующем виде: YV Y V Y (.00) t T Y V Yt. (.0) Данное уравнение с двумя неизвестными не может быть решено. Объединив информацию из нескольких соседних пикселей алгоритм Lucas-Kanade [3] или Mean-Shft [33] позволяет решить неоднозначность уравнений оптических потоков. Он также менее чувствителен к шуму чем остальные методы. С другой стороны так как это локальный метод то он не может обеспечить поток информации внутри равномерной области изображения. Метод Lucas-Kanade предполагает что смещение изображения содержимого между двумя кадрами является малым и примерно постоянным в окрестности точки p. Таким образом уравнение оптического потока можно считать выполненным для всех пикселей в окне с центром в p. Использование такого подхода позволяет получить сегментированный видеоряд. Объекты переднего плана восстанавливаются с помощью анализа «карты» смещения объекта на которой формируются шаблоны для копирования недостающих фрагментов. При этом используется такой же подход как и методе основанном на поиске похожих блоков. Для восстановления фоновой составляющей предлагается использовать раздельное восстановление текстуры и структуры. С этой целью каждый кадр сегментируется на основе геометрической модели активного контура с помощью решения задачи минимизации функционала энергии: E CV ( c с С) ) Length ( C) u0( x y) c dxdy u0( x y c dxdy (.0) nsde( C) outsdec ( )

146 53 где и являются положительными константами как правило фиксированные с и с - средние значения интенсивности u 0 внутри C и за ее пределами C соответственно. На рисунке.36 представлен пример сегментации изображений на основе модели активных контуров. а) б) в) Рис..36. Сегментация тестовых кадров Далее повторяются все этапы как и в случае реконструкции изображений предложенным методом пространственной реконструкции изображений на основе геометрической модели с контурным и текстурным анализом. Поиск блоков при восстановлении текстуры объекта или фона имеет значительную вычислительную сложность при восстановлении больших участков [35]. В некоторых случаях изображение не имеет достаточного количества блоков для копирования потому что размер блоков большой или маска находится на особом месте на изображении где не могут быть найдены подобные блоки. Проблема выбора подобных блоков используя только часть блоков общая для всех Exeplar-based npantng методов. Предлагается решать эту задачу с помощью АР модели прогнозирования потерянных пикселей в блоке. После восстановления по отдельности переднего и заднего плана результирующая видеопоследовательность получается путем совмещения оценок. Схематически данный процесс представлен на рисунке.37.

147 54 Рис..37. Блок-схема этапа совмещения оценок для переднего и заднего плана Предлагаемый метод имеет некоторые недостатки связанные с поиском похожих областей на соседних кадрах который требует значительных вычислительных ресурсов при восстановлении больших областей текстуры. Предлагается модификация метода пространственно-временной реконструкции динамических изображений на основе геометрической модели основанная на использовании набора дескрипторов которые позволяют выделить информацию о периодическом движении объектов [3637]. Структурная схема модифицированного метода представлена на рисунке.38. Предложенный подход позволяет удалять или восстанавливать объекты используя пространственную и временную информацию соседних сцен. Алгоритм итеративно выполняет следующие операции: предобработка кадра; получение модели сцены; вычисление набора дескрипторов которые позволяют получить информацию необходимую для восстановления кадра; реконструкция кадров с использованием пространственно-временной области пикселей - 3D блоков (рис..39) [38-330]. На этапе предварительной обработки выполняется сегментация каждого кадра на передний план и фон. Основная идея предлагаемого подхода состоит в том чтобы интерполировать недостающие пиксели используя оценку на основе пространственно-временной информации которая описывается набором дескрипторов [33].

148 55 предобработка - Статичный фон Разбиение на группы кадров... Вычисление глобального видеодескриптора Реконструкция динамичных объектов Вычисление приоритета Поиск похожего глобального видео-дескриптора на соседних кадрах - Поиск на группе кадров блока 3D - Копирование блока 3D в область с максимальным приоритетом - Обновление значения приоритета для следующей итерации Повторение процедуры пока не будут заполнены все пиксели Повторение этого блока для всех кадров Реконструкция статичного фона Временное копирование блоков 3D или Синтез текстур в пределах кадра Рис..38. Структурная схема модифицированного метода пространственновременной реконструкции динамических изображений

149 56 Рис..39. Пространственно-временная область пикселей Для оценки значений дескрипторов используется подход предложенный в [33]. Глобальный видео-дескриптор вычисляется путем свертки пространственно-временных банков-фильтров (рис..40) в частотной области с группами кадров видеопоследовательности (рис..4). Такой дескриптор позволяет выделить информацию о движении и структуре сцены и классифицировать различные действия. Рис..40. Спектр отклика пространственно-временного 3D фильтра

150 57 Полосовой характер фильтров устраняет необходимость в компенсации движения. Частотный спектр видеопоследовательностей может быть оценен путем вычисления 3D дискретного преобразования Фурье (ДПФ). Движение является важным элементом пространственной сцены который может быть представлен в виде периодических или повторяемых элементов сцены. 3D ДПФ Банк фильтров 3D ОДПФ Усреднен ие МГК Рис..4. Структурная схема вычисления глобального видео дескриптора Первым шагом реконструкции является восстановление движущихся объектов переднего плана которые не пересекают область восстановленная. Если такие области отсутствуют на соседних кадрах то для восстановления используется стандартная процедура поиска похожего блока в пределах области кадра [333]. Реализация предложенных методов реконструкции динамических двумерных сигналов возможна как в аппаратном так и в программном исполнении [334-34].

151 58.6. Выводы по главе. Предложена модель статических и динамических двумерных сигналов на основе геометрической модели с контурным и текстурным анализом применительно к задаче реконструкции изображений.. Предложен метод локальной адаптивной аппроксимации изображения основанный на адаптации к изменениям значений градаций яркости изображения и вычисления оценок с помощью аппроксимации поверхностью методом наименьших квадратов. 3. Разработан метод пространственной реконструкции статических изображений на основе текстурно-геометрической модели изображений который заключается в реконструкции изображений с помощью восстановления контуров и синтеза текстуры путем моделирования авторегрессионной модели случайных полей. Предлагается алгоритм построения составной кривой с помощью кубических сплайнов при восстановлении границ объектов на изображении который позволяет уменьшить погрешность реконструкции. 4. Предложен метод пространственной реконструкции статических изображений на основе текстурной модели изображений который заключается поиске похожих областей и копировании их в область искажённых или отсутствующих значений пикселей. Предлагается использовать составные критерии при поиске похожих областей что позволяет уменьшить вычислительные затраты и погрешность восстановления. 5. Разработан метод пространственно-временной реконструкции динамических изображений на основе текстурно-геометрической модели изображений который заключается в поиске похожих областей на кадрах видеопоследовательности. В предлагаемом подходе на этапе предварительной обработки используется вычисление оптического потока и низкоуровневых признаков для каждого кадра видеоряда.

152 59 ГЛАВА 3. ОЦЕНКИ КАЧЕСТВА ВОССТАНОВЛЕНИЯ ДВУМЕРНЫХ СИГНАЛОВ ПРИМЕНИТЕЛЬНО К ЗАДАЧЕ ПРОСТРАНСТВЕННО- ВРЕМЕННОЙ РЕКОНСТРУКЦИИ ИЗОБРАЖЕНИЙ Оценка эффективности реконструкции двумерных сигналов представляет актуальную задачу которая в настоящее время еще не решена. Объективные критерии качества не всегда дают хороший результат при оценке качества обработки изображений так как необходимо учитывать ряд особенностей зрительного восприятия человека. С другой стороны при разработке радиотехнических систем следует учитывать многообразные аспекты решаемых задач поэтому представляет интерес задача использования системного подхода при обработке сигналов и изображений с учетом характеристик расхода вычислительных ресурсов. 3.. Анализ объективных и субъективных критериев оценки качества обработки двумерных сигналов В настоящее время оценка эффективности обработки изображений является актуальной задачей [-3]. При обработке изображений необходимо учитывать особенности зрительной системы человека в связи с чем критерии качества для анализа одномерных сигналов не всегда применимы к изображениям [ ]. Существует много примеров изображений для которых количественно качество оценивается как высокое а субъективно как низкое и наоборот []. При решении задачи уменьшения дисперсии шумовой составляющей и реконструкции изображений играет важную роль визуальная оценка особенно если результат обработки предназначен для наблюдателя а не для ЭВМ. В качестве оценки эффективности обработки изображений используется большое количество технических характеристик системы: соотношение сигнал/шум статистические характеристики шумовой составляющей градационные характеристики

153 60 спектральные (цветовые) характеристики интервалы дискретизации и т.д. [ ]. К наиболее употребляемым количественным оценкам качества изображения относятся: средняя разность качество корреляции нормированная корреляция верность изображения максимальная разность среднеквадратичная погрешность среднеквадратичная лапласианова погрешность максимальная нормированная абсолютная погрешность среднеквадратичная погрешность отношение сигнал/шум нормированная среднеквадратичная погрешность максимум отношения сигнал/шум. При визуальной оценке качества изображений используется два основных экспертных подхода: абсолютный и сравнительный [349 35]. В первом подходе эксперт оценивает изображения по бальной шкале качества или путем сравнения с набором эталонных изображений. В некоторых случаях эксперт принимает решение только на основании своего собственного опыта. В сравнительном экспертном подходе наблюдатель ранжирует набор конкретных значений. Шкала «общего качества» является распространенным видом шкалы оценок для которой каждому изображению присваиваются баллы соответствующие понятиям от «неудовлетворительно» до «отлично». Для каждого изображения наблюдатель выставляет балл той категории которая по его мнению в наибольшей степени соответствует качеству изображения. Одним из вариантов такой шкалы является относительная шкала «места в группе» в которой качество изображений сравнивается со всеми другими изображениями входящими в рассматриваемую группу [35]. При разработке систем различного назначения следует учитывать многообразные аспекты решаемых задач. Это и точностные характеристики измерительных или радиотехнических систем и устойчивость применяемых алгоритмов к различного рода флуктуациям и возмущениям и вычислительная сложность алгоритмов и соответственно сложность аппаратных решений. Конечно могут учитываться при разработке и другие аспекты скорость решения задачи надежность создаваемых средств и другие. Если решение указанных задач

154 6 стало легко реализуемым для современных вычислительных средств при обработке многих одномерных сигналов (в акустическом и радиодиапазонах) то обработка двумерных а тем более трехмерных и движущихся изображений представляет собой трудную техническую задачу требующую для ее решения огромной памяти и быстродействия. Поэтому представляет интерес задача использования системного подхода при обработке сигналов и изображений с учетом характеристик расхода вычислительных ресурсов. В анализе изображений после реконструкции областей пикселей большую роль играет визуальная оценка соответственно представляет интерес оценки качества обработки двумерных сигналов на основе системных критериев применительно к задаче пространственно-временной реконструкции изображений [355]. При этом существует необходимость развития теории восстановления изображений с целью решения задачи уменьшения ошибки реконструкции в сравнении с существующими методами а также вычислительных затрат для реализации алгоритмов на современных мобильных платформах. Объективные критерии оценки качества обработки. К наиболее употребляемым количественным оценкам качества изображения относятся [ 6]: средняя разность нормированный коэффициент корреляции максимальная разность верность изображения среднеквадратичная погрешность максимальная среднеквадратичная погрешность среднеквадратичная лапласианова погрешность нормированная абсолютная погрешность отношение сигнал/шум. Здесь и далее используются следующие обозначения: S неискаженное изображение S оценка изображения I J количество строк и столбцов изображения. В качестве одного из часто используемых на практике критериев эффективности обработки сигнала выступает значение среднеквадратического отклонения разности между оценкой полезного сигнала и её истиной моделью []:

155 RMSE I J 6 S S ( I ) ( J ) I J. (3.) К наиболее употребляемым объективным оценкам качества изображения так же относятся оценка отношения сигнал/шум и пикового отношения сигнал/шум выраженные в децибелах [7]: I J S SNR 0 lg I J ; (3.) S S PSNR 0lg ax ( S) I J RMSE. (3.3) Критерий равномерного приближения или максимальной ошибки эффективен при требовании высокой точности представления не интегральной оценки изображения в целом а каждого значения пикселя [ 7]: MAX ax S S. (3.4) I J Критерий средней абсолютной разности: MAE I J S I J S. (3.5) К объективным оценкам качества изображения так же относятся следующие критерии [35354]: Нормированная корреляция: I J I J S S S NK ; (3.6) / Качество корреляции: CQ I U I J S S S / ; (3.7) Верность изображения: IF I J S S S I J / ; (3.8)

156 63 Среднеквадратичная лапласианова погрешность: LMSE I J I [ O{ S J } O{ S [ O{ S }] )}] ; (3.9) где O { S } S S S S 4 S. Среднеквадратичная погрешность: MSE I J S S ( I ) ( J ) ; (3.0) при этом MSE может быть модифицирована с учетом специально созданной таблице корректирующих величин которая применяется для квантования коэффициентов дискретного косинусного преобразования блоков 8х8. Повышение качества восстановленного изображения достигается с помощью квантования коэффициентов с большим шагом. Установлено что система человеческого восприятия VHS имеет низкую чувствительность к искажениям на низких частотах чем к искажениям высокочастотной области. Тогда выражение MSE с учетом VHS для плавающего окна 8х8 и ДКП имеет вид: MSE S[ n] S[ n] T [ n] /[( I 7)( J 7) 64] HVS C (3.) n где Т с матрица квантования стандарта JPEG. Для каждого шага коэффициенты ДКП квантуются согласно их значимости для человеческого восприятия. Нормированная абсолютная погрешность: NAE I J I J S S / S (3.) определяет нормированную абсолютную погрешность между оригиналом и восстановленным изображением. Нормированная среднеквадратичная погрешность: Норма Минковского L p : NMSE I J S S S I J / (3.3)

157 64 Относительная энтропия: L p I J I J I J S p S p S log ps ps. (3.4) E( S S) p log. (3.5) Для использования критериев (3.-3.5) необходим известный набор тестовых изображений но они не всегда позволяют объективно оценить качество изображения в особенности с точки зрения его визуального восприятия. Другим популярным критерием является универсальный индекс качества UIQ который моделирует любое искажение изображения как комбинация трех факторов: потеря корреляции искажения светимости и контрастного искажения [350]. I J где S S S ( I ) ( J ) UIQ I S S S S J S S ( ) ( ) S S S ( I ) ( J ) S S S S S S (3.6) I J S I J S S I J Эксперименты на различных типах искажения изображения показывают что данный критерий коррелирует с субъективным качественным измерением [9]. Первая компонента коэффициент корреляции между S и S измеряет степень линейной корреляции между S и S в диапазоне [-]. Даже если S и S линейно связаны еще могут быть относительные искажениями между ними которые оценены во втором и третьей компонентах. Вторая компонента в диапазоне [0] показывает как близка минимальная разница между S и S. Слагаемые диапазоном [0]. S и S могут быть рассмотрены как оценка контраста S и S с Другим подходом к разработке критерия верности изображения относится способ анализа физиологических свойств человека присущих человеческому мозгу. Такой подход моделирует оптические элементы глаза с помощью S I J.

158 65 двумерной линейной системы с импульсным откликом H. Отклик фоторецепторов моделируется поэлементным нелинейным преобразованием O N {}. Процесс латерального торможения описывается импульсным откликом HL вторая двумерной системы. Преобразование всей моделирующей системой имеет вид: O { S N } HL O { HO S }. (3.7) Для разработки надежного среднеквадратического критерия верности изображений Манное и Сакрисон провели обширные измерения которые основываются зрительной модели человека. Эффекты в оптической системе глаза которые приводят к ухудшению разрешающей способности не учитываются и соотношение приводится к более простому виду: O { S N } HL O { S }. (3.8) В [356] описана проблема оценки качества реконструированных изображений на основе анализа «карты заметности» [357-36]. Авторы моделируют модель человеческого зрения при восприятии изображений и оценивают «отличаемость» восстановленных областей. Для количественной оценки заметности вычисляется «карта заметности» для данного изображения внутри и снаружи области восстановления и сравниваются между собой. Следующий шаг в этой области было сделан в работе [356]. Авторы ввели две метрики качества: критерий заметности (ASVS) и степень заметности (DN). Первая метрика вычисляется следующим образом: ASVS ( I) (/ )( ( S'( p)) ). (3.9) Вторая метрика DN определяется следующим выражением: p DN( I) (/( ))(( ( S'( p)) ( S'( p) S ( p)) ). (3.0) p Здесь в качестве S ( p) и S ( p) обозначены значения «карты заметности» внутри и снаружи области восстановления. Другая модель зрительной системы предложена в работе [379]. Авторами p предложена метрика структурного соответствия (SSIM):

159 SSIM 66 s C C s ss C C s s s s (3.) где s среднее s ; среднее s ; s s ковариация s и s ; C и ( L) C ( L) дисперсия s ; диапазон пикселей; 0 0 и 0 0 константы. дисперсия s ; s ss две переменных; L динамический Оценка качества применима только для яркостного канала изображения и рассчитывается в окне размером 8x8 которое должно смещаться через пиксель. В работе [363] авторы рекомендуют использовать группу окон для уменьшения сложности вычислений. Диапазон значений для SSIM индекса лежит в пределах от - до. При полном совпадении изображений индекс равен. К показателям по которым оценивают изображение как единое целое относятся следующие: яркость контрастность преобладающий тон резкость. Яркость изображения можно выразить как среднюю яркость всех пикселей по формуле: Яркость всего изображения Ŝ содержащего S ˆ R G B. (3.) S S S I J пикселей будет равна: I J Y ( ˆ S )/( ) I J. (3.3) Поскольку чувствительность человеческого глаза к разным частям спектра неодинакова то тональные характеристики будут влиять на субъективное восприятие яркости цветного пикселя. В соответствии с рекомендациями стандарта Федеральной комиссии связи (FCC) яркость изображения вычисляется по формуле: Sˆ 099 RS 0587GS 0 4 BS. (3.4) В данном выражении оценка представлена в абсолютных величинах при этом переход к относительному значению можно сделать разделив значение яркости на максимальное значение: ˆ Sˆ ax( Sˆ) S rel. (3.5)

160 67 Тогда Ŝ rel будет лежать в диапазоне [0]. Значение 0 будет соответствовать абсолютно чёрному изображению а значение абсолютно белому. Изображение оптимальной яркости должно иметь значение Ŝrel близкое к 05. Расстояние в RGB кубе между пикселями изображения и «средним тоном» определяется по формуле: d S ( RS R) ( GS G) ( BS B). (3.6) I J где R ( S )/( I ) ; G ( S )/( I J) ; B ( S )/( I J) G B J R I J I J. Наряду с яркостью контраст так же является важным параметром которые определяют качество изображений. Сюжетный характер изображений приводит к необходимости оценивать отдельные комбинации элементов изображения при определении его контрастности. Контраст каждой пары элементов вычисляется по формуле: где L L яркости элементов изображения. C L L (3.7) L L Используя правило суммирования контрастов вычисляется набор величин которые определяют восприятие каждой пары элементов изображения. Суммарный контраст вычисляется как усреднение матрицы локальных контрастов []. Гистограмма является мерой оценки качества изображений по степени отклонения реального распределения яркостей от нормального. Экспериментально установлено что оптимальное с точки зрения субъективного восприятия изображение имеет нормальное распределение яркостей его элементов. Результаты оценки качества изображения полученные по данному методу коррелируют с субъективной оценкой визуального качества [355]. В статье [355] авторами предлагается оценивать визуальное качество изображения с помощью вычисления параметров изображения таких как

161 68 среднеарифметическое значение яркостей полнота использования градаций яркостей резкость изображения и его обобщенный контраст. Для оценки тоновой контрастности изображения возможно вычисление среднего расстояния в RGB кубе между пикселями и «средним тоном»: d I J ( d I J S ). (3.8) / Максимальное расстояние в RGB-кубе между двумя точками равно длине главой диагонали: расстоянии dax 3 Rax 3 Gax 3 Bax. (3.9) Хорошую тоновую контрастность имеют пиксели расположенные на R ax G ax или B ax (длины ребра RGB-куба): d Rax. (3.30) Под тоновой насыщенностью понимается отличие цвета от ахроматического которое можно выразить как расстояние до диагонали ахроматических цветов: h S ( RS GS B ) R S S GS BS. (3.3) 3 Оценка тоновой насыщенности для всего изображения выражается как среднее значение тоновой насыщенности для всех пикселей: h h ). (3.3) ( S / Резкость так же выступает в роли оценки визуального качества двумерных сигналов которая измеряется скоростью нарастания яркости разделенной на общую величину перепада яркости: RO b ds dx dx a S( a) S( b) (3.33) где a и b точки которые расположены на противоположных краях перепада. Оценка резкости вычисляется следующим образом: RQ RO / L ax. (3.34)

162 69 Поскольку критерии оценки резкости связаны с локальными участками изображения общая оценка резкости по этим критериям будет сильно зависеть от типа объекта на изображении (документ пейзаж и т.д.). Поэтому в качестве оценки резкости всего изображения используются средние значения длины и крутизны для всех n переходных участков. / n / n d n d n. (3.35) Для оценки резкости цветных изображений вместо разности яркости соседних пикселей используется расстояние в RGB-кубе между цветами этих пикселей: d ( R R ) ( G G ) ( B B ). (3.36) Несмотря на грубость и приблизительность рассмотренных критериев и методов оценки их используют для предварительного отбора изображений из больших массивов в автоматическом режиме или предварительной оценки качества изображений для выбора более детальных методов оценки. Субъективные критерии оценки качества обработки. Другим подходом к оценке качества обработанных изображений является экспертная оценка которая бывает двух типов: ) Индивидуальные оценки которые используют независимых друг от друга мнения отдельных экспертов. ) Коллективные оценки которые используют коллективное мнение экспертов. Большую объективность имеет совместное мнение чем мнение каждого из экспертов. В качестве экспертных используют следующие оценки: метод ассоциаций основанный на изучении схожего по свойствам объекта с другим объектом; метод парных (бинарных) сравнений основанный на сопоставлении экспертом альтернативных вариантов и выборе наиболее предпочтительного;

163 70 метод векторов предпочтений основанный на анализе всего набора альтернативных вариантов и выборе наиболее предпочтительного; интервью; индивидуальный экспертный опрос основанный на опросе в форме метод средней точки основанный на получении двух альтернативных вариантов решения один из которых менее предпочтителен. Как показывает анализ экспертных методов в оценке качества изображений можно выделить два основных подхода: абсолютные и сравнительные. В первом подходе эксперт оценивает качество изображения по заранее определенной шкале. В некоторых случаях наблюдателю предоставляется набор эталонных изображений а иногда эксперт принимает решение только на основании своего собственного опыта. В сравнительных оценках наблюдатель ранжирует набор конкретных значений например в шкале оценок «общего качества» [345] изображениям приписываются баллы соответствующие понятиям от «неудовлетворительно» до «отлично». Одним из вариантов данной шкалы является относительная шкала «места в группе» по которой эксперт сравнивает изображение со всеми остальными входящими в рассматриваемую группу. Шкала погрешностей является самой распространенной шкалой оценок в которой эксперт оценивает в баллах степень искажений изменяющихся от «незаметных» до «крайне нежелательных». Эта шкала составлена Мерцем Фаулером и Кристоером. Результаты экспертных оценок обычно выражают с помощью среднего балла (Mean Opnon Scope) определяемого как: _ C n C / n (3.37) где n число изображений отнесенных к -й категории а K K C соответствующий балл. Считается что для получения надежной оценки качества изображения необходимо опросить не менее двадцати наблюдателей [368]. Одной из трудностей связанных с бальными оценками является возможная нелинейность шкалы.

164 7 Следует заметить что на результат субъективных экспертных оценок оказывает тип рассматриваемых изображений и окружающая обстановка. В случае если эксперт уже знаком с изображениями то он склонен более строго оценивать погрешность поскольку имеет сложившийся представление о структуре изображения. С другой стороны в незнакомом изображении искажения могут оставаться незамеченными пока наблюдателю не будет на них указано. Очевидно что условия эксперимента должны в максимально возможной степени соответствовать условиям наблюдения в реальной обстановке. Кроме того следует с осторожностью пользоваться экспертными оценками если изменились условия наблюдения. Так качество изображения на экране обычного телевизионного монитора может быть расценено как «хорошее» с не значительными искажениями [33]. На изображении в виде качественной фотографии все погрешности ранее скрытые нелинейностями телевизионного устройства могут стать очень заметными. В [34] предложен метод экспертной оценки семантический дифференциал. Данный подход позволяет качественным значениям поставить в соответствие баллы по 5 бальной или 7 бальной шкале по следующим качественным шкалам: ) Шкала общего качества (абсолютная шкала): отлично хорошо посредственно плохо неудовлетворительно. ) Шкала места в группе (относительная шкала): лучшее в группе заметно лучше среднего в данной группе несколько лучше среднего для данной группы среднее по группе несколько хуже среднего для данной группы существенно хуже среднего для данной группы самое плохое в данной группе. 3) Шкала искажений: незаметные еле заметные вполне заметные но слабо ухудшающие изображения ухудшающие изображения но допустимые несколько нежелательные определённо нежелательные крайне нежелательны. Для построения семантического пространства группе испытуемых необходимо оценить множество объектов по набору биполярных градуированных шкал. Как правило для оценок понятий по исходным шкалам наблюдается корреляция друг с другом. Главные или базисные шкалы выделяются с помощью

165 7 факторного анализа а оценки по остальным шкалам являются функциями от базисных оценок. Размеры групп испытуемых могут быть различны: от одного человека до репрезентативных выборок полученных большими социальными группами. Число объектов и пробных шкал возможно в диапазоне от нескольких десятков до сотен. В монополярных шкалах объекты оцениваются по выраженности одного свойства поэтому применение факторного анализа для поиска базисных свойств не требует биполярности. В методе тестирования клики к показам для оценки качества изображений проводится тестирование которое заключается в показе пар изображений при этом пользователь должен выбрать понравившееся ему изображение. Набор изображений обычно выводится в хаотическом порядке. На выходе получается оценка показатель кликабельность (clc-through rate CTR). CTR определяется как отношение числа кликов на изображение к числу показов и измеряется в процентах. В некоторых случаях используется комбинация объективных и субъективных критериев. В таком случае используют набор критериев а человекоператор оценивает важность отдельных параметров качества изображения Q... Q для различных классов искажений и строится некоторая комплексная оценка Q. В целом выражение для количественной оценки визуального качества полутоновых монохромных изображений записывается в виде [ ]: Q (3.38) KQ... RQ где - нормирующий коэффициент. Примером могут быть так же комплексные оценки вида []: Q=a Q + +a Q (3.39) Q Q... y y Q. (3.40)

166 Весовые коэффициенты a или 73 частичных оценок в комплексной оценке качества. y учитывают относительную важность Анализ различных критериев качества восстановления изображений показывает что данная задача не решена при решении задачи реконструкции изображений. Перспективными являются системные критерии которые позволяют учитывать не только точностные характеристики но и вычислительные затраты алгоритмов. Специфика решения задачи реконструкции во многих случаях делает не возможным использования объективных критериев с использованием не искаженного изображения соответственно представляет интерес разработка новых подходов к оценке качества на основе моделирования модели зрения человека и машинного обучения. 3.. Исследование критериев оценки качества реконструкции двумерных сигналов Представляет интерес разработка критерия оценки качества изображений на основе объединении самых важных показатели качества определение которых исходит из единой вероятностной модели изображения. При этом точность оценки зависит от количества параметров качества изображения. Тем не менее для этого метода следует иметь в виду что при увеличении количества параметров возрастает его вычислительная сложность. С целью выбора оптимального количества не коррелируемых критериев предлагается провести эксперименты на тестовых базах изображений. Так как задача фильтрации и оценки качества таких изображений хорошо изучены в литературе то в диссертационном исследовании рассматривается только оценка качества реконструированных изображений. Задача оценки эффективности реконструкции изображений осложняется отсутствием методологии постановки эксперимента. Как правило в литературе приводятся различные исследования на тестовых изображениях с различными типами

167 74 искаженных областей пикселей но обоснованный выбор моделей таких областей отсутствует. Для проведения исследований и обоснования методологии постановки эксперимента выбрано несколько классов изображений: текстура геометрические фигуры естественные изображения. Примеры тестовых изображений представлены на рисунках Выбор первого и второго класса изображений объясняется тем что практически любое изображение можно приставить в виде составной текстурно-геометрической модели которая описана в разделе. Третий класс представляется собой набор естественных изображений с разными сценами. Разрешение всех изображений составляет 600 на 600 пикселей. Количество изображений в каждой базе при проведении экспериментов составляет 00 штук. Рис. 3.. Примеры изображений из базы «Геометрия» Для оценки качества восстановления тестовых изображений моделируются искажения в виде потерянных областей пикселей. Представляет интерес исследование размера и формы области искажений от времени обработки и точности восстановления. В качестве методов восстановления выбраны следующие подходы: метод основанный на поиске похожих областей (М) [] метод основанный на спектральных преобразованиях (М) [50] метод основанный на вычислении частных производных (М3) [76].

168 75 Рис. 3.. Примеры изображений из базы «Текстура» Рис Примеры изображений из базы «Естественные изображения» В первом эксперименте предлагается установить зависимость времени обработки от размера области с искаженными пикселями. С этой целью в центре изображения моделируется круглая область с различным диаметром d примеры таких изображений при d= пикселей представлены на рисунке 3.4. На

169 76 рисунке 3.5 представлена зависимость времени обработки t(c) от размера области с искаженными пикселями для трех известных методов. Все графики получены для всех изображений трех баз путем усреднения. В данном случае не стоит разделять зависимости по базам изображений так как время обработки практически не зависит от сцены изображения а зависит от размера области восстановления. а) б) в) г) в) Рис Примеры искаженных тестовых изображений Анализ результатов представленных на изображении 3.5 показывает что время обработки для всех методов существенно зависит от размера области восстановления а зависимость имеет экспоненциальную зависимость. Анализ среднеквадратической ошибки от размера области приводятся для каждого класса отдельно что связано с тем что каждая группа методов использует различные геометрические свойства изображений и имеет различную эффективность для таких изображений.

170 77 На рисунке 3.6 представлена зависимость среднеквадратической ошибки (RMSE) от размера области с искаженными пикселями для трех известных методов для класса изображений «Текстура». t(c) M M3 M d Рис Зависимость времени обработки t(c) от размера области с искаженными пикселями Анализ результатов показывает что RMSE(d) так же имеет экспоненциальную зависимость. Стоит отметить что метод М позволяет получить значительно меньшую ошибку восстановления (в 3 раза) что объясняется принципом синтеза текстур который заложен в основе метода. Метод М имеет меньшее значение ошибки чем М так как спектральные преобразования позволяют лучше описать периодические структуры которыми являются текстуры. На рисунке 3.7 представлена зависимость среднеквадратической ошибки (RMSE) от размера области с искаженными пикселями для трех известных методов для класса изображений «Геометрия».

171 78 RMSE M3 M d M Рис Зависимость RMSE от размера области с искаженными пикселями для RMSE класса изображений «Текстура» M3 M M d Рис Зависимость RMSE от размера области с искаженными пикселями для класса изображений «Геометрия» Зависимость RMSE(d) имеет экспоненциальный характер так как при восстановлении все методы основаны на использовании доступных значений пикселей вокруг области с отсутствующими значениями а при увеличении размера области восстановления интервал от доступных пикселей увеличивается что приводит к значительному росту погрешности. Стоит отметить что в данном

172 79 примере метод М имеют погрешность намного большую чем для изображений класса «Текстура» так как не позволяет интерполировать контуры. На рисунке 3.8 представлена зависимость среднеквадратической ошибки (RMSE) от размера области с искаженными пикселями для трех известных методов для класса изображений «Естественные изображения». RMSE M M3 0 8 M d Рис Зависимость RMSE от размера области с искаженными пикселями для класса изображений «Естественные изображения» Анализ результатов показывает что метод М позволяет получить меньшую ошибку восстановления. Все значения погрешностей полученные различными методами близки и отличатся на десятки процентов. Наибольшее значение погрешности имеет метод основанный на спектральных преобразованиях. Анализ результатов представленных на изображениях позволяет выбрать модель искажений для дальнейших экспериментов. В данном случае предлагается зафиксировать диаметр области восстановления d=0. Для того чтобы учесть различные типы особенностей на изображении предлагается моделировать повторяющиеся области с искаженными областями с интервалом 00 пикселей (рисунок 3.9).

173 80 Рис Примеры искаженных тестовых изображений при d=0 Анализ критериев эффективности обработки изображений (3.)-(3.37) показывает что большинство критериев коррелируют явным образом соответственно на первом шаге можно сгруппировать критерии по нескольким группам. Таким образом в первую группу стоит выделить интегральные критерии которые являются записью нормы Минковского L p при разных значениях p и различных нормировках. К этой группе относятся: среднеквадратическое отклонение RMSE отношение сигнал/шум SNR пиковое отношение сигнал/шум PSNR критерий средней абсолютной разности MAE нормированная корреляция NK качество корреляции CQ верность изображения IF среднеквадратичная лапласианова погрешность LMSE нормированная абсолютная погрешность NAE нормированная среднеквадратичная погрешность NMSE. Вторая группа критериев использует точечную оценку например критерий максимальной ошибки MAX. Третья группа критериев основана на моделировании модели человеческого зрения при этом используются следующие критерии: оценка уровня адаптации зрительной системы LQ универсальный индекс качества UIQ метрика

174 8 структурного соответствия SSIM критерий заметности (ASVS) степень заметности (DN). В качестве экспертной оценки используется средний балл C. В таблице 3. представлены значения погрешностей вычисленных по различным критериям для трех классов изображений и методов M M M3. В таблице представлены усредненные значения критериев вычисленные по 00 изображениям каждой базы а так же оценка среднеквадратического отклонения усреднённых значений. Таблица 3. - Значения критериев Метод Критерий «Текстура» «Геометрия» «Естественные изображения» M M M3 M M M3 M M M3 RMSE MAX SSIM _ C Системный критерий оценки качества реконструкции двумерных сигналов Системный критерий оценки качества реконструкции двумерных сигналов с использованием вектора эффективности можно записать в общем виде: где в качестве показателей Q Q Q... Q ) (3.4) ( n Q могут быть использованы показатель адекватности представления сигнала показатель функциональной устойчивости показатель сложности (алгоритма системы). Под адекватностью понимается показатель точности (погрешность в том или ином смысле) расстояние в некотором метрическом пространстве между исходным сигналом и его сжатым представлением и т.д. Функциональная

175 8 устойчивость [] способность системы сохранять требуемые параметры при изменении условий функционирования (изменение параметров допуски на номиналы элементов отклонения вероятностных характеристик помех от принятых при проектировании и т.д.). Показатель сложности характеризует расход ресурсов при реализации системы или вычислительных алгоритмов (число вычислительных операций быстродействие объем памяти число элементов аппаратной структуры и прочее). Для получения системного критерия оценки качества проведем анализ результатов таблицы 3. на корреляцию критериев между собой. Оценка коэффициента вычисляется попарно между критериями с помощью коэффициента корреляции по формуле: KOR N N ( R R)( G ( R R) N G ) ( G G ). (3.4) Здесь R и G соответственно вектора полученные с помощью различных критериев качества для всех тестовых изображений. Результаты вычисления коэффициента корреляции представлены в таблице 3.. Таблица 3. - Коэффициент корреляции для различных методов вычисления метрики качества изображений RMSE MAX SSIM C RMSE MAX SSIM C Так критерий MAX коррелирует с SSIM а RMSE с SSIM то для анализа погрешности реконструированных изображений возможно использовать только среднеквадратическую ошибку. С учетом вычислительных затрат системный критерий можно записать в следующем виде [370]: где Q q q Q Q (3.43) Q RMSE Q W W затраты аппаратурных и вычислительных ресурсов q q весовые коэффициенты.

176 83 На рисунке 3.0 приведена зависимость функции принадлежности для ограничений (затрат) N H. При построении следует учитывать связь количества вычислительных операций со значением N то есть величины l N и возможности реализации алгоритма определяемые также методом экспертных оценок. Для примера в таблице 3.3 приведены значения N. Таблица Зависимость функции принадлежности для ограничений (затрат) N H N На рисунке 3.0 приведены зависимости Q N и N экспериментальных данных. Q H Q для Q Q 0.5 H N N Рис Зависимости функций принадлежности целей и ограничений построенные на основе теоретических результатов и экспертных оценок На основе проведенных исследований используя теорию принятия решений в нечетких условиях по схеме Беллмана-Заде [37] выбраны следующие значения весовых коэффициентов q q 0 5 N. Системный критерий запишется в следующем виде: 5 0 N Q Q Q (3.44)

177 84 Таким образом использование теории нечетких множеств в задачах непараметрического распознавания сигналов позволяет согласовать формализованные и слабо формализованные данные и достигнуть компромисса между эффективностью (достоверностью распознавания) и сложностью (время на обучение и распознавание объем оборудования объем памяти) системы восстановления изображений. Предложенный подход может быть обобщён на многие реальные изображения и другие методы обработки. Стоит отметить что выбор весовых коэффициентов показателей качества представляет самостоятельную задачу которая может быть решена с использованием экспертных оценок Оценка качества реконструкции двумерных сигналов на основе машинного обучения Исследованные критерии количественных оценок качества восстановления изображения не являются универсальными. В большинстве случаев предлагается оценка которая не основана физиологических свойствах зрения а в большинстве случаев удобная для вычислений и анализа. Получение более эффективных оценок качества связано с учетом зрительной системы человека её физических свойств так как реконструкция изображений в некоторых случаях предполагает удаление нежелательных объектов на исходной сцене. Соответственно при такой постановке задачи использование объективных критериев основанных на сравнении восстановленного изображения и не искаженного не возможно. Для решения таких задач представляет интерес разработка новых подходов оценки качества на основе моделирования модели зрения человека и машинного обучения. В работе используются обозначения аналогичные обозначениям принятым в разделе. Все изображение S состоит из двух непересекающихся областей: реконструированной области R и известной области S. Задача реконструкции состоит в модификации значений пикселей изображения внутри области R таким образом чтобы область не выделялась на фоне окружающего изображения. Цель

178 85 реконструкции может состоять в восстановлении поврежденных частей изображения (например царапин и трещин на старых фотографиях) или удаления нежелательных объектов на изображении. Область R определяется пользователем то есть определение области R не является частью задачи реконструкции. В общем случае для успешного построения метрики качества изображения на основе машинного обучения требуется решение трех следующих задач:. Определение пространства признаков F служащих описанием входных сигналов.. Выбор функции отображения из пространства признаков в пространство оценок качества. 3. Обучение системы и проверка ее устойчивости (проверка на переобучение и т.д.). Структурная схема выбранного подхода представлена на рисунке 3. и составит из следующих этапов [37-373]:. Выбор области интереса (с использованием карты внимания);. Вычисление низкоуровневых признаков изображения; 3. Построение дескриптора восстановленной области на базе низкоуровневых особенностей; 4. Решение задачи регрессии с целью получения численной оценки качества на основе полученного вектора-дескриптора. Восстановленное изображение Выбор области интереса Вычисление локальных признаков Оценка качества Регрессия Построение дескриптора всей области Обучающие данные Рис. 3.. Блок-схема алгоритма

179 86 В работах [356374] показано что визуальное внимание играет важную роль в зрительном восприятии человека. В каждый момент времени человеческий глаз ясно видит лишь небольшую часть сцены в то же время гораздо более значительная область сцены воспринимается как «размытая». Этой «размытой информации» достаточно для оценки важности различных областей сцены и привлечения внимания к важным областям зрительного поля. Большинство методов позволяют получить так-называемую «карту внимания»: двумерное изображение в котором значения каждого пикселя связанно с важностью соответствующей области. «Карта заметности» («карта внимания» salency ap) означает «топографически упорядоченную карту отражающую визуальную заметность соответствующих областей изображения» [375]. Для получения «карты внимания» в работе используется Salency Toolbox набор инструментов который использует модель зрительной системы человека. Важно отметить что нет смысла сравнивать восстановленную область на исходном и восстановленном изображении так как общее содержание может значительно измениться. Вычисление «Карты внимания» происходит для каждого пикселя по трем признакам которые близки к моделированию свойств зрительной системы человека: яркость цвет и ориентация (рис. 3.). Карта яркости вычисляется как разность центрального пикселя и окрестности в изображениях гауссовой пирамиды которая содержит пять изображений ( ) полученных последовательным гауссовским сглаживанием и уменьшением масштаба. Яркостные значения центра и окрестности рассчитываются для каждого пикселя сравнением яркости точки с усредненной яркостью в окрестности. Усредненное значение яркости вычисляется по квадратной области размера 7 7 точек вокруг рассматриваемой точки. Вычисленные карты объединяются с помощью метода межмасштабного суммирования (across-scale addton).

180 87 Карта цветовой заметности вычисляется для следующих цветов: красного синего зеленого и желтого. Для обеспечения соответствия евклидового расстояния между цветами их зрительному восприятию RGB изображение преобразуется в цветовое пространство CIE LAB. Для преобразованного изображения так же строится пирамида гауссова как описано выше. На каждом уровне пирамиды рассчитываются четыре карты яркости цвета. Карты цветовой заметности строятся аналогично построению карты заметности яркости с помощью вычисления разности центра и окрестности и метода межмасштабного суммирования. Рис. 3.. Блок-схема расчета «карты внимания» На следующем этапе строятся карта направления для различных масштабов и четырех ориентаций: Таким образом применяется преобразование Габора к изображениям пирамиды разности (DoG dfference of Gaussans). Полученные изображения направлений имитируют отклик нейронов

181 88 зрительной коры мозга человека. Далее полученные карты заметности нормализуются и объединяются в единое изображение. Далее карта заметности нормализируется для каждого признака с помощью умножения на коэффициент равный числу локальных максимумов заданный порог. Результирующая карта заметности определяется как сумма нормализованных значений карты заметности признаков с одинаковыми весами. Пример работы карты внимания представлен на рисунке 3.3. а) б) Рис Исходное изображение и соответствующая ему «карта внимания» Для выбора областей интереса предлагается использовать следующее выражение [356]:. (3.45) GD out S( p) R Здесь S - карта внимания для реконструированного изображения а S ( p) pr значение карты внимания соответствующее пикселю p. В выражении приведенном выше плотность взгляда вычисляется внутри и снаружи восстановленной области изображений. Значение GD out используется в качестве

182 89 порогового значения при принятии решения о том какие части изображения будут использоваться при оценке а какие нет. Принимаются во внимания только те области для которых S ( p) GD. out В системах цифровой обработки сигналов широко используются спектральные представления хорошо согласующиеся с алгоритмами цифровой обработки и позволяющие получить компактное описание сигнала. Для минимизации описания сигналов а значит и вычислительных ресурсов необходимо на основе некоторого критерия выбирать систему базисных функций с учетом свойств исследуемых сигналов. При этом нужно также учитывать возможность более простой аппаратной или программной реализации базиса. Выбор базиса в значительной степени определяет эффективность алгоритмов обработки изображений. В качестве базиса пространства используются любые полные ортогональные системы функций. Это необходимо для обеспечения однозначного представления изображения в виде спектра. При этом чаще всего используются тригонометрические функции функции Уолша Хаара и другие ортогональные системы функций удобные для выполнения цифрового спектрального анализа [377]. В качестве низкоуровневых признаков локальных областей используются спектральные представления. Далее предлагается анализ следующих базисов Фурье Уолша Хаара Косинус Хартли с использованием вектора эффективности (3.44). Конечно в задаче выбора базиса разложения сигналов существенны свойства множества анализируемых сигналов. Но выбор оптимального базиса по критерию минимума погрешности представления затрудняется отсутствием достаточных априорных сведений. Так базис Карунена-Лоэва являющийся оптимальным при разложении стационарных случайных процессов по критерию минимума среднеквадратической погрешности находится лишь при известной корреляционной функции процесса что редко соответствует реальной ситуации. К тому же разложение Карунена-Лоэва требует при реализации больших вычислительных затрат особенно значительных при обработке изображений [].

183 90 При решении трудоемких прикладных задач представляется целесообразным осуществлять выбор базиса спектрального разложения на основе критерия включающего как погрешность представления так и вычислительные затраты процедур спектрального анализа. В теории статистических решений используются различные статистические критерии оптимальности. При синтезе алгоритмов обработки сигналов и системы чаще всего используется критерий минимума среднего риска позволяющий учесть статистику помех и сигналов. Он состоит в том что каждому решению приписывается некоторая стоимость» определяемая последствиями ошибочных решений. Оптимальным решающим правилом является такое которая обеспечивает минимум среднего риска. Средним риском называется безусловное математическое ожидание стоимости. Функция стоимости выбирается достаточно произвольно но она должна учитывать конкретные условия решения поставленной задачи. Пример использования такого подхода для выбора ортогонального базиса разложения а также при решении задачи измерения параметров сигналов в радиолокации приведен в [377]. При использовании экспертных оценок что часто требуется для формирования показателя сложности достаточно конструктивным является использование теории нечетких множеств. В общем случае упрощенная математическая модель преобразования изображения представляется в виде: где S T Y I J (3.46) Y входное изображение; S обработанное изображение; T оператор преобразования. Для оптимизации выбора базиса разложения сигналов будем использовать критерий минимума среднего риска. Для этого необходимо чтобы был задан класс используемых сигналов и были известны их вероятностные характеристики.

184 9 Для заданного класса двумерных процессов Y ( l) Y ( l) y ( l) предполагается известной вероятность каждого из подклассов P где индекс номер подкласса с некоторыми общими свойствами а номер реализации процесса -го подкласса. Рассмотрим способ нахождения оптимального базиса в рамках решаемой задачи. Разложение изображения системе ( ) ( ) uu v : L ( ) Y в обобщенный ряд Фурье по -й базисной ( ) ( ) ( ) c u v u u v ( ) uv Y (3.47) при конечном числе членов ряда M и N можно охарактеризовать погрешностью где ( ) ( ) ; ˆ( ) ( M N) Y Y ( ; M N) (3.48) ˆ ( ) ( расстояние в некоторой метрике Y ; M N) частичная сумма M и N членов ряда (3.47) номер реализации процесса. ) Вычисление коэффициентов ряда Фурье в базисе uu ( v ( ) связано с определенными вычислительными затратами ( M N). Введем функцию потерь учитывающую как потери связанные с погрешностью усечения ряда Фурье так и вычислительные затраты: ( ) ( ) ( ) W ( M N); Q ( M N). (3.49) Усредняя функцию потерь (3.49) по реализациям получим значение условного риска зависящего от базиса: ( ) Q ( ) ( ) ( M N); Q ( M N) R W w( ) dd (3.50) где w ( ) плотность вероятности анализируемых сигналов а угловые скобки означают операцию статистического усреднения. Для нахождения среднего риска подклассам сигналов в соответствии с их вероятностями R нужно усреднить условный риск по P : l

185 9 L R P l l R. (3.5) В соответствии с критерием минимума среднего риска из M базисов выбирается тот для которого средний риск минимален. При отсутствии априорных сведений о вероятностях подклассов сигналов ограничиваются критерием минимума условного риска. Данный подход использовался при спектральном представлении изображений различных типов в базисах непрерывных функций (Фурье Хартли косинусное преобразование) а также кусочно-постоянных функций Уолша и Хаара. Для оценки эффективности системного критерия качества обработки изображений рассматриваются тестовые изображения в виде текстур полученных на основе моделирования гауссовских полей с заданными корреляционными функциями. Аппроксимирующие выражения для корреляционных функций (КФ) могут быть выбраны по-разному в качестве основных используют разделимую экспоненциальную функцию экспоненциальную функцию с круговой симметрией гауссоидальную функцию. При этом математическое описание должно удовлетворять общим свойствам корреляционной функции и отображать характерные свойства реальных полей. Генерирование однородных нормальных случайных полей как и стационарных нормальных случайных процессов наиболее просто производится методом формирующего фильтра. В работе рассматриваются цифровые двумерные сигналы 8-битные полутоновые изображения (56 оттенков серого) размером 8 8 пикселей. Изображение описывается некоторой матрицей N элементами которой являются значения Y M яркости отсчетов изображения. В рассматриваемом случае M = N. а) Случайный двумерный сигнал с гауссовым распределением со спектральной плотностью мощности: S( u v ) u v exp( ) (3.5)

186 среднеквадратическое отклонение; б) текстурное изображение «облака» [8]. Выберем функции потерь двух видов: и W W ( ) ( ) Q (3.53) Q (3.54) где - среднеквадратическая погрешность для -й базисной системы Q вычислительные затраты в качестве которых можно используется количество эквивалентных сложений номер реализации двумерного сигнала. Для выбранных базисных систем количество эквивалентных сложений в зависимости от числа членов ряда N определяется (с использованием [79]) табл Таблица 3.4 Аналитические выражения алгоритмической алгоритмов двумерных преобразований Вид преобразования Преобразование Фурье Косинусное преобразование сложности Количество эквивалентных сложений (размер изображения N N ) 4 N log 0 N log Преобразование Хартли N log N 5N Преобразование Уолша Преобразование Хаара N log 4N N N N Относительную погрешность разложения n ошибки аппроксимации к мощности Р самого сигнала. определим как отношение Относительную среднеквадратическую погрешность аппроксимации сигнала можно определить как:

187 94 M N ( Y Yˆ M N ( Y ) ) (3.55) где Y исходное изображение; ˆ восстановленное изображение по Y усеченному ряду (частичная сумма M и N членов ряда); N M количество отсчетов сигнала в строке и столбце соответственно. Для выбранных двумерных сигналов эти погрешности определены путем моделирования и приведены в табл. 3.5 и 3.6. Таблица 3.5 Зависимость среднеквадратической погрешности аппроксимации изображения с заданной СПМ гауссовой формы от числа членов ряда Вид преобразования Число членов ряда Преобразование Фурье Косинусное преобразование Преобразование Хартли Преобразование Уолша Преобразование Хаара Таблица 3.6 Зависимость среднеквадратической погрешности аппроксимации изображения в виде текстуры «облака» от числа членов ряда Вид преобразования Число членов ряда Преобразование Фурье Косинусное преобразование Преобразование Хартли Преобразование Уолша Преобразование Хаара В соответствии с выбранными формами функции потерь (3.53) и (3.54) были рассчитаны условные риски при использовании заданной совокупности базисов и двух типов двумерных сигналов (табл. 3.7 и 3.8).

188 95 Таблица 3.7 Величина риска при аппроксимации изображения с заданной спектральной плотностью мощности гауссовой формы при различном числе членов ряда Вид преобразования Число членов ряда а) Преобразование Фурье Косинусное преобразование Преобразование Хартли Преобразование Уолша Преобразование Хаара б) Преобразование Фурье Косинусное преобразование Преобразование Хартли Преобразование Уолша Преобразование Хаара Таблица 3.8 Величина риска при аппроксимации изображения в виде текстуры «облака» при различном числе членов ряда Вид преобразования Число членов ряда а) Преобразование Фурье Косинусное преобразование Преобразование Хартли Преобразование Уолша Преобразование Хаара б) Преобразование Фурье Косинусное преобразование Преобразование Хартли Преобразование Уолша Преобразование Хаара Из результатов моделирования следует что наименьшая величина риска при выбранных функциях потерь получена для функций Хаара. Но этот вывод не

189 96 следует абсолютизировать т.к. учитывались лишь операции спектрального разложения. При учете всего цикла обработки фильтрации обнаружения распознавания и т.д. результаты могут быть иными. Тем не менее использование комплексного критерия при выборе базиса обработки изображений позволяет наиболее эффективно решить многие сигнальные и системные задачи. На основе проведенного анализа выберем базис Хаара для представления локальных областей изображений. Следует отметить что размер восстановленной области различен для различных изображений. В связи с этим на основе низкоуровневых признаков следует формировать высокоуровневое представление фиксированного размера. В качестве высокоуровневого представления мы используется подход «мешок слов» [378]. Процедура построения дескриптора (сигнатуры) восстановленной области состоит из двух шагов. На первом шаге строится словарь. Для этого используются низкоуровневые особенности извлеченные из всех изображений обучающего набора изображений. Для построения словаря извлеченные особенности делятся на 00 классов с помощью алгоритма кластеризации -средних. Каждый элемент словаря представляет собой центроид для одного из классов найденных процедурой кластеризации. Каждое слово в словаре представляет Хаара от блока изображения размером 8x8. Полученный словарь используется на втором этапе: построении гистограмм частот для слов из словаря в качестве вектора признаков дескриптора восстановленной области (рис. 3.4). Полученный набор дескрипторов используется для обучения машины регрессии (Support Vector Regresson). Для получения гистограммы частот слов из словаря извлекаются все визуально заметные области (заметность определяется с использованием карт внимания) конкретного изображения. Затем к каждому из извлеченных блоков применяется преобразование Хаара и выполняется классификация согласно полученному словарю на основе эвклидова расстояния. Каждый бин результирующей гистограммы содержит число низкоуровневых особенностей конкретного класса в данной восстановленной

190 97 области. После нормализации гистограммы получается «сигнатура» изображения высокоуровневое представление восстановленной области [375]. Рис Построение гистограммы С целью оценки эффективности разработанной метрики использовался набор из 300 тестовых изображений. В качестве методов восстановления выбраны следующие подходы: метод основанный на поиске самоподобных областей [] метод основанный на спектральных преобразованиях [50] метод основанный на вычислении частных производных [76]. Для каждого изображения получена экспертная оценка с привлечением 30 человек. Результаты разделены на два непересекающихся набора. Первый использовался для обучения во второй для проверки результата обучения. Эксперты оценивали качество реконструированных изображений по шкале представленной в таблице 3.9. Для вычисления C используется подход среднего балла (3.37). Для оценки эффективности полученной метрики используется коэффициент корреляции вычисляемый по формуле: KOR N N ( R R)( G ( R R) N G ) ( G G ). (3.56)

191 98 Здесь R и G соответственно вектора полученных с помощью объективной метрики и экспертным методом оценок качества. Результаты сравнения представлены в таблице 3.0. Анализ полученных результатов показывает что предложенный подход превосходит известные метрики качества на выбранном наборе данных. Таблица 3.9 Шкала экспертной оценки C Шкала Критерий 5 Отлично Артефакты отсутсвуют 4 Хорошо Артефакты заметны но не значительно 3 Удовлетворительно Артефакты заметны Плохо Артефакты значительно заметны Очень плохо Артефакты сильно заметны Таблица 3.0. Коэффициент корреляции для различных методов вычисления объективной метрики качества изображений Методы DN [356] SSIM [379] ASVS [356] Предложенный подход KOR Оценка качества полученная с использованием приведенного подхода коррелирует с субъективной экспертной оценкой C (табл. 3.). Таблица 3.. Средний балл и коэффициент корреляция предлагаемой метрики оценки качества для различных методов реконструкции изображений Методы М М М3 С Т ГФ ЕИ Т ГФ ЕИ Т ГФ ЕИ C KOR Выводы по главе. Анализ литературных источников показывает отсутствие результатов сравнения методов реконструкции изображений по унифицированным критериям что приводит к неоднозначности при принятии решении об эффективности

192 99 методов. При анализе изображений после этапа реконструкции областей пикселей большую роль играет визуальная оценка соответственно представляет интерес оценка качества обработки двумерных сигналов на основе системных критериев применительно к задаче пространственно-временной реконструкции изображений. При этом существует необходимость развития теории восстановления изображений с целью решения задачи уменьшения ошибки реконструкции в сравнении с существующими методами а также вычислительных затрат для реализации алгоритмов на современных мобильных платформах. Создание более совершенных оценок качества изображений связано с более глубоким изучением свойств зрительной системы человека так как реконструкция изображений в некоторых случаях предполагает удаление нежелательных объектов на исходной сцене. Соответственно при такой постановке задачи использование объективных критериев основанных на сравнении восстановленного изображения и неискаженного невозможно. Для решения таких задач представляет интерес разработка новых подходов оценки качества на основе моделирования зрения человека и машинного обучения.. Разработан системный критерий оценки качества обработки двумерных сигналов применительно к задаче пространственно-временной реконструкции изображений который учитывает вычислительные затраты и погрешность восстановления. Проведены исследования с использованием системного подхода в обработке изображений для оценки качества обработки двумерных сигналов на основе комплексных критериев включающих показатели адекватности и объема вычислений. 3. Предложена объективная метрика оценки качества изображений на основе машинного обучения. Продемонстрировано что оценка качества полученная с использованием приведенного подхода коррелирует с субъективной оценкой качества.

193 00 ГЛАВА 4. ИССЛЕДОВАНИЕ МЕТОДОВ ВОССТАНОВЛЕНИЯ СТАТИЧЕСКИХ И ДИНАМИЧЕСКИХ ДВУМЕРНЫХ СИГНАЛОВ Проблема оценки эффективности обработки двумерных сигналов состоит в том что необходимо учитывать особенности зрительного восприятия человека в связи с чем объективные критерии качества в некоторых случаях показывают не удовлетворительный результат на изображениях. Представляет интерес исследование методов восстановления статических и динамических двумерных сигналов на различных тестовых изображениях и предложенном системном критерии в сравнении с известными методами. 4.. Анализ эффективности метода восстановления двумерных сигналов на основе адаптивной локальной аппроксимации При проведении экспериментов используется модель шумовой составляющей имеющая гауссовский закон плотности распределения. Данное требование является нестрогим если априорная информация об изображении ограничена Выбор гауссовского закона при моделировании исследовании эффективности предпочтителен в большинстве случаев так как согласно центральной предельной теореме сумма достаточно большого количества слабо зависимых случайных величин имеет распределение близкое к нормальному. Исследование эффективности предложенного метода восстановления двумерных сигналов на основе локальной адаптивной аппроксимации проводились на тестовых изображениях: «Caeraen» (рис. 4.а) изображение с однородными областями и резкими перепадами яркости между ними «Lena» (рис. 4.б) - изображение с высоким уровнем детализации «Barbara» (рис. 4.в) изображение с большим количеством текстурных участков и мелких деталей изображения.

194 0 а) б) в) Рис. 4.. Примеры тестовых изображений Для использования метода восстановления двумерных сигналов на основе локальной адаптивной аппроксимации задаются два параметра: максимальная длина интервала квазистационарности R и вероятность ошибки первого рода. Часть исследований по обоснованию значений параметров представлены в работе [380] которые показали инвариантность в широком классе изображений. В качестве рекомендуемых значений приняты R 9 и 0 0. Эффективность предлагаемых методов сравнивается с известными методами фильтрации в качестве которых используются медианный фильтр среднегеометрический фильтр фильтр скользящего среднего вейвлетфильтрация -урезанный фильтр фильтр Вилкоксона локальный адаптивный фильтр фильтр серединной точки локальный адаптивный фильтр и фильтр Винера []. Оценка погрешностей для известных методов при обработке в скользящем окне проводится по неполному размеру изображения из-за присутствия краевых эффектов на границах изображения []. Предложенный метод обрабатывает всё изображение полностью соответственно погрешность так же вычисляется для всех значений пикселей двумерного сигнала. Все расчеты для методов выполнены с параметрами при которых достигается минимальное значение СКО. На рисунке 4. представлены результаты обработки тестового изображения «Caeraen» при ш 0 а в таблице 4. значения погрешности (a зашумленное изображение б двумерный метод размножения оценок в адаптивная локальная аппроксимация г медианный фильтр д фильтр

195 0 скользящего среднего е фильтр среднего геометрического ж фильтр серединной точки з -урезанный фильтр и локальный адаптивный фильтр к вейвлет-фильтрация л фильтр Вилкоксона м фильтр Винера). Как показывает визуальный анализ полученных оценок перепады яркости изображения сохранены лучше при обработке адаптивным двумерным методом размножения оценок. Изображение обработанное двумерным методом размножения выглядит размытым что приводит к потере мелких деталей и текстур на некоторых участках изображений. Полученный результат можно объяснить тем что двумерный сигнал описывается сложной функциональной зависимостью которую не возможно точно описать поверхностью первого порядка при аппроксимации МНК. При обработке фильтром Винера наблюдается компромисс между сглаживанием шумовой составляющей и сохранением перепадов яркости. К недостаткам обработки следует отнести значительное уменьшение контрастности изображения. Появление искажений при обработке - урезанным фильтром связанно с расфокусировкой двумерного сигнала. При обработке остальными методами наблюдается появление зернистость из-за незначительного подавления шума. Использование медианного фильтра позволяет сохранить перепады яркости но возникают ошибки из-за потерь мелких деталей текстуры изображения.

196 03 а) б) в) г) д) е) ж) з) и) к) л) м) Рис. 4.. Результат обработки тестового изображения «Caeraen» различными методами при ш 0

197 04 Таблица 4. Погрешность выделения изображения «Caeraen» при ш 0 Метод обработки изображения Критерий RMSE SNR (дб) PSNR (дб) MAX Двумерный РАЗОЦ Адаптивная локальная аппроксимация Медианный фильтр Фильтр скользящего среднего Фильтр среднего геометрического Локальный адаптивный фильтр Фильтр серединной точки урезанный фильтр Вейвлет-фильтрация Фильтр Вилкоксона Фильтр Винера В таблице 4. представлены количественные значения подтверждающие визуальную оценку. При обработке методом адаптивной локальной аппроксимации оценка изображения «Caeraen» имеет наименьшее значение среднеквадратической ошибки равное 0043 которая на % меньше в сравнении с двумерным методом размножения и в среднем на 35% меньше в сравнении с остальными методами. Наибольшую погрешность имеет точки для которого значение СКО составляет фильтр серединной На рисунке 4.3 представлены результаты обработки тестового изображения «Lena» при ш 0 а в таблице 4. значения погрешности (a зашумленное изображение б двумерный метод размножения оценок в адаптивная локальная аппроксимация г медианный фильтр д фильтр скользящего среднего е фильтр среднего геометрического ж фильтр серединной точки з -урезанный фильтр и локальный адаптивный фильтр к вейвлет-фильтрация л фильтр Вилкоксона м фильтр Винера).

198 05 а) б) в) г) д) е) ж) з) и) к) л) м) Рис Результат обработки тестового изображения «Lena» различными методами при ш 0

199 06 Эффективность обработки адаптивной локальной аппроксимацией подтверждает визуальный анализ изображения «Lena» при этом стоит отметить что наблюдается потеря резкости мелких деталей перьев на шляпе. На оценке полученной фильтром среднего геометрического мелкие детали изображения сохранены лучше. Наименьшая эффективность при обработке данного тестового изображения наблюдается для локального адаптивного фильтра ему соответствует RMSE Адаптивный двумерный метод адаптивной локальной аппроксимации позволяет получить наименьшее значение погрешности RMSE 0036 которая на 5% меньше погрешности оценки сигнала двумерным методом размножения оценок за счёт адаптации границ локальной области фильтрации к изменениям значений градаций яркости изображения. Таблица 4. Погрешность выделения изображения «Lena» при ш 0 Метод обработки изображения Критерий RMSE SNR (дб) PSNR (дб) MAX Двумерный РАЗОЦ Адаптивная локальная аппроксимация Медианный фильтр Фильтр скользящего среднего Фильтр среднего геометрического Локальный адаптивный фильтр Фильтр серединной точки урезанный фильтр Вейвлет-фильтрация Фильтр Вилкоксона Фильтр Винера На рисунке 4.4 представлены результаты обработки тестового изображения «Barbara» при ш 0 а в таблице 4.3 значения погрешности выделения изображения (a зашумленное изображение б двумерный метод размножения оценок в адаптивная локальная аппроксимация г медианный фильтр д фильтр скользящего среднего е фильтр среднего геометрического ж фильтр серединной точки з -урезанный фильтр и локальный адаптивный фильтр к вейвлет-фильтрация л фильтр Вилкоксона м фильтр Винера).

200 07 а) б) в) г) д) е) ж) з) и) к) л) м) Рис Результат обработки тестового изображения «Barbara» различными методами при ш 0

201 08 Визуальный анализ изображения «Barbara» позволяет сделать вывод о том разработанные методы позволяют значительно уменьшить действие шумовой составляющей. При обработке методом адаптивной локальной аппроксимации резкие перепады яркости и контрастность изображения сохранены лучше при этом погрешность оценки сигнала меньше в среднем на 76% в сравнении с остальными методами [38-383]. На изображении «Barbara» присутствует большое количество мелких деталей размеры которых в некоторых случаях не превосходят - пикселя в связи с чем сглаживание таких деталей приводит к увеличению погрешности. Таблица 4.3 Погрешность выделения изображения «Barbara» при ш 0 Метод обработки изображения Критерий RMSE SNR (дб) PSNR (дб) MAX Двумерный РАЗОЦ Адаптивная локальная аппроксимация Медианный фильтр Фильтр скользящего среднего Фильтр среднего геометрического Локальный адаптивный фильтр Фильтр серединной точки Вейвлет-фильтрация Фильтр Вилкоксона Фильтр Винера На рисунке 4.5 представлены результаты обработки тестового изображения «Caeraen» при ш 0 а в таблице 4.4 значения погрешности выделения изображения (a зашумленное изображение б двумерный метод размножения оценок в адаптивная локальная аппроксимация г медианный фильтр д фильтр скользящего среднего е фильтр среднего геометрического ж фильтр серединной точки з -урезанный фильтр и локальный адаптивный фильтр к вейвлет-фильтрация л фильтр Вилкоксона м фильтр Винера).

202 09 а) б) в) г) д) е) ж) з) и) к) л) м) Рис Результат обработки тестового изображения «Caeraen» различными методами при ш 0

203 0 Визуальный анализ результатов обработки показывает эффективность обработки предложенными методами. Обработка двумерным методом размножения оценок и его адаптивной модификацией приводит к уменьшению действия помех с сохранением контуров и границ объектов. Использование фильтра Винера приводит к потере мелких деталей на структуре изображения. Стоит отметить что разработанные методы позволяют получить оценку для всех значений пикселей в том числе и на границах изображения при этом погрешность двумерной оценки на 5 60% меньше чем при обработке известными методами. Таблица 4.4 Погрешность выделения изображения «Caeraen» при ш 0 Метод обработки изображения Критерий RMSE SNR (дб) PSNR (дб) MAX Двумерный РАЗОЦ Адаптивная локальная аппроксимация Медианный фильтр Фильтр скользящего среднего Фильтр среднего геометрического Локальный адаптивный фильтр Фильтр серединной точки урезанный фильтр Вейвлет-фильтрация Фильтр Вилкоксона Фильтр Винера На рисунке 4.6 представлены результаты обработки тестового изображения «Lena» при ш 0 а в таблице 4.5 значения погрешности выделения изображения (a зашумленное изображение б двумерный метод размножения оценок в адаптивная локальная аппроксимация г медианный фильтр д фильтр скользящего среднего е фильтр среднего геометрического ж фильтр серединной точки з -урезанный фильтр и локальный адаптивный фильтр к вейвлет-фильтрация л фильтр Вилкоксона м фильтр Винера).

204 а) б) в) г) д) е) ж) з) и) к) л) м) Рис Результат обработки тестового изображения «Lena» различными методами при ш 0

205 Анализ результатов обработки показывает что обработка фильтром Винера и разработанным методом позволяет значительно уменьшить действие шума. Визуальный анализ показывает что мелкие детали на структуре изображения 4.6в сохранены лучше. Наименьшую эффективность RMSE 0 3 имеет локальный адаптивный фильтр. Метод адаптивной локальной аппроксимации показывает наименьшее значение СКО RMSE значение которой в среднем меньше на 35% чем при обработке известными методами [384385]. Таблица 4.5 Погрешность выделения изображения «Lena» при ш 0 Метод обработки изображения Критерий RMSE SNR (дб) PSNR (дб) MAX Двумерный РАЗОЦ Адаптивная локальная аппроксимация Медианный фильтр Фильтр скользящего среднего Фильтр среднего геометрического Локальный адаптивный фильтр Фильтр серединной точки урезанный фильтр Вейвлет-фильтрация Фильтр Вилкоксона Фильтр Винера На рисунке 4.7 представлены результаты обработки тестового изображения «Barbara» при ш 0 а в таблице 4.6 значения погрешности выделения изображения (a зашумленное изображение б двумерный метод размножения оценок в адаптивная локальная аппроксимация г медианный фильтр д фильтр скользящего среднего е фильтр среднего геометрического ж фильтр серединной точки з -урезанный фильтр и локальный адаптивный фильтр к вейвлет-фильтрация л фильтр Вилкоксона м фильтр Винера).

206 3 а) б) в) г) д) е) ж) з) и) к) л) м) Рис Результат обработки тестового изображения «Barbara» различными методами при ш 0

207 4 Визуальный анализ изображения «Barbara» позволяет сделать вывод что самое большое уменьшение дисперсии шумовой составляющей достигается фильтром Винера и методом адаптивной локальной аппроксимации. Остальные методы приводят к потере мелких деталей структуры и текстуры изображений и появлению зернистости изображения вследствие незначительного подавления шума. При обработке методом адаптивной локальной аппроксимации сохраняются перепады яркостей между однородными областями а элементы текстуры сглаживаются что особо проявляется при увеличении дисперсии шумовой составляющей. Анализ значений таблицы 4.6 показывает что использование метода адаптивной локальной аппроксимации позволяет получить наименьшее значение погрешности оценки двумерного сигнала RMSE Фильтр Винера и двумерный метод размножения оценок позволяют получить оценки с несколько меньшей точностью. Анализ таблицы 4. позволяет сделать вывод что метод адаптивной локальной аппроксимации оказывается эффективнее чем остальные методы в среднем на 5%. Таблица 4.6 Погрешность выделения изображения Barbara при ш 0 Метод обработки изображения Критерий RMSE SNR (дб) PSNR (дб) MAX Двумерный РАЗОЦ Адаптивная локальная аппроксимация Медианный фильтр Фильтр скользящего среднего Фильтр среднего геометрического Локальный адаптивный фильтр Фильтр серединной точки урезанный фильтр Вейвлет-фильтрация Фильтр Вилкоксона Фильтр Винера На рисунке 4.8 представлены зависимости среднеквадратической ошибки при обработке тестовых изображений методом адаптивной локальной аппроксимации при различных значениях среднеквадратического отклонения шумовой составляющей ( изображение Peppers изображение Lena 3

208 5 изображение Hll 4 изображение Caeraen 5 изображение Boat 6 изображение Barbara ). ош ш Рис Зависимость среднеквадратической ошибки при обработке тестовых изображений методом адаптивной локальной аппроксимации при различных значениях среднеквадратического отклонения шумовой составляющей Анализ зависимостей на рисунке 4.8 позволяет сделать вывод что увеличение среднеквадратического значения шумовой составляющей приводит к незначительному росту ош в пределах 3-5% что позволяет предположить инвариантность разработанного метода к дисперсии шумовой составляющей. Сравнительный анализ значений среднеквадратической ошибки показывает что метод адаптивной локальной аппроксимации позволяет уменьшить в среднем на 8-% погрешность оценки полезного двумерного сигнала адаптации границ области фильтрации к изменениям значений градаций яркости изображения. При увеличении ош оценки полученные двумерным методом размножения и его модификацией стремятся к одному значению [386]. Увеличение ошибки аппроксимации для метода адаптивной локальной аппроксимации при увеличении дисперсии шума можно объяснить неправильным определением формы области квазистационарности для получения оценки. Анализ зависимостей показывает что при обработке изображений Boat и Barbara погрешность значительно превосходит остальные тестовые

209 6 изображения. Данные тестовые изображения имеют большое количество мелких деталей контуров текстуру размеры которых сравнимы с размером пикселя. К недостатку предлагаемого метода стоит отнести то структура изображения представленная текстурой или мелкими деталями сглаживается так как минимальный размер области для аппроксимации поверхностью первого порядка составляет 3 на 3 пикселя. Таким образом метод адаптивной локальной аппроксимации показывает эффективность при решении задач выделения двумерной полезной составляющей в условиях ограниченной априорной информации о статистических характеристиках шумовой с сохранением границ и яркостных переходов между однородными областями. В работе [384] представлены результаты исследований метода адаптивной локальной аппроксимации при обработке цветных изображений. При этом модель исходного цветного изображения представляет собой совокупность R G B трех двумерных дискретных последовательностей Y N M. В работе [385] представлены результаты исследований доверительных интервалов оценок двумерных сигналов после обработки предложенным методом. С целью исследования зависимости среднеквадратичной ошибки от среднеквадратического отклонения шума ш для данного метода было проведено по N=000 испытаний с разными реализациями шумовой составляющей для каждого тестового изображения. Путем усреднения по реализациям для каждого тестового изображения и дисперсии получена оценка интервал где следующим образом: ош RMSE -й номер опыта среднеквадратической ошибки. RMSE N RMSE RMSE N ош и её доверительный RMSE N RMSE математическое ожидание

210 7 На рисунке 4.9 представлена зависимость RMSE восстановленного изображения от дисперсии шума. Зависимость построена для изображения «Lena» при обработке методом адаптивной локальной аппроксимации и некоторыми известными методами. Рис Зависимость RMSE от дисперсии шума Анализ результатов показывает что с ростом дисперсии шума RMSE увеличивается для всех рассмотренных методов. Для адаптивной локальной аппроксимации изменение RMSE составляет 5% что меньше чем для других исследованных методов. Стоит отметить что при увеличении дисперсии шума разница в эффективности между методом адаптивной локальной аппроксимации и другими методами увеличивается. Для тестовых изображений «Caeraan» и «Peppers» результат аналогичен. Минимальное значение среднеквадратической ошибки имеет оценка изображения «Peppers» которое состоит из однородных областей и резких перепадов яркости между ними. На изображениях «Lena» и «Caeraan» присутствует большое количество мелких деталей текстура размеры которых сравнимы с размерами пикселя. В связи с этим значение среднеквадратической ошибки возрастает.

211 8 На рисунке 4.0 представлена зависимость RMSE от дисперсии шума на восстанавливаемом изображении для различных методов. Доверительные интервалы для метода адаптивной локальной аппроксимации сравнимы с известными методами и с ростом дисперсии шума увеличиваются. Аналогичные аналитические результаты получены для всех тестовых двумерных сигналов. Рис Зависимость RMSE от дисперсии шума На рисунке 4. представлена зависимость RMSE от дисперсии шума на восстанавливаемом изображении для метода адаптивной локальной аппроксимации при обработке различных тестовых изображений. Рис. 4.. Зависимость RMSE от дисперсии шума для метода адаптивной локальной аппроксимации

212 9 Среднеквадратическая ошибка оценки изображения «Lena» имеет наименьшее значение доверительных интервалов. Наблюдается зависимость доверительных интервалов от структуры и геометрических особенностей изображений так например для выбранных тестовых изображений отличается в пределах %. При увеличении среднеквадратического отклонения шумовой составляющей до 50 пикселей наблюдается увеличение доверительных интервалов в среднем в 5 раз при этом среднеквадратическая ошибка увеличивается в среднем на 40%. Оценка эффективности качества обработки динамических изображений проводится на основе объективных и субъективных критериев. Для проведения сравнительного анализа и исследования эффективности в качестве тестовых выбраны кадры тестовых видеопоследовательностей: «Bus» (рис. 4.аб) «Flower» (рис. 4.вг) и «Tenns» (рис. 4.де). Для метода адаптивной локальной аппроксимации выбираются два параметра - максимальная длина интервала квазистационарности R и вероятность ошибки первого рода. На рисунке 4.3 представлена зависимость RMSE (R) для различных тестовых изображений (- «Bus» «Bus» 3 «Flower» 4 «Flower» 5 «Tenns» 6 «Tenns»). Анализ результатов обработки показывает что зависимость RMSE (R) максимальна при R и уменьшается с ростом R. Зависимость RMSE (R) имеет локальный минимум при R 9 который инвариантен для различных тестовых кадров. ош

213 0 а) б) в) г) д) е) Рис. 4.. Тестовые кадры видеопоследовательности Рис Зависимости RMSE (R) от параметров метода На рисунке 4.4 зависимость RMSE ( ) для различных тестовых кадров (- «Bus» «Bus» 3 «Flower» 4 «Flower» 5 «Tenns» 6 «Tenns»).

214 Рис Зависимости RMSE ( ) от параметров метода Анализ графиков на рисунке 4.4 позволяет сделать вывод об инвариантности зависимости RMSE ( ) для различных тестовых изображений. Наименьшее значение ошибки достигается при 0. Увеличение параметра приводит к значительному росту погрешности обработки так как увеличение уровня значимости приводит к уменьшению размеров интервалов квазистационарности. Стоит отметить что структура шума так же оказывает значительное влияние на оценку коэффициентов поверхности первого порядка при аппроксимации небольших областей. Результаты обработки первого тестового кадра «Bus» при ш 0 представлены на рисунке 4.5 а в таблице 4.7 значения погрешности (а исходное изображение; б зашумленное изображение в адаптивная локальная аппроксимация г фильтр скользящего среднего д фильтр серединной точки е медианный фильтр ж -урезанный фильтр з фильтр Вилкоксона и Вейвлет фильтр). Визуальный анализ полученных оценок позволяет сделать вывод об эффективности обработки изображения разработанным методом адаптивной локальной аппроксимации с возможностью сохранения перепадов яркости сравнении с оценками полученными остальными методами. При обработке - урезанным фильтром появляются искажения в виде расфокусировки и уменьшении контрастности изображения. Остальные методы в меньшей степени сглаживают контуры и перепады яркости изображения но при этом наблюдается

215 зернистость связанная с незначительным сглаживанием высокочастотного шума. а) б) в) г) д) е) ж) з) и) Рис.4.5. Результат обработки первого тестового кадра «Bus» различными методами при ш 0 В таблице 4.7 представлены количественные значения которые подтверждают визуальную оценку. Наименьшее значение СКО имеет оценка изображения «Bus» полученная методом адаптивной локальной аппроксимации. При этом разница с остальными методами в среднем 5%. На рисунке 4.6 представлены результаты обработки второго тестового кадра «Bus» при ш 0 а в таблице 4.8 значения погрешности выделения изображения (а исходное изображение; б зашумленное изображение в адаптивная локальная аппроксимация г фильтр скользящего среднего д

216 3 фильтр серединной точки е медианный фильтр ж -урезанный фильтр з фильтр Вилкоксона и Вейвлет фильтр). а) б) в) г) д) е) ж) з) и) Рис Результат обработки второго тестового кадра «Bus» различными методами при ш 0 Таблица 4.7 Погрешность выделения первого тестового кадра «Bus» при ш 0 Метод обработки изображения Критерий RMSE MAE SNR (дб) PSNR (дб) в) Адаптивная локальная аппроксимация г) Фильтр скользящего среднего д) Фильтр серединной точки е) Медианный фильтр ж) - урезанный фильтр з) Фильтр Вилкоксона и) Вейвлет-фильтрация

217 4 Эффективность обработки зависит от решения двух противоречивых задач эффективного сглаживание шума и сохранения границ между однородными областями и текстурами поскольку в обоих случаях данные геометрические особенности являются высокочастотными. Обработка методом адаптивной локальной аппроксимации позволяет сохранить перепады яркости для тестового изображения «Bus» которое состоит из однородных областей разделенных перепадами яркости. При обработке фильтром серединной точки и медианным фильтром наблюдается структура шума на однородным областях а изображение полученное - урезанным фильтром лишенное данных недостатков выглядит более размытым. Анализ результатов погрешностей оценки двумерных сигналов представленных в таблице 4.8 показывает что наименьшее значение СКО имеет метод адаптивной локальной аппроксимации. Таблица 4.8 Погрешность выделения второго тестового кадра «Bus» при ш 0 Метод обработки изображения Критерий RMSE MAE SNR (дб) PSNR (дб) в) Адаптивная локальная аппроксимация г) Фильтр скользящего среднего д) Фильтр серединной точки е) Медианный фильтр ж) -урезанный фильтр з) Фильтр Вилкоксона и) Вейвлет-фильтрация На рисунке 4.7 и 4.8 представлены результаты обработки первого и второго тестового кадра «Flower» при ш 0 а в таблице 4.9 и 4.0 значения погрешности выделения двумерного сигнала (а исходное изображение; б зашумленное изображение в адаптивная локальная аппроксимация г фильтр скользящего среднего д фильтр серединной точки е медианный фильтр ж -урезанный фильтр з фильтр Вилкоксона и Вейвлет фильтр).

218 5 На тестовом кадре «Flower» на фоне присутствует сложная текстура в виде листвы размеры которой близки к размерам пикселя что значительно усложняет процесс обработки. Метод адаптивной локальной аппроксимации -урезанный фильтр вейвлет-фильтрация эффективно сглаживают изображение уменьшая аддитивную шумовую составляющую а остальные методы сохраняют резкие перепады яркости и геометрию текстуры но в меньшей степени подавляя шум. Минимальное значение СКО имеет оценка изображения полученная методом адаптивной локальной аппроксимации. а) б) в) г) д) е) ж) з) и) Рис Результат обработки первого тестового кадра «Flower» различными методами при ш 0

219 6 Таблица 4.9 Погрешность выделения первого тестового кадра «Flower» при ш 0 Метод обработки изображения Критерий RMSE MAE SNR (дб) PSNR (дб) в) Адаптивная локальная аппроксимация г) Фильтр скользящего среднего д) Фильтр серединной точки е) Медианный фильтр ж) -урезанный фильтр з) Фильтр Вилкоксона и) Вейвлет-фильтрация а) б) в) г) д) е) ж) з) и) Рис. 8. Результат обработки второго тестового кадра «Flower» различными методами при ш 0 На рисунках 4.9 и 4.0 представлены результаты обработки первого и второго тестового кадра «Tenns» при ш 0 а в таблицах 4. и 4. значения погрешности выделения изображения (а исходное изображение; б зашумленное изображение в адаптивная локальная аппроксимация г фильтр скользящего среднего д фильтр серединной точки е медианный фильтр ж -урезанный фильтр з фильтр Вилкоксона и Вейвлет фильтр).

220 7 Таблица 4.0 Погрешность выделения второго тестового кадра «Flower» при ш 0 Метод обработки изображения Критерий RMSE MAE SNR (дб) PSNR (дб) в) Адаптивная локальная аппроксимация г) Фильтр скользящего среднего д) Фильтр серединной точки е) Медианный фильтр ж) -урезанный фильтр з) Фильтр Вилкоксона и) Вейвлет-фильтрация а) б) в) г) д) е) ж) з) и) Рис Результат обработки первого тестового кадра «Tenns» различными методами при ш 0 Текстура стены представленная на тестовом изображении «Tenns» схожа по своим свойствам с текстурой шума что приводит к ее сглаживанию большинством представленных методов. Метод адаптивной локальной аппроксимации показывает наибольшую эффективность обработки как с точки зрения визуальных так и объективных критериев при этом наблюдается потеря резкости мелких деталей на фоне стены. Предложенный метод позволяет

221 8 уменьшить в сравнении с известными методами на 5-30% погрешность оценки изображения. Наименьшую эффективность показывает фильтр серединной точки. а) б) в) г) д) е) ж) з) и) Рис Результат обработки второго тестового кадра «Tenns» различными методами при ш 0 Таблица 4. Погрешность выделения первого тестового кадра «Tenns» при ш 0 Метод обработки изображения Критерий RMSE MAE SNR (дб) PSNR (дб) в) Адаптивная локальная аппроксимация г) Фильтр скользящего среднего д) Фильтр серединной точки е) Медианный фильтр ж) -урезанный фильтр з) Фильтр Вилкоксона и) Вейвлет-фильтрация

222 9 Таблица 4. Погрешность выделения второго тестового кадра «Tenns» при ш 0 Метод обработки изображения Критерий RMSE MAE SNR (дб) PSNR (дб) в) Адаптивная локальная аппроксимация г) Фильтр скользящего среднего д) Фильтр серединной точки е) Медианный фильтр ж) -урезанный фильтр з) Фильтр Вилкоксона и) Вейвлет-фильтрация В таблице 4.3 представлены усредненные значения погрешности выделения изображения. Анализ результатов показывает что метод пространственно-временной адаптивной локальной аппроксимации позволяет уменьшить погрешность восстановления на 0% Таблица 4.3 Усредненная погрешность оценки динамических двумерных сигналов при ш 0 Метод обработки RMSE Пространственно-временная адаптивная локальная аппроксимация 0074 Пространственная адаптивная локальная аппроксимация 008 Фильтр скользящего среднего 0083 Фильтр серединной точки 005 Медианный фильтр урезанный фильтр 009 Фильтр Вилкоксона 0096 Вейвлет-фильтрация Анализ эффективности метода пространственной реконструкции изображений на основе геометрической модели с контурным и текстурным анализом Для метода реконструкции двумерных сигналов на основе геометрической модели с контурным и текстурным анализом (M4) и на основе геометрической модели с текстурным анализом (M5) в таблице 4.4 представлены значения

223 30 погрешностей вычисленных по различным критериям для трех классов изображений в сравнении с методом основанным на поиске похожих областей (M) методом основанным на спектральных преобразованиях (M) методом основанным на вычислении частных производных (M3). В таблице 4.4 представлены усредненные значения критериев вычисленные по 00 изображениям каждой базы а так же оценка среднеквадратического отклонения усреднённых значений. Таблица Значения критериев Критерий Метод «Текстура» «Геометрические фигуры» «Естественные изображения» M M M3 M4 M5 M M M3 M4 M5 M M M3 M4 M5 RMSE MAX SSIM _ C На рисунке 4. представлены усредненные значения погрешностей а так же оценка среднеквадратического отклонения усреднённых значений вычисленных по различным критериям для трех классов изображений с различными геометрическими особенностями в сравнении с методом основанным на поиске похожих областей (M) методом основанным на спектральных преобразованиях (M) методом основанным на вычислении частных производных (M3). Оценка эффективности восстановления двумерных сигналов с помощью системного критерия и критерия на основе машинного обучения представлена в таблице 4.5 [ ].

224 Т ГФ ЕИ 4 0 М М М3 М4 М5 а) Т ГФ ЕИ М М М3 М4 М5 б) Рис. 4.. Усредненные значения погрешностей Анализ результатов позволяет сделать вывод что метод пространственной реконструкции статических изображений на основе текстурной модели изображений позволяет получить меньшую ошибку восстановления чем традиционные подходы в среднем на 60%. Разработанный метод пространственной реконструкции статических изображений на основе текстурногеометрической модели изображений позволяет уменьшить погрешность реконструкции изображений в среднем на 50% в сравнении с методом

225 3 реконструкции статических изображений на основе текстурной модели изображений. Предложенный системный критерий позволяет учитывать вычислительные затраты метода поэтому разработанный метод основанный на геометрической модели с текстурным анализом имеет наибольшее значение по данному критерию так как значение RMSE в сравнении с методом основанным на геометрической модели с контурным и текстурным анализом отличается незначительно. Таблица Значения системного критерия Q Метод Метод основанный на поиске похожих областей Метод основанный на спектральных преобразованиях Метод основанный на вычислении частных производных Метод основанный на геометрической модели с контурным и текстурным анализом Метод основанный на геометрической модели с текстурным анализом Вычислительные затраты RMSE C Q Машинное обучение O (N ) O( N log ( N)) O(N ) O( N ) O(log ( N)) На рисунках представлены примеры восстановления фрагментов тестовых изображений (а исходное изображение; б изображение с маркером дефекта в изображение восстановленное методом на основе поиска похожих областей г - изображение восстановленное методом на основе спектральных преобразований д - изображение восстановленное методом на основе вычисления частных производных е - изображение восстановленное методом на основе геометрической модели с контурным и текстурным анализом).

226 33 а) б) в) г) д) е) Рис. 4.. Пример восстановления тестовых изображений с текстурой Анализ результатов восстановления показывает что предложенный метод основанный на геометрической модели с контурным и текстурным анализом позволяет эффективно реконструировать как текстурные так и структурные участки изображений. На рисунках представлены примеры удаления объектов на изображениях «Маяк» и «Сноубордист» (а исходное изображение; б маска выделенного объекта для удаления в изображение восстановленное методом на основе вычисления частных производных г - изображение восстановленное методом на основе поиска похожих областей д - изображение восстановленное методом на основе геометрической модели с контурным и текстурным анализом).

227 34 а) б) в) г) д) е) Рис Пример восстановления тестовых изображений со структурой Особенностью тестового изображения «Маяк» является то что область с корзиной расположена на пересечении границ разделенных областями текстуры и однородностями. Анализ результатов реконструкции показывает что

228 35 предложенный метод правильно восстанавливает данные области. Остальные примеры так же демонстрируют эффективность алгоритма восстановления изображений с различными геометрическими особенностями. а) б) в) г) д) Рис Изображение «Маяк» а) б) в) г) д) Рис Изображение «Сноубордист»

229 Анализ эффективности метода пространственной реконструкции изображений на основе геометрической модели с текстурным анализом Анализ эффективности метода реконструкции на основе поиска похожих областей показал что такой подход эффективно восстанавливает текстуру изображений. К недостаткам метода стоит отнести фиксированный размер окна что приводит к сильной зависимости эффективности восстановления изображений геометрических особенностей содержимого обрабатываемого сигнала. Представляет интерес разработка и исследование модифицированного подхода с возможностью адаптации формы области при поиске похожих блоков для уменьшения погрешности восстановления. Анализ эффективности обработки представлен на тестовых изображениях с отсутствующими пикселями которые находятся на границах с резкими перепадами яркости и текстурных областей. Значения RMSE в зависимости от различных размеров областей представлены для метода на основе поиска похожих областей в таблице 4.6. В качестве тестовых анализируются двумерные сигналы с различными геометрическими особенностями (рис. 4.8): ) «Геометрические фигуры» изображение с геометрическими фигурами в виде двух треугольников с отсутствующими пикселями в центре изображения на пересечении четырех границ (рис. 4.8аб); ) Фрагмент изображения «Caeraen» представлен фрагментом изображения c границами между однородными областями и отсутствующим квадратным блоком пикселей (рис. 4.8вг); 3) Фрагмент изображения «Barbara» фрагмент изображения c текстурой и отсутствующим квадратным блоком пикселей (рис. 4.8жз); 4) Фрагмент изображения «Lena» представляет собой фрагмент изображения c текстурой и структурой и отсутствующим квадратным блоком пикселей (рис. 4.8де).

230 37 Количество отсутствующих пикселей в квадратном блоке составляет от 5 до % от общего количества пикселей изображения. Таблица 4.6 Зависимость RMSE от размера блока для различных изображений Размер блока поиска Изображение «Геометрические фигуры» Фрагмент изображения «Caeraen» Фрагмент изображения «Barbara» Фрагмент изображения «Lena» Анализ погрешностей реконструкции тестовых изображений представленных в таблице 4.6 позволяет сделать вывод что каждому типу изображений соответствует оптимальный размер блока для поиска подобия зависящий от геометрических особенностей изображения. Больший размер блока необходимо выбирать при присутствии перепадов яркости между границами объектов и контуров размеры которых сравнимы с размером изображения. Размер блока уменьшается в случае наличия сложной структуры и большего количества границ. Увеличение размера блока от 3 до пикселей приводит к изменению значения RMSE в среднем на 50-50%. Данное исследование показывает существование зависимости эффективности обработки от размера блока при поиске подобия что обосновывает необходимость введения адаптации к размеру и форме блока для поиска подобия с целью уменьшения погрешности восстановления изображений. Примеры восстановления тестовых изображений представлены на рисунках (а исходное изображение; б изображение с отсутствующим блоком пикселей; в изображение восстановленное методом на основе поиска похожих

231 38 областей; г изображение восстановленное предложенным методом на основе геометрической модели с текстурным анализом). а) б) в) г) д) е) ж) з) Рис Тестовые изображения для исследования параметров

232 39 Геометрическая особенность тестового изображения заключается в том что область с отсутствующими пикселями находится на пересечении границ которые необходимо экстраполировать с помощью соединения соответственных противоположных границ. Предложенный метод реконструкции значений пикселей позволяет правильно восстановить границы изображения а на изображении восстановленным методом на основе поиска самоподобных блоков наблюдаются ошибки из-за того что происходит замена всех пикселей из найденных похожих блоков. а) б) в) г) Рис Восстановление изображения «Геометрические фигуры» а) б) в) г) Рис Восстановление фрагмента изображения «Caeraen» Визуальный анализ позволяет сделать выводы что предложенный метод корректно восстанавливает границы областей с перепадами яркости на изображении. Так например структура изображения в виде границы шляпы на фрагменте изображения «Lena» восстанавливается правильно так как противоположные линии соединяются в одну кривую. При восстановлении больших областей с потерянными пикселями не наблюдается размытие текстуры

233 40 и структуры при обработке разработанным методом реконструкции. На изображении полученном методом на основе поиска похожих областей визуально заметны незначительные искажения на фоне «бортов» шляпы. а) б) в) г) Рис Восстановление фрагмента изображения «Lena» При обработке методом на основе поиска похожих областей наблюдается зависимость эффективности реконструкции от размера блока при поиске подобия который выбирается на основе априорной информации о геометрических особенностях изображения. Предложенный метод имеет преимущество реконструкции как текстурных участков так и. Особенно это преимущество проявляется для структуры которая характеризуется мелкими деталями перепадами яркости границами и контурами. а) б) в) г) Рис Восстановление фрагмента изображения «Barbara» В таблице 4.7 представлены значения погрешностей обработки для предложенного метода и метода на основе поиска похожих областей при наилучших значениях параметров обработки для рассмотренных тестовых изображений. Количественные значения погрешностей представленные в таблице подтверждают визуальную оценку так значения погрешностей

234 4 восстановленного изображения при обработке предложенным методом реконструкции в среднем на 30-40% меньше чем при обработке известным методом [5]. К преимуществу предлагаемого метода стоит отнести меньшую вычислительную сложность а так же возможность восстановления структурной и текстурной составляющих без размытия изображения. Значения времени обработки для предложенного метода и модификации с использованием перцептивного хеша при поиске блоков представлены в таблице 4.8. Алгоритмы реализованы на языке C ++ (CPU Intel Core 3 ГГц). Анализ результатов позволяет сделать вывод что модифицированный алгоритм позволяет сократить время обработки в процедуре поиска похожих областей в среднем на 50-80%. Таблица 4.7 Зависимость погрешности обработки для различных изображений RMSE SNR PSNR MAE MAX M M5 M M5 M M5 M M5 M M5 «Геометрическ ие фигуры» Фрагмент изображения «Caeraen» Фрагмент изображения «Barbara» Фрагмент изображения «Lena» Таблица 4.8. Время обработки тестовых изображений Тестовое изображение M (сек) M5 (сек) «Pyrad» 7 «Ser» 8 5 «Cat» 6 3 «Stone» 9 5 «Satellte» 7 3

235 4 Правильный подбор коэффициента в составном критерии (3.89) метода реконструкции двумерных сигналов является важным шагом в предлагаемом способе так как он определяет его эффективность. Весовой коэффициент может изменяться от 0 до. Если 0 то в качестве меры близости для поиска похожих областей используется только евклидова метрика и если то используется мера для гистограмм локальных бинарных шаблонов. Для выбора коэффициента проведен эксперимент на тестовых изображений с двух разных базах данных (текстур и реальные образы). Разрешение изображения составляет 600 на 600 пикселей. На рисунке 4.3 представлена зависимость RMSE () для каждой группы тестируемых изображений. RMSE( ) Textures Iages Рис Зависимость RMSE () Анализ результатов представленных на рисунке 4.33 показывает что ошибка для текстур меньше погрешности для реальных изображений потому что текстура изображения имеют самоподобные локальные области которые могут быть эффективно реконструированы с помощью анализа локальных бинарных шаблонов. Значения сначала уменьшается с изменением от 0 до 03 и достигает локального минимума после чего увеличивается до и достигает своего максимума. Экспериментальные результаты показывают что модифицированный метод реконструкции изображений с помощью составного критерия поиска

236 43 блоков позволяет снизить погрешность реконструкции изображения в среднем на 8% когда весовой коэффициент равен 0 5. Для исследования эффективности предложенного метода реконструкции при удалении объектов на изображении выбрано пять тестовых изображений: «Pyrad» «Ser» «Cat» «Stone» «Satellte». Оценка эффективности качества обработки изображений проводится на основе субъективного критерия сравнения. На рисунке 4.3 представлены примеры удаления объекта на тестовых изображениях (а исходное изображение б маска для удаления объекта в изображение восстановленное предложенным методом на основе геометрической модели с текстурным анализом). Стоит отметить что количество потерянных пикселей составляет примерно 5% от их общего количества. Объект находится на участке со сложной структурой в виде пересечения нескольких границ при этом предложенный метод не приводит к размытию текстуры и структуры при восстановлении больших областей с потерянными пикселями. При удалении объекта на изображении «Ser» стоит отметить что объект находится на участке со сложной структурой в виде снега. Анализ результатов обработки показывает что предложенный метод позволяет корректно восстановить детали и фон на изображении. Особенностью тестового изображения «Cat» является то что область с отсутствующими пикселями находится на пересечении границ которые необходимо экстраполировать соединив соответственные противоположные границы. Анализ результатов обработки показывает что предлагаемый метод позволяет синтезировать текстуру с одновременным восстановлением структуры изображения при этом метод является робастным к размеру форме геометрическим особенностям области удаления объекта.

237 44 а) б) в) Рис Удаление объектов на тестовых изображениях

238 Анализ эффективности метода пространственно-временной реконструкции динамических изображений на основе геометрической модели с контурным и текстурным анализом На рисунках представлены примеры реконструкции видеопоследовательностей предложенным методом (а в - исходный кадр; б г - восстановленный кадр) [390]. Экспериментальные результаты показывают что предложенный алгоритм дает визуально приемлемые результаты. Отметим что результаты показанные на рисунке 4.35 менее удовлетворительны в связи с тем что рассмотрен более сложный случай (присутствует «тень» от человека). а) б) в) г) Рис Пример реконструкции тестовой видеопоследовательности

239 46 а) б) в) г) Рис Пример реконструкции тестовой видеопоследовательности Эффективность представленной схемы проверяется на тестовых кадрах видеопоследовательности с потерянными пикселями. На рисунках 4.35 и 4.36 показаны примеры восстановления кадров (а - изображение с отсутствующими пикселями б восстановление фона с помощью метода Patwardhan в восстановление фона предложенным методом г восстановление переднего плана с помощью метода Patwardhan д - восстановление переднего плана предложенным методом). Главной особенностью тестовых кадров является тот факт что участки с недостающими пикселями расположены на пересечении границ кривой которая должна быть экстраполирована. Тестовые изображения имеют несколько текстур и структур участков с различными геометрическими характеристиками. Метод предложенный Patwardhan дает сбои при восстановлении в отсутствии подобных блоков. Результаты показывают что предлагаемый метод может правильно

240 47 восстановить структуру и текстуру областей. Стоит отметить что метод не смазывает при реконструкции больших участков отсутствующих пикселей. a) b) c) d) e) zoong Рис Примеры восстановления кадров видеопоследовательности a) b) c) d) e) zoong Рис Примеры восстановления кадров видеопоследовательности

241 48 Эффективность представленной схемы проверяется на тестовых кадрах видеопоследовательности с потерянными пикселями в сравнении с известными методами [0 07]. На рисунках показаны примеры восстановления тестовых кадров (а изображение с отсутствующими пикселями б восстановление кадра с помощью метода Wexler в восстановление кадра с помощью метода Newson г восстановление кадра с помощью предложенного метода). В этом примере представлен пример реконструкции динамических текстур то есть сцены на разных кадрах являются относительно неструктурированными но обладающими некоторыми общими стационарными свойствами. а) б) в) г) Рис Примеры восстановления кадров видеопоследовательности

242 49 а) б) в) г) Рис Примеры восстановления кадров видеопоследовательности а) б) в) г) Рис Примеры восстановления кадров видеопоследовательности

243 50 а) б) в) г) Рис Примеры восстановления кадров видеопоследовательности На рисунках показаны различные примеры восстановления предложенным методом кадров тестовых видеопоследовательностей (а кадр б 50 кадр в 00 кадр). Анализ результатов обработки показывает что выделенный объект удаляется полностью а фон за ним восстанавливается. При этом не значительное изменение ракурса съемки практически не влияет на эффективность реконструкции предложенным методом.

244 5 а) б) в) Рис Примеры восстановления кадров видеопоследовательности а) б) в) Рис Примеры восстановления кадров видеопоследовательности

245 5 а) б) в) Рис Примеры восстановления кадров видеопоследовательности а) б) в) Рис Примеры восстановления кадров видеопоследовательности

246 Выводы по главе. Предложенный метод позволяет осуществлять аппроксимацию с помощью двумерного метода наименьших квадратов на однородных областях что значительно уменьшает эффект расфокусировки границ и контуров объектов изображений. Предложенный метод восстановления цифровых изображений при воздействии аддитивного шума на основе адаптивной локальной аппроксимации позволяет получить погрешность оценки полезного двумерного сигнала в среднем на 30% 40% меньше в сравнении с известными методами обработки.. Экспериментально установлена инвариантность разработанного метода адаптивной локальной аппроксимации к среднеквадратическому отклонению шумовой составляющей в пределах 3% 5% при его изменении в пределах от 0 до Экспериментально установлено что использование временной связи при обработке динамических двумерных сигналов позволяет уменьшить среднеквадратическую погрешность на 0% 5% в сравнении с покадровой обработкой. 4. Представлены результаты исследований метода пространственновременной адаптивной локальной аппроксимации. Экспериментально установлено что использование временной связи в методе на основе адаптивной локальной аппроксимации при обработке динамических двумерных сигналов позволяет уменьшить среднеквадратическую погрешность на 0% 5% в сравнении с покадровой обработкой. Оценка эффективности качества обработки динамических изображений на основе субъективного критерия сравнения с помощью экспертов близка с объективной оценкой полученной в результате имитационного моделирования на основе статистических критериев. 5. Исследования показали что метод пространственной реконструкции статических изображений на основе текстурной модели изображений позволяет получить меньшую ошибку восстановления чем традиционные подходы в

247 54 среднем на 60%. Разработанный метод пространственной реконструкции статических изображений на основе текстурно-геометрической модели изображений позволяет уменьшить погрешность реконструкции изображений в среднем на 50% в сравнении с методом реконструкции статических изображений на основе текстурной модели изображений.

248 55 ГЛАВА 5. ПРИКЛАДНЫЕ АСПЕКТЫ ИСПОЛЬЗОВАНИЯ МЕТОДОВ ВОССТАНОВЛЕНИЯ СТАТИЧЕСКИХ И ДИНАМИЧЕСКИХ ДВУМЕРНЫХ СИГНАЛОВ Использование мультимедийных и телевизионных цифровых систем увеличивает актуальность решения задач реконструкции изображений при получении достоверной оценки для визуального и особенно автоматического анализа. Решение задачи реконструкции предполагает ретушь и восстановление недостающих фрагментов с использованием соседних участков изображения при удалении царапин пятен пыли ненужных надписей предметов и прочих дефектов с поверхности изображений. В видеопоследовательностях к ним относятся статические изображения например логотипы каналов субтитры дата и время которые мешают просмотру закрывая часть изображения от зрителя. Кроме этого в цифровом телевидении отдельным классом областей мешающим просмотру видео являются искаженные блоки при передаче данных от кодера к декодеру. В главе рассмотрены разноплановые прикладные задачи использования разработанных методов восстановления статических и динамических двумерных сигналов [39]. 5.. Использование методов реконструкции двумерных сигналов при удалении объектов на статическом изображении В некоторых практических задачах редактирования двумерных сигналов актуальна задача удаления объектов на статическом изображении. Данная задача возникает при удалении ненужных предметов и объектов которые попали в кадр или перекрывают собой часть полезной информации. Соответственно их нужно удалить и восстановить фон или другие объекты на изображении. В большинстве случаев такой обработки необходимо вручную задать маску удаляемого объекта которая представляет бинарный массив с метками нанесенными пользователь для объектов и предметов которые необходимо удалить. Ручная обработка изображений возможна в различных прикладных пакетах обработки изображений

249 56 (Photoshop Gp др.). В некоторых случаях задачу получения маски объектов возможно автоматизировать при использовании машинного обучения и методов кластеризации при известном классе объектов [343]. Далее рассмотрим несколько примеров изображений на которых вручную помечены объекты которые необходимо удалить. На рисунках представлены результаты восстановления изображений «Торт» «Цветы» «Маяк» (а исходное изображение; б маска выделенного объекта для удаления в изображение восстановленное методом основанным на поиске похожих областей (М) г изображение восстановленное методом основанным на спектральных преобразованиях (М) д изображение восстановленное методом основанным на вычислении частных производных (М3) е изображение восстановленное методом на основе текстурно-геометрической модели (M4) ж изображение восстановленное методом на основе текстурной модели (M5)) [39393]. а) б) в) г) д) е) ж) Рис. 5.. Изображение «Торт» Главной особенностью тестового изображения «Торт» является то что область для восстановления расположена на пересечении большого количества границ которые нужно правильно сопоставить друг с другом. Предлагаемый

250 57 метод позволяет правильно восстановить изображение. Метод основанный на спектральных преобразованиях приводит к размытию изображения а метод основанный на поиске похожих областей не корректно восстанавливает изогнутые границы. Особенностью тестового изображения «Цветы» является то что область с корзиной расположена на пересечении границ разделенных областями текстуры и однородностями. Анализ результатов реконструкции показывает что предложенные методы правильно восстанавливают данные области. а) б) в) г) д) е) ж) Рис. 5.. Изображение «Цветы» На изображении «Маяк» присутствует множество геометрических деталей таких как крыши зданий. При этом пример восстановления так же демонстрирует эффективность алгоритма восстановления изображений с различными геометрическими особенностями.

251 58 а) б) в) г) д) е) ж) Рис Изображение «Маяк» 5.. Автоматизированное обнаружение дефектов и реставрация архивных фотодокументов В различных архивах мира хранится большое количество архивных фото и видеодокументов. Все они составляют историческую ценность и требуют бережного хранения. При этом многие фотографии являются уникальными. Сохранение и реставрация видеоархивных документов представляет собой сложную задачу которая позволяет частично решить проблему сохранения культурно-исторического наследия [394]. Использование современного специализированного программного обеспечения позволяет частично решить эту задачу но существует необходимость в программах цифровой автоматической реставрации изображений.

252 59 Цифровое восстановление фотографий состоит из этапа обнаружения повреждений и их устранения. В настоящее время первый и второй этап в большинстве случаев делает человек-реставратор при этом цифровая реставрация изображений является трудоемкой и требует много времени при необходимости реставрации большого количества фотодокументов в короткий срок [395]. В большинстве случаев специалисты выполняют реконструкцию вручную но такая обработка требует от пользователя значительного времени и в большинстве случаев возможна только специалистами-реставраторами. Большинство операций которые выполняет человек в процессе реставрации возможно автоматизировать. В статье [396] описан полуавтоматический метод удаления дефектов. Пользователь выделяет предполагаемые дефекты вручную а программное обеспечение автоматически выполняет реконструкцию фотоизображения. Стоит отметить что решение проблемы автоматического восстановления поврежденных фотографий с высоким качеством является сложной задачей. При решении большинства задач цифровой обработки изображений требуется оценивание значения пикселей. Методы восстановления двумерных сигналов находят свое применение в задачах обработки архивных документов при удалении царапин дефектов ненужных надписей и т.д. [ ]. В процессе удаления дефектов нужно сохранить всю полезную информацию содержащуюся на изображении. Дефекты на изображении можно классифицировать следующим образом:. Пятна различного рода. Следует отметить что данный тип дефектов является одним из наиболее распространенных и по частоте появления (рис. 5.4а):. Небольшие пятна образованные пылью на поверхности изображений. Размеры пятен очень малы их можно считать точечными объектами;. Пятна от грязи;.3 Пятна от химических реакций (гидролиз выделение химических соединений);.4 Пятна от чернил или жидкостей;.5 Другие виды пятен (отпечатки пальцев плесень и так далее).

253 60 К данной группе дефектов так же относятся дефекты связанные с намеренным воздействием на фотографию (чернильные отметки пометки химическим карандашом и другие) (рис. 5.4б). а) б) Рис Пример дефектов на изображении. Ко второму типу дефектов следует отнести изображения волокон которые возникают при попадании на фотографию волоса или волокна а также инородных объектов смеющих структуру тонкой линии. Данный тип дефектов может возникнуть при попадании данных объектов на объектив или в систему линз фотоаппарата. Дефекты характеризуются формой помехи в виде тонкой линии и схожи с трещиной на изображении с тем лишь отличием что яростная характеристика принимает в большинстве случаев темные тона [4] (рис. 5.5). а) б) Рис Пример волокон на изображении

254 6 3. Зернистость изображения. Заметная структура фотобумаги (рис. 5.6). Также к этому типу следует отнести различные типы шумов на изображении. Рис Пример зернистости изображения 4. Отслоение фотографического слоя часто возникает после физического воздействия на фотографию (например после сгиба края и его выравнивания) (рис. 5.7) [35]. Данный тип дефектов менее распространен чем описанные ранее и по структуре схож с дефектами группы и наиболее часто встречается на архивных фото документах. а) б) Рис Пример отслоения фотографического слоя Предлагается алгоритм обнаружения дефектов различных классов на изображении. Предварительная обработка является важным шагом при

255 6 обнаружении дефектов предназначенная для сокращения количества ложных детектировании. В качестве предобработки выступает морфологическая операция top-hat transfor. Суть данной операции заключается в вычитании из исходного изображения Y результата его открытия: B Y ( Open (5.) I ) где B структурный элемент размером 5 5 пикселей и имеющий форму диска. Морфологическая операция открытие заключается в последовательном применении операции сужение а затем расширение (рис 5.8 а исходное изображения б предварительная маска с дефектами). B ( Open ) ( Y B) B) B ( операция открытие Dlate ) MAX ( u ) B ( Y ( u ) B( u )) B ( Erode ) MIN( u ) B ( Y ( u ) B( u )) операция сужение операция расширение где означает операцию сужение расширение элемента. u размер структурного а) б) Рис Результат морфологической операции top-hat transfor Полученный результат показывает что дефект в виде горизонтальной трещины получил наибольший отклик. Для разделения объектов получивших наибольший и наименьший отклик а также локализации предполагаемых объектов полученная маска бинаризуется (рис 5.9).

256 63 Рис Результат бинаризации Предварительная маска на рисунке 5.9 содержит как корректно обнаруженное положения дефекта так и некоторое количество ложных срабатываний. Для сокращения числа неверных обнаружений в данной работе для описания локальных областей используется текстурный оператор локальных бинарных окрестностей который позволяет получить гистограмму для данных областей. Локальный бинарный шаблон рассчитывается в локальной области 3 на 3 пикселя путем сравнения каждого пикселя вокруг центрального пикселя с центральным пикселем который принимается за пороговое значение. В результате данной операции центральному пикселю присваивается 8-битный двоичный код при условии если пиксель меньше или равен соседнему. Для локальной области формируется гистограмма которая представляет собой дескриптор для анализа изображения на наличие дефектов. Результат работы описанного оператора локальных бинарных окрестностей приведен на рисунке 5.0 (а) фрагмент изображения без дефекта б) гистограмма оператора локальных бинарных окрестностей для фрагмента изображения без дефекта в) фрагмент изображения с дефектом г) гистограмма оператора фрагмент изображения без дефекта).

257 64 а) б) в) г) Рис Получение гистограммы локальной бинарной окрестности Гистограмма оператора локальной бинарной окрестности является инвариантной к вращению и изменению уровня яркости и позволяет описать текстурные и структурные особенности изображения. Далее используется метод опорных векторов (SVM) с целью классификации пикселей к дефектам. В данном методе используются этапа обучение и распознавание. На первом этапе строится разделяющая плоскость на основе вычиленных опорных веторов по множеству обучающих примеров. На этапе распознавания на вход классификатора поступают блоки изображений о классовой принадлежности которых ничего не известно при этом классификатор принимает решение о классовой принадлежности вектора X. Следует отметить что метод SVM может применяться как для линейно разделимых образов так и для линейно неразделимых. Во втором случае используется либо линейная разделяющая функция с мягкой границей (т.е. допускается минимальное количество ошибок классификации) либо осуществляется переход в пространство большей размерности в котором образы становятся линейно разделимыми.

258 65 Для построения разделяющей гиперплоскости используется радиальная базисная функция вида: ( x x) exp( x x ) при 0 (5.) где x текущий вектор x центральный вектор параметр. Иллюстрация построения разделяющей гиперплоскости представлен на рисунке 5. (а входные значения б пример разделяющей плоскости). а) б) Рис. 5.. Иллюстрация построения разделяющей гиперплоскости Для формирования обучающей выборки и построения разделяющей гиперплоскости использованно 000 изображений дефектов и 000 изображений с различными текстурными особенностями [406]. Размер изображений составляет 0 0 пикселей. Образцы данных изображений приведены на рисунке 5. (а примеры дефектов на изображении б примеры структуры фона). а) Рис. 5.. Примеры изображений для формирования обучающей выборки б)

259 66 На заключительном этапе все единичные пиксели предварительной маски поступают на обученный классификатор который принимает решение о принадлежности пикселя дефекту или объекту. Результат классификации приведен на рисунке 5.3. Анализ результата обработки показывает что большинство ложных срабатываний исключены из рассмотрения. Рис Пример результирующей маски дефектов после этапа классификации Принятие решения о наличии или отсутствии дефектов определяется вероятностными характеристиками: ошибка первого рода и вероятность правильного измерения : ошибка первого рода (вероятность ложной тревоги) определяет вероятность обнаружения дефекта при его отсутствии; вероятность правильного измерения определяет вероятность правильного решения о наличии дефекта. Для исследования эффективности предложенного метода выбрано несколько фотоизображений представленных на рисунке 5.4. а) б) в) г) д) Рис Примеры тестовых изображений

260 67 Данные изображения выбраны с учетом того что дефекты в виде трещин представлены в большинстве случаев на фотографиях с людьми. Основная особенность данных изображений заключается в том что большое количество текстурных элементов данных фотографий похожи по структуре со структурой дефектов. Основной интерес представляет разделение и классификация данных объектов и дефектов. Для измерения количественных значений эффективности обработки на тестовые кадры накладывается маска с моделированными дефектами. Расположение и количество дефектов носит произвольный характер. Следует отметить что дефекты и изображения не использовались в обучающей выборке предложенного алгоритма. Для сравнения эффективности предложенный метод сравнивается и известными подходами представленными в виде пороговой и морфологической обработки а также метода основанного на преобразовании Габора. Для корректной работы данных методов и достижения приемлемых результатов в решаемой задаче вводятся дополнения к исходным алгоритмам. Для метода пороговой обработки вводится дополнительное пороговое значение которое позволяет выделить некоторую область гистограммы яркости изображения. Данная область гистограммы содержит преимущественно светлые тона что соответствует яркостным особенностям дефектов. Еще одним дополнением для метода пороговой обработки а также для метода основанного на преобразовании Габора является удаление из результирующей маски объектов занимающих площадь в локальном окне больше заданной. Следует отметить что данные дополнения не уменьшают эффективность алгоритма и не нарушают его целостность. На рисунке 5.5 представлено первое тестовое изображение с моделированными дефектами (а исходное изображение б маска дефектов в маска дефектов полученная предложенным методом г маска дефектов полученная пороговой обработкой д маска дефектов полученная морфологической обработкой е маска дефектов полученная фильтрацией

261 68 Габора). Из основных особенностей данного изображения следует отметить объект тумба структура которой схожа со структурой трещины в результате чего известные подходы имеют на результирующей маске некоторое количество ложных срабатываний. Морфологическая обработка и пороговая показывают наилучшие результаты по обнаружению дефектов но в тоже время имеют наибольшее количество ложных срабатываний в результирующей маске. Метод основанный на преобразовании Габора имеет значительно меньше ложных срабатываний и приемлемое качество детектирования дефекта. Наименьшее количество ложных срабатываний имеет маска полученная с помощью предложенного метода. а) б) в) г) д) е) Рис Пример работы алгоритмов обнаружения дефектов Основной особенностью второго изображения (рис. 5.6) являются участки

262 69 одежды схожие по яркости и структуре с особенностями дефектов. Также следует отметить складки одежды которые могут приниматься за ложные срабатывания. Анализ результата обработки показывает что наименьшее количество ложных срабатываний имеют предложенный метод. а) б) в) г) д) е) Рис Пример работы алгоритмов обнаружения дефектов Результаты полученные для остальных изображений показывают похожие результаты с полученные при обработке первого и второго тестового изображения [403]. В таблице 5. представлены результаты вычисления и для тестовых изображений. Значения получены путем усреднения обработки 000 тестовых изображений.

263 70 Таблица 5. Результаты оценки и. Пороговая обработка Морфологическая обработка Преобразование Габора Предложенный метод Анализ результатов представленных в таблице позволяет сделать вывод что вероятность правильного обнаружения дефектов на изображении для предложенного метода в среднем равна 0735 и средняя вероятность ложной тревоги 000 что превосходит все остальные значения полученные известными методами. Самые низкие показатели обнаружения дефектов у детектора основанного на преобразовании Габора. Далее представлены исследования предложенного алгоритма автоматического обнаружения дефектов при обработке изображений поврежденных естественным путем. На рисунке 5.7 представлено изображение со слабо выраженной структурой дефекта (а исходное изображение с естественными дефектами б маска дефектов полученная предложенным методом в маска дефектов полученная пороговой обработкой г маска дефектов полученная морфологической обработкой д маска дефектов полученная фильтрацией Габора). Также данное изображение осложняется наличием здания на заднем плане которое может привести к ложным детектированиям на результирующей маске. Так как данное изображение имеет текстуру которая включает в себя особенности и структуру сложную для разделения на дефект и объект поэтому маски полученные с помощью известных алгоритмов имеют схожие результаты. Анализ полученных результатов говорит о сложности корректного детектирования дефектов без ложных срабатываний на изображении со сложным фоном.

264 7 а) б) в) г) д) Рис Пример работы алгоритмов обнаружения дефектов Тестовое изображение представленное на рисунке 5.8 имеет дефект большой площади что делает его трудно детектируемым для методов с фиксированными начальными параметрами. Анализ полученных результатов позволяет сделать вывод о том что неверно выбранные параметры порогового метода обработки могут нарушить целостность контура обнаруженного дефекта. Связанно это с тем что дефект большой площади включает в себя большое количество градаций яркости а для корректного обнаружения необходимо увеличивать полосу пропускания яркости гистограммы изображения что приводит к большому количеству ложных срабатываний. а) б) в) г) д) Рис Пример работы алгоритмов обнаружения дефектов

265 7 Особенностью тестового изображения представленного на рисунке 5.9 является то что дефекты присутствуют в виде тонкой линии и имеют слабо выраженную контрастность. Маска полученная с помощью порогового метода имеет большое количество ложных срабатываний. Данный результат объясняется тем что исходное изображение имеет преимущественно светлые тона а подход не учитывает структурные особенности изображения. Маска полученная с помощью преобразования Габора также имеет большое количество ложных срабатываний на границах и резких градациях яркости. Количество обнаруженных дефектов не является полным у всех детекторов что объясняется низкой контрастностью дефектов. а) б) в) г) д) Рис Пример работы алгоритмов обнаружения дефектов Далее на рисунках представлены результаты обработки предложенным алгоритмом реконструкции изображений при восстановлении архивных фотографий (а изображение с дефектами б изображение восстановленное предложенным методом).

266 73 а) б) Рис Пример реконструкции изображения а) б) Рис. 5.. Пример реконструкции изображения а) б) Рис. 5.. Пример реконструкции изображения

267 74 а) б) Рис Пример реконструкции изображения а) б) Рис Пример реконструкции изображения а) б) Рис Пример реконструкции изображения

268 75 а) б) Рис Пример реконструкции изображения а) б) Рис Пример реконструкции изображения Анализ результатов представленных на рисунках показывает что предложенный метод позволяет эффективно восстанавливать пиксели на сложнотекстурных изображениях Восстановление изображений при их объединении в панораму на основе подходов реконструкции двумерных сигналов Конечной целью реконструкции изображений является восстановление отсутствующих (поврежденных) областей пикселей визуально правдоподобным образом используя информацию за пределами поврежденной области. В некоторых задачах экстраполяции изображении возникает задача расширения изображения за пределы его первоначальных размеров [40-4]. Склейка фотографий при создании панорам осуществляется с множеством

269 76 перекрывающихся изображений (рисунок 5.8а). В большинстве случаев такие изображения имеют изогнутые границы но для лучшего визуального восприятия большинство пользователей предпочитают прямоугольные границы. В существующем программном и аппаратном обеспечении панорама обрезается в пределах рамки ограничивающей все склеенные изображения (рисунок 5.8б). При таком подходе большую часть входного изображения удаляется (рисунок 5.8в). В связи с этим предлагается алгоритм экстраполяции панорамных изображений на основе предложенного метода реконструкции двумерных сигналов (рисунок 5.8д) [40]. На рисунках представлены примеры экстраполяции панорамных изображений предлагаемым методом реконструкции в сравнении с известными подходами (а оригинальное изображение б изображение восстановленное в программном обеспечении Adobe Photoshop CS5 в изображение восстановленное предложенным методом на основе текстурно-геометрической модели). Анализ результатов показывает что на результатах восстановления полученными Adobe Photoshop CS5 присутствуют размытые и темные участки углах изображения. На рисунке 5.30б присутствуют ошибки при реконструкции участков неба. Анализ результатов обработки рисунок 5.3 показывает что предложенный метод позволяет восстановить текстурные и структурные области на изображении. Границы различных объектов такие как лодки и крыша зданий правильно восстановлены с помощью кубической сплайн-интерполяции. Стоит также отметить что на изображении рис. 5.3в присутствует неправильное восстановление изображения в правом нижнем углу в котором текстура выглядит размытой.

270 77 а) б) в) г) Рис Обработка панорамных изображений

271 78 а) б) в) Рис Пример реконструкции панорамных изображений а) б) в) Рис Пример реконструкции панорамных изображений

272 79 а) б) в) Рис Пример реконструкции панорамных изображений 5.4. Использование методов реконструкции двумерных сигналов при восстановлении информации о глубине сцены по одному изображению В настоящее время достаточно актуальна проблема преобразования D сигнала в 3D сигнал [43]. Анализ существующих методов позволяет сделать вывод что все методы имеют свои ограничения например для случаев когда используется только одно изображение динамика сцен параллакс движения структура от движения и т.д. Это вызывает необходимость усовершенствования существующих методов или разработку новых. Главной проблемой решения задачи преобразования из D в 3D является построение карты глубины [44]. Одним из первых методов преобразования из D в 3D был введен Hoe [45]. Главная идея метода заключается в том что изображение может быть разбито на несколько плоских поверхностей. В методе Mae3D [46] разработана стратегия контроля прогнозирования глубины по одному изображению основанная на разбиении изображения на небольшие области которые находятся в пределах изображения и имеют однородный цвет яркость и другие атрибуты. Анализируя сегменты такие как градации

273 80 яркости на текстурах алгоритм позволяет сделать вывод о том насколько далеко находится от зрителя тот или иной объект на изображении и какова его ориентации в пространстве. Один из лучших результатов реконструкции карты глубины является метод преобразования глубины (Depth Transfer) [Kevn Karsch Ce Lu и Sng Bng Kang]. Для изображений составляется база с примерами карт глубин. Таким образом сравнивая исходный двумерный сигнал с изображениями базы возможно синтезировать карту глубины. Алгоритм метода преобразования глубины состоит из трех этапов. Вопервых с учетом базы данных RGBD изображений находится кандидаты среди изображений в базе данных которые "похожи" на входное изображение в цветовом пространстве RGB. Далее найденные изображения преобразуются с помощью SIFT потока [47]. После процедуры интерполяции и сглаживания значений глубины "похожих" кандидатов получается результирующая оценка карты глубины. Основная идея этого метода в том что похожие сцены должны иметь примерно одинаковые распределения карты глубины. При преобразовании D изображений в 3D методом преобразования глубины карты глубин содержа различные артефакты (сглаженность границ объектов потеря мелких объектов ошибки в реконструкции карты глубины) (рис. 5.3) в связи с чем требуется постобработка полученных изображений с целью восстановления карт глубин. Так на цветном изображении хорошо прослеживаются все границы объектов предлагается использовать модифицированный адаптивный метод размножения оценок. Модификация заключается в том что на цветном изображении определяются границы локальных областей методом инверсий а на изображении карты глубины выполняется двумерная медианная фильтрация в пределах полученных областей. При медианной фильтрации используется двумерное окно (апертура фильтра) обычно имеющее центральную симметрию при этом его центр располагается в текущей точке фильтрации (рис. 5.33). Такой подход позволяет восстановить мелкие детали и границы объектов на изображении карты глубины.

274 8 а) б) Рис Изображение и восстановленная карта глубины методом преобразования глубины S() S() S(3) S(4) S(5) S(6) S(7) S(8) S(9) S() S() S(3) S(4) S(5) S(6) S(7) S(8) S(9) D S(3) S(3) S(33) S(34) S(35) S(36) S(37) S(38) S(39) S(4) S(4) S(43) S(44) S(45) S(46) S(47) S(48) S(49) S(5) S(5) S(53) S(54) S(55) S(56) S(57) S(58) S(59) S(6) S(6) S(63) S(64) S(65) S(66) S(67) S(68) S(69) S(7) S(7) S(73) S(74) S(75) S(76) S(77) S(78) S(79) S(8) S(8) S(83) S(84) S(85) S(86) S(87) S(88) S(89) S(9) S(9) S(93) S(94) S(95) S(96) S(97) S(98) S(99) Окно медианной фильтрации Рис Операция медианной фильтрации Для оценки и исследования эффективности модифицированного метода восстановления карты глубины на рисунках представлены результаты сравнения с методом преобразования глубины (а цветное изображение б изображение карты глубины полученное методом преобразования глубины в изображение карты глубины полученное предложенным методом).

275 8 а) б) в) Рис Результат восстановления карты глубины Визуальная оценка изображений карт глубин позволяет сделать вывод предложенный метод позволяет восстановить меслкие детали которые отсутсвуют на изобаржениях полученных методом преобразования глубины. В таблице 5. представлено усредненное по 000 изображениям значение средней квадратичной погрешности для различных изображений для известного и предложенного метода [48]. В качестве эталонной карты глубины взято изображение полученное с помощью сенсора Mcrosoft Knect. а) б) в) Рис Результат восстановления карты глубины

276 83 а) б) в) Рис Результат восстановления карты глубины Использование разработанного метода реконструкции изображений позволяет уменьшить значение средней квадратической погрешности в среднем на 0%. Т а б л и ц а 5. Значение средней квадратической погрешности Средняя квадратическая погрешность Метод преобразования глубины Предложенный метод Восстановление карты глубины динамических двумерных сигналов В настоящее время системы компьютерного зрения получили широкое распространение во многих областях техники. Решение многих задач упрощается при использовании карты глубины в дополнении к двумерному изображению. Карта глубины представляет собой двумерное одноканальное изображение содержащее информацию о расстоянии от плоскости сенсора до объектов сцены. В некотором смысле это значение координаты z (координаты x и y в данном случае относятся к плоскости сенсора). Получение карт глубины возможно несколькими способами [49]: ) из имеющейся трехмерной модели сцены; ) по паре стереоизображений; 3) с помощью специализированных сенсоров. Каждый способ имеет свои достоинства и недостатки. В прикладных задачах актуальны последние два способа. Получение карты глубины по паре

277 84 стереоизображений не требует дополнительного оборудования но во многих случаях не дает желаемого результата. Одна из главных проблем специализированных сенсоров заключается в том что большинство сенсоров не работает с поверхностями стекла или жидкости. Хорошим примером такого сенсора является Mcrosoft Knect. Он содержит инфракрасный проектор и камеру [40-4]. Оценка расстояния до различных точек сцены производится с помощью измерения относительного смещения точек проецируемых проектором на изображении с инфракрасной камеры. В ряде случаев спроецированные точки могут быть не найдены что приводит к появлению дефектов - это могут быть потерянные и искаженные значения глубины случайный шум неравномерные края и поверхности объектов а так же неверно измеренные значения глубины для некоторых материалов с зеркальными или мелкозернистыми поверхностями (рис. 5.37а) [4]. а) б) Рис Пример карты глубины Предлагается алгоритм восстановления карты глубин динамических двумерных сигналов основанный на методе реконструкции. Алгоритм состоит из следующих этапов: ) запись RGB изображения и карты глубины сцены; ) обнаружение поврежденных участков происходит с помощью порогового обнаружения и получение маски поврежденных участков;

278 85 3) реконструкция поврежденных областей предложенным методом реконструкции изображений; 4) фильтрация изображения глубины методом адаптивной медианной фильтрации с использованием информации о цвете и глубине [44]; 5) запись результата восстановления. Для обнаружения поврежденных областей используется априорная информация о том что на карте глубины дефекты находятся в диапазоне черного цвета. Таким образом происходит пороговое обнаружение и остаются только те области которые необходимо восстановить (рис. 5.37б): 0 I I 0;. (5.3) Для восстановления обнаруженных областей используется предложенный в главе 3 метод реконструкции на основе текстурной модели. Такой метод основывается на вычислении приоритета для каждого пикселя границы с последующим поиском похожего квадратного блока в области доступных пикселей и его копировании в область отсутствующих пикселей. В отличие от оригинального подхода предлагается вычисление приоритета P(p) для каждого пикселя границы который состоит из двух множителей на основе следующих выражений: P( p) С( p) D( p) (5.4) C( l) l Dp n p p C( p) D( p) (5.5) p p D R I (5.6) p p p Коэффициент позволяет учитывать соответственное изображение RGB p R N M для реконструкции. Более большое значение p включает больше информации для вычисления приоритета по цветному изображению. Для 4-битного цветного изображения p R вычисляется следующим образом: p R R R R. (5.7) R p G p B p

279 86 Вычисление приоритета с помощью выражения (5.4) позволяет придать больший вес пикселям находящимся на перепадах яркости (границах) таким образом восстанавливая их в первую очередь. В качестве метода снижающего уровень шума и повышающего качество изображения глубины используется адаптивная медианная фильтрация на основе метода локальной адаптивной аппроксимации [43]. Модификация заключается в том что на цветном изображении определяются границы локальных областей методом инверсий а на изображении карты глубины выполняется двумерная медианная фильтрация в пределах полученных областей. На рисунке 5.38 представлены основные этапы восстановления изображения карты глубины (а цветное изображение б изображение карты глубины в изображение карты глубины после использования метода реконструкции г изображение карты глубины после использования метода фильтрации). а) б) в) г) Рис Основные этапы восстановления изображения карты глубины На рисунках представлены результаты обработки тестовых кадров глубины (а цветное изображение б исходное изображение карты глубины в изображение карты глубины восстановленое методом сглаживание г изображение карты глубины восстановленое предложенным методом реконструкции д изображение карты глубины восстановленое предложенным методом фильтрации). Для сравнения представлены результаты восстановления карты глубины реальных сцен полученных устройством Knect в сравнении с методом «сглаживания» [44]. Тестовые изображения взяты из базы данных B3DO (Bereley 3D).

280 87 а) б) в) г) д) Рис Пример восстановления изображения карты глубины а) б) в) г) д) Рис Пример восстановления изображения карты глубины

281 88 а) б) в) г) д) Рис Пример восстановления изображения карты глубины Анализ результатов обработки показывает что предложенный метод позволяет обнаружить и восстановить потерянные области на карте глубины. При этом контуры объектов выровнены объекты переднего и заднего фона имеют точные очертания. Стоит также отметить что метод не размазывает текстуру и структуру во время реставрации больших областей искаженных пикселей. Метод реконструкции на основе поиска самоподобных областей приводит к видимым искажениям области фона [45-43]. Результаты показывают что информация о цвете может значительно улучшить качество карты глубины реконструкции и предлагаемый метод может правильно восстановить структуру объектов.

282 89 а) б) в) г) д) Рис Пример восстановления изображения карты глубины 5.6. Восстановление искаженных блоков в цифровом телевизионном сигнале в результате ошибочной работы кодека Растущий спрос на видеосвязь и других мультимедийных приложений является одной из движущих сил для постоянного расширения современных средах передачи таких как Интернет и беспроводных сетей. Одна из главных проблем систем связи является то что информация может быть искажена или потеряна при передаче при воздействии канального шума. Эффект от потери даже не большого блока информации может быть существенным для сжатого видеопотока так как в кодеках MPEG [43] в H.64 [433] используются временные пространственные и статистические взаимодействия с компенсацией движения и кодированием Хаффмана. Такие кодаки могут достичь высокой степени сжатия но они подвержены ошибкам передачи возникающих в каналах связи и носителей. Например в каналах беспроводной связи ошибка может распространяться по времени в связи используется кодирование с прогнозированием. Для решения данной проблемы потерянные данные как правило оценивается из полученных методом маскировки ошибок [39] или помехоустойчивыми методами кодирования [].

283 90 В цифровом телевидении отдельным классом областей мешающим просмотру видео являются искаженные блоки при передаче данных от кодера к декодеру. На рисунке 5.43 представлены примеры восстановления видеосигналов разработанным алгоритмом реконструкции изображений на основе геометрической модели с контурным и текстурным анализом (а в примеры искаженных кадров б г примеры восстановленных кадров). а) б) в) г) Рис Примеры восстановления искаженных блоков в цифровом телевизионном сигнале в результате ошибочной работы кодека Сжатие цифровых изображений и видеосигналов на основе подходов реконструкции двумерных сигналов В современных системах телевидения происходит генерация контента в виде медиа-данных в значительных объёмах. При непрерывном росте объёма данных которые требуют передачи по каналу связи полоса пропускания

284 9 стандартных радиоканалов связи остаётся неизменной что в свою очередь порождает существенные проблемы. Сжатие данных является одним из способов решения данной проблемы при передаче двумерных сигналов при помощи соответствующих протоколов связи. Ранее различными авторами было предложено множество алгоритмов эффективного сжатия цифровых изображений для их передачи и хранения которые можно разделить на две группы - с потерями и без потерь. Недостатком методов сжатия без потерь является то что коэффициент сжатия получается не большим. Недостатком методов сжатия с потерями является то что на изображении появляются артефакты из-за того что некоторая информация теряется [434]. В настоящее время одним из перспективных методов построения и модификации кодеков сжатия видеопотоков является задача эффективного уменьшения данных с последующим их восстановлением методом реконструкции. Сжатие в предлагаемом подходе происходит за счет уменьшения количества блоков изображения для которых используется кодирование. В качестве таких данных в большинстве случаев выступают однородные области статические или динамические текстуры которые возможно синтезировать по небольшим доступным областям. Использование таких подходов позволяет удалить 50-80% пикселей с исходного кадра в зависимости от типа сцены и наличия детализированных объектов [435]. В настоящее время одним из перспективных методов построения и модификации кодеков сжатия видеопотоков является задача эффективного уменьшения данных с последующим их восстановлением методом реконструкции. Сжатие происходит за счет уменьшения количества блоков кодирования изображения. Основные этапы предлагаемого метода представлены на общей блок-схеме (рис. 5.44). Кодер включает в себя два блока: блок удаления однородных блоков и блок ДКП преобразования; декодер в свою очередь состоит из: блока обратного ДКП и блока реконструкции удаленных блоков [436438].

285 9 Кодер Декодер Удаление однородных блоков ДКП Обратное ДКП Реконструкция удаленных блоков Рисунок Блок схема основных этапов метода На первом шаге изображение разбивается на блоки размером 8 на 8 для которых вычисляется мера контраста как мера однородности содержимого блока. Блоки которые классифицируются как однородные не используются далее в обработке. Для оставшихся блоков применяется сжатие с помощью ДКП преобразования. В декодере вычисляется обратное ДКП преобразование. Блоки на изображении которые были удалены их обработки по критерию однородности восстанавливаются с помощью разработанного метода реконструкции изображений. Метод моментов гистограммы элементов изображения является одним из наиболее простых методов описания текстуры. Пусть L случайная величина которая определяет дискретную интенсивность изображения тогда ( L( )) H соответствующие значения гистограммы. N -й момент L ( ) относительно среднего значения определяется формулой: ( L) ( L( ) L) H( L( )) (5.8) n ( ) W где L среднее значение яркостей элементов локальной окрестности W. Для описания текстуры является более подходящим второй момент дисперсия ( L ) которая является мерой контраста интенсивности и применяется для описания однородности поверхностей. В работе [350] в качестве меры контраста текстуры предлагается использовать выражение:

286 93 C( ) (5.9) ( L) где ( L ) дисперсия в окрестности n =08 коэффициент нормирования. C ( ) согласно выражению (5.9) равно нулю для окрестностей с постоянной интенсивностью и единице для больших значений ( L ). Это свойство выражения (5.9) полностью отвечает требованиям определения локального контраста. Поэтому по аналогии с описанным известным подходом предлагается использовать в нем меру контраста которая определяется выражением (5.9). Следовательно в предложенном методе на его первом этапе для каждого блока размером 8 8 вычисляется локальный контраст используя выражение (5.9). На рисунке 5.45 представлены примеры тестовых изображений. На рисунке 5.46 представлены примеры удаления блоков с помощью предлагаемого подхода. Анализ результатов обработки показывает что блоки в основном удаляются на однородных областях изображения. а) б) в) Рис Тестовые изображения а) б) в) Рис Примеры удаления однородных блоков на изображении

287 94 В таблице 5.3 представлено процентное соотношение удаленных пикселей к общему числу пикселей на тестовых изображениях [439]. Таблица 5.3. Процент удаленных пикселей на тестовых изображениях. Изображение Процент удаленных пикселей % Цветные камни 8 Лодка Мото Стена 5 Цветы 8 Фрукты 8 Для оставшихся блоков применяется дискретное косинусное преобразование (ДКП) которое представляет изображение в виде суммы гармоник с различной амплитудой и частотой. ДКП матрицы A с размерами где 0 M B pq p и 0 q N p N M имеет следующий вид: M N ( ) p (n ) q p q An cos cos (5.0) M N если M 0 n0 p 0; если p M. M если q 0; N q (5.) если q N. N В алгоритме сжатия изображений JPEG изображение разделяется на блоки с размерами 8 8 или 66элементов для которых вычисляется ДКП. Далее коэффициенты ДКП квантуются и кодируются. Декодер JPEG-данных декодирует коэффициенты дискретного косинусного преобразования и вычисляет обратное ДКП и совмещает их вместе в одно изображение [440]. На рисунке 5.47 представлен пример восстановления изображения «Цветные камни» на рисунке 5.48 пример восстановления фрагмента изображения «Стена» на рисунке 5.49 пример восстановления фрагмента изображения «Лодка» и на рисунке 5.50 пример восстановления изображения «Мото» (а исходное изображение; б изображение с отсутствующими блоками

288 95 пикселей; в изображение восстановленное предложенным методом реконструкции). а) б) в) Рис Восстановление изображения «Цветные камни» Стоит отметить что размер изображения «Цветные камни» составляет 67 на 47 пикселей а количество удаленных пикселей составляет 8% от их общего количества. К особенности данного изображения стоит отнести то что область с отсутствующими пикселями закрывает практически всю область объекта которые необходимо восстановить. Предложенный метод реконструкции значений пикселей позволяет правильно восстановить объекты изображения. Размер изображения «Стена» составляет 5 на 5 пикселей а количество отсутствующих пикселей составляет 5% от их общего количества. Анализ результатов обработки показывает что предложенный метод позволяет корректно восстановить изображение. а) б) в) Рис Восстановление фрагмента изображения «Стена» Из анализа результатов обработки следует что при использовании предложенного метода реконструкции значений пикселей изображения фрагмент

289 96 изображения «Лодка» восстанавливается правильно. Размер изображения 67 на 47 пикселей а количество удаленных пикселей составляет % от их общего количества. Так же следует отметить что предложенный метод не приводит к размытию текстуры при восстановлении больших областей с потерянными пикселями. При обработке предложенный метод имеет преимущество при реконструкции как текстурных участков так и мелких деталей изображения. Особенно это преимущество проявляется для текстуры которая характеризуется мелкими потерянными областями. а) б) в) Рис Восстановление фрагмента изображения «Лодка» Размер изображения «Мото» (Рисунок 5.50) составляет 67 на 430 пикселей а количество отсутствующих пикселей составляет % от их общего количества. а) б) в) Рис Восстановление фрагмента изображения «Мото» «Фрукты» На рисунке 5.5 представлены примеры восстановления изображения размер которого составляет 5 на 5 пикселей а количество

290 97 отсутствующих пикселей составляет 8% от их общего количества. Стоит отметить что область с дефектными пикселями находится на нескольких участках фотографии со сложной текстурой. а) б) в) Рис Восстановление фрагмента изображения «Фрукты» На рисунке 5.5 представлены примеры восстановления изображения «Перец» размер которого составляет 5 на 5 пикселей а количество отсутствующих пикселей составляет 3% от их общего количества. Анализ результатов обработки показывает что предлагаемый метод позволяет синтезировать текстуру с одновременным восстановлением структуры изображения при этом метод является робастным к размеру форме геометрическим особенностям области восстановления а также наблюдается отсутствие артефактов возникающих при замене блоков целиком. а) б) в) Рис Восстановление фрагмента изображения «Перец»

291 98 На рисунке 5.53 представлены примеры удаления блоков и реконструкции изображения «Дом» размер которого составляет 67 на 47 пикселей а количество удаленных пикселей составляет 8% от их общего количества. Отсутствующие блоки находится на участке со сложной текстурой при этом предложенный метод не приводит к размытию текстуры при восстановлении больших областей с потерянными пикселями. а) б) в) Рис Восстановление фрагмента изображения «Дом» В таблице 5.4 представлены значения погрешностей обработки для предложенного метода при наилучших значениях параметров обработки для рассмотренных тестовых изображений. Стоит отметить что количественные значения погрешностей подтверждают визуальный анализ. Таблица 5.4 Значения погрешности обработки для различных изображений RMSE SNR PSNR MAE «Цветные камни» «Стена» «Лодка» «Мото» «Фрукты» «Цветы» «Перец» «Дом» «Здание» «Коттеджи» Усредненные значения

292 99 Анализ результатов обработки показывает что предлагаемый метод позволяет синтезировать текстуру изображения при этом метод является робастным к размеру форме геометрическим особенностям области восстановления а также наблюдается отсутствие артефактов при удалении блоков [44] Стабилизация видеопоследовательностей Одним из способов улучшения качества видеопоследовательностей является стабилизация которая представляет собой процесс компенсации движения камеры. При стабилизации видеопоследовательностей после этапа получения траектории перемещения плоскости кадра возникает проблема увеличения кадра до заданных размеров с целью скрытия изменяющихся границ [44]. При этом возникает проблема появления недостающих пикселей изображений. Эта проблема может быть решена обрезкой кадров по той части которая присутствует на всех кадрах или заполнением недостающих фрагментов (рис. 5.54). Способ обрезания кадров приводит к значительному уменьшению разрешения видеопоследовательности если область перекрытия небольшая среди соседних кадров [443]. Оригинальная траектория Новая траектория Область реконструкции Рис Принцип стабилизации на основе рекоснтуркции пикселей. Общая схема алгоритма стабилизации видеопотока представлена на рисунке 5.55 [444]. Один из главных этапов в данной схеме реконструкция отсутствующих значений пикселей для получения полного кадра.

293 300 В основе данного подхода используется предложенный метод реконструкции видеопоследовательности описанный в разделе.4. Кроме того в основе метода стабилизации так же используется дополнительный этап уменьшения размытости изображений вызванных движением камеры. Входная Входная видеопоследовательность видеопоследовательность Глобальная Глобальная оценка оценка движения движения Сглаживание Сглаживание траектории траектории движения движения Локальная Локальная оценка оценка движения движения Пространственновременная Пространственновременная рекоснтуркция рекоснтуркция Уменьшение Уменьшение размытости размытости Объединение Объединение Выходная Выходная видеопоследовательность видеопоследовательность Рис Алгоритм стабилизации видеопоследовательности. На этапе глобальной оценки движения вычисляется преобразование между последовательными кадрами для получения траектории движения видеокамеры. На следующем этапе траектория движения аппроксимируется полиномом третей степени с целью получения сглаженной оценки. На этапе пространственно-временной реконструкции области с отсутствующими пикселями появившимися в результате сглаживания траектории и смещения плоскости кадров происходит заполнение областей предложенным методом реконструкции. На рисунках 5.56 и 5.57 представлены примеры восстановления кадров видеосигналов разработанным методом пространственно-временной реконструкции с целью получения полного кадра (а в примеры кадров после

294 30 выравнивания траектории перемещения плоскости кадра б г примеры восстановленных кадров. a) б) в) г) Рис Пример реконструкции кадров видеопоследовательностей при стабилизации. Стоит отметить входные изображения содержат значительное количество недостающих участков изображения. Анализ результатов показывает что граничные значения пикселей объектов изображений правильно восстановлены с помощью предложенного метода. Стоит также отметить что обработка методом не приводит к размытию текстуры и структуры во время восстановления больших областей недостающих пикселей.

295 30 a) б) в) г) Рис Пример реконструкции кадров видеопоследовательностей при стабилизации. На рисунках 5.58 и 5.59 представлены примеры восстановления кадров видеосигналов разработанным методом пространственно-временной реконструкции и методом [03] (а пример кадра после выравнивания траектории перемещения плоскости кадра б пример восстановления кадра методом [03] б пример восстановления кадра предложенным методом). а) б) в) Рис Пример реконструкции кадров видеопоследовательностей при стабилизации.

296 303 а) б) в) Рис Пример реконструкции кадров видеопоследовательностей при стабилизации Восстановление эндоскопических изображений с зеркальными отражениями Эндоскопия представляет собой медицинскую диагностическую процедуру которая используется для обеспечения осмотра поверхности внутренних органов человеческого тела. В связи с наличием слизистой оболочки желудочнокишечного тракта или других характеристик человеческого тела как правило эти поверхности имеют глянцевый внешний вид имеющие зеркальные отражения. Для многих алгоритмов анализа изображений их наличие может быть существенным источником ошибок. Далее рассмотрим несколько примеров изображений на которых вручную помечены дефекты которые необходимо удалить [445]. На рисунках представлены результаты восстановления изображений «Тестовое изображение» и «Тестовое изображение» (а исходное изображение; б маска выделенного объекта для удаления в изображение восстановленное методом основанным на поиске похожих областей (М) г изображение восстановленное методом основанным на спектральных преобразованиях (М) д изображение восстановленное методом основанным на вычислении частных производных (М3) е изображение восстановленное методом на основе текстурногеометрической модели (M4) ж изображение восстановленное методом на основе текстурной модели (M5)).

297 304 а) б) в) г) д) е) ж) Рис Тестовое изображение а) б) в) г) д) е) ж) Рис Тестовое изображение Программные и аппаратные технические детали реализации разработанных методов в различных практических областях более подробно представлены в следующих работах [ ] Выводы по главе. Представлены примеры применения разработанных методов обработки и анализа статических и динамических двумерных сигналов в прикладных задачах: при удалении объектов на статическом изображении; автоматизированном обнаружении дефектов и реставрации архивных фотодокументов; восстановлении

298 305 изображений при их объединении в панораму; восстановлении информации о глубине сцены по одному изображению; восстановлении карты глубины динамических двумерных сигналов; восстановлении искаженных блоков в цифровом телевизионном сигнале в результате ошибочной работы кодека; сжатии цифровых изображений и видеосигналов на основе подходов реконструкции двумерных сигналов; восстановлении эндоскопических изображений с зеркальными отражениями.. Предложен алгоритм детектирования искажений на архивных фотодокументах с помощью текстурного анализа на основе локальных бинарных окрестностей. Предлагаемый подход состоит из следующих этапов: предварительная обработка и обнаружение дефектов. Предварительная обработка используется для уменьшения влияния шума и небольших дефектов на изображении. Для распознавания класса дефектов используется метод опорных векторов. Представлены примеры обнаружения дефектов предложенным методом а также известными подходами обнаружения дефектов для тестовых изображений и поврежденных изображений в естественных условиях с различными типами дефектов и структурой фона. Анализ результатов обработки тестовых изображений показывает что предложенный алгоритм позволяет эффективно детектировать дефекты с низким значением ошибки первого рода в сравнении с известными подходами. 3. Предложен алгоритм реконструкции двумерных сигналов с целью экстраполяции и расширения изображения за пределы его первоначальных размеров при объединении изображений в панораму. 4. Предлагается алгоритм получения карты глубины сцены который основан на поиске похожих изображений в базе данных с помощью которых формируется карта глубины с последующей ее постобработкой для уменьшения погрешности преобразования изображений из D в 3D. Эффективность подхода показана на нескольких примерах демонстрирующих эффективность алгоритма при восстановлении карты глубины на тестовых изображениях с различными геометрическими особенностями. Анализ результатов обработки изображений

299 306 показывает что значение среднеквадратической ошибки для предложенного алгоритма меньше в среднем на 0% в сравнении с известными. 5. Разработан алгоритм предобработки изображений карты глубины с целью обнаружения и восстановления потерянных значений пикселей. В качестве метода снижающего уровень шума и повышающего качество изображения глубины используется реконструкция изображений с последующей адаптивной медианной фильтрацией. Эффективность алгоритма представлена на примере обработки тестовых изображений полученных сенсором Knect. 6. Рассмотрен новый подход к сжатию изображений на основе метода реконструкции. Предлагается двухэтапная процедура сжатия которая для кодера состоит из этапа удаления квадратных блоков пикселей на изображении фиксированного размера с последующим кодированием оставшихся блоков методом JPEG. Декодер выполняет процедуру декодирования JPEG с последующим восстановлением удаленных блоков. Сжатие в предлагаемом подходе происходит за счет уменьшения количества блоков изображения для которых используется кодирование JPEG. Показана эффективность подхода на нескольких примерах при восстановлении изображений. 7. Предложен метод и алгоритм стабилизации видеопоследовательностей. Предлагаемый подход основан на методе реконструкции отсутствующих значений пикселей для получения полного кадра. Показана эффективность подхода на примерах при восстановлении кадров видеопоследовательностей. 8. Предложен алгоритм реконструкции двумерных сигналов с целью восстановления эндоскопических изображений которые имеют глянцевый внешний вид и зеркальные отражения в связи с наличием слизистой оболочки желудочно-кишечного тракта или других характеристик человеческого тела. 9. Рассмотренные прикладные аспекты использования методов восстановления статических и динамических двумерных сигналов показывают многообразие практического применения разработанных подходов.

300 307 Основные результаты и выводы В диссертационной работе решена научно-техническая проблема развития теории и методов восстановления двумерных сигналов применительно к задачам пространственно-временной реконструкции изображений имеющей важное теоретическое и прикладное значение в радиотехнических системах обработки и анализа изображений и современных системах телевидения. Основные результаты работы состоят в следующем.. Анализ основных методов анализа статических и динамических двумерных сигналов показывает что в настоящее время отсутствует единый подход к построению систем восстановления изображений при одновременном эффективном выделении полезного двумерного сигнала на фоне аддитивного шума и сохранения перепадов яркости переходов границ и контуров объектов в условиях ограниченного объема априорной информации. При обработке известными методами наряду с подавлением шума наблюдается расфокусировка изображения что значительно ухудшает визуальное качество. Использование известных методов реконструкции статических и динамических изображений также требует априорных знаний и в ряде случаев делает обязательным визуальный контроль и использование экспертных оценок. Неспособность восстанавливать текстуру изображений и изогнутые контуры объектов ограничивает область использования известных методов реконструкции которые в основном применимы при удалении царапин и небольших дефектов на структуре изображений. Пространственно-временная информация позволяет использовать неискаженные участки на смежных кадрах видеопоследовательности но отслеживание траектории объектов и условие статичности камеры приводят к значительным ограничениям использования таких методов на практике.. Проведен системный и теоретико-информационный анализ задач восстановления сигналов который позволил осуществить классификацию методов реконструкции изображений на основе которой разработаны новые

301 308 подходы реконструкции двумерных сигналов. В отличие от существующих представлений данная классификация основана на анализе локальных и глобальных свойств изображений что позволяет повысить эффективность реконструкции за счет обоснования подхода обработки в контексте геометрической модели двумерного сигнала. 3. На основе классификации методов восстановления сигналов предложена геометрическая модель двумерных сигналов с контурным и текстурным анализом применительно к задаче реконструкции изображений. В отличие от модели текстур в виде случайных полей данная модель представляет изображение в виде локальных однородных областей разделенных границами что позволяет учитывать различные геометрические особенности изображений. Такой подход позволяет комбинировать различные способы представления и описания однородных областей а так же описывать участки контуров сплайнами различной гладкости с использованием условия геометрической непрерывности. 4. Разработан метод адаптивной локальной аппроксимации основанный на адаптации границ локальной области фильтрации к изменениям значений градаций яркости изображения. Предложенный метод позволяет осуществлять аппроксимацию с помощью двумерного метода наименьших квадратов на однородных областях что значительно уменьшает эффект расфокусировки границ и контуров объектов изображений. Предложенный метод восстановления цифровых изображений при решении задачи выделения полезного двумерного сигнала на фоне аддитивного шума позволяет получить погрешность оценки полезного двумерного сигнала в среднем на 30% 40% меньше чем при обработке известными методами. Экспериментально установлено что использование временной связи при обработке динамических двумерных сигналов позволяет уменьшить среднеквадратическую погрешность на 0% 5% в сравнении с покадровой обработкой. 5. Разработан метод пространственной реконструкции статических изображений на основе текстурно-геометрической модели изображений который заключается в реконструкции изображений с помощью восстановления контуров

302 309 и синтеза текстуры путем моделирования авторегрессионного случайного сигнала. Предлагается метод построения составной кривой с помощью кубических сплайнов при восстановлении границ объектов на изображении который позволяет уменьшить погрешность реконструкции. Теоретически доказана возможность сопоставления участков границ при восстановлении границ с использованием вероятностного подхода который позволяет оптимально сопоставить каждую пару кривых в рамках заданного критерия. Разработаны оригинальные методики расчета интерполяции сплайнами соответственных участков контуров на основе понятий параметрической и геометрической непрерывности. 6. Предложен метод пространственной реконструкции статических изображений на основе текстурной модели изображений который заключается в поиске похожих областей и копировании их в область искажённых или отсутствующих значений пикселей. Доказана принципиальная возможность улучшения качественных показателей метода в результате оптимизации по критерию при поиске похожих областей учитывающего расстояние между гистограммами текстурных дескрипторов и евклидово расстояние между пикселями что позволяет уменьшить вычислительные затраты и погрешность восстановления в сравнении с методом реконструкции статических изображений на основе текстурной модели изображений и критерия минимума евклидова расстояния при поиске похожих областей. 7. Разработан метод пространственно-временной реконструкции динамических изображений на основе текстурно-геометрической модели изображений который заключается в поиске похожих областей а так же вычисления оптических потоков и низкоуровневых признаков для каждого кадра видеоряда. Представлена принципиальная возможность улучшения качественных показателей метода таких как уменьшение вычислительных затрат в результате оптимизации поиска похожих блоков на соседних кадрах с использованием дескрипторного описания движения объектов.

303 30 8. Разработан системный критерий оценки качества обработки двумерных сигналов применительно к задаче пространственно-временной реконструкции изображений. Проведены исследования с использованием системного подхода в обработке изображений для оценки качества обработки двумерных сигналов на основе критериев включающих вычислительные затраты и погрешность восстановления. 9. Разработан метод оценки качества обработки двумерных сигналов применительно к задаче пространственно-временной реконструкции изображений на основе машинного обучения. Теоретически обоснован вид информационных признаков в виде функций спектрального разложения Хаара на основе наименьшей величины риска при выбранных функциях потерь который позволяет существенно увеличить точность выделяемых классов при малом числе членов ряда. Показано что объективная метрика оценки качества изображений коррелирует с субъективной оценкой качества. 0. Разработана методика анализа существующих методов реконструкции сигналов позволяющая повысить эффективность решения задач восстановления изображений и видеопоследовательностей в частности за счет выбора между различными параметрическими семействами в зависимости от текстурных и структурных особенностей.. Разработанный метод пространственной реконструкции статических изображений на основе геометрической модели с текстурным анализом позволяет получить меньшую ошибку реконструкции чем известные методы в среднем на 60%. Предложенный метод пространственной реконструкции статических изображений на основе геометрической модели с контурным и текстурным анализом позволяет уменьшить погрешность реконструкции изображений в среднем на 50% в сравнении с методом реконструкции статических изображений с текстурным анализом.. Представлены примеры применения разработанных методов обработки и анализа статических и динамических двумерных сигналов в прикладных задачах: при удалении объектов на статическом изображении;

304 3 автоматизированном обнаружении дефектов и реставрации архивных фотодокументов; восстановлении изображений при их объединении в панораму; при восстановлении информации о глубине сцены по одному изображению; при восстановлении карты глубины динамических двумерных сигналов; при восстановлении искаженных блоков в цифровом телевизионном сигнале; при сжатии цифровых изображений и видеосигналов на основе подходов реконструкции двумерных сигналов; при стабилизации видеопоследовательностей; при восстановлении эндоскопических изображений с зеркальными отражениями. 3. Проведен анализ полученных результатов для разработки методик практического использования разработанных методов и алгоритмов при решении прикладных задач в различных областях использования. Разработаны пакеты прикладных программ реализующих новые методы обработки и анализа двумерных сигналов которые внедрены на предприятиях разрабатывающих системы обработки изображений и видеосигналов что подтверждается соответствующими актами о внедрении. Новизна технических решений предложенных способов и устройств подтверждается патентами РФ. 4. Проведены экспериментальные исследования и выполнено статистическое моделирование разработанных методов и алгоритмов на тестовых и реальных изображениях и видеопоследовательностях подтвердившие теоретические положения и выводы диссертации и доказывающие работоспособность и возможность применения предложенных методов и алгоритмов в практических задачах и устройствах различного назначения. В целом совокупность полученных в диссертации теоретических и практических результатов позволяет сделать вывод о том что цель исследований состоящая в повышении точности пространственно-временной реконструкции изображений в радиотехнических системах обработки и анализа изображений и современных системах телевидения достигнута. Поставленные частные задачи решены.

305 3 СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ. Андерсон Т. Статистический анализ временных рядов //М.: Мир 976. С Гонсалес Р. Вудс Р. Цифровая обработка изображений //М.: Техносфера 005. С Грузман И.С. Киричук В.С. Косых В.П. Перетягин Г.И. Цифровая обработка изображений в информационных системах //Новосибирск: изд-во НГТУ 000. С Ярославский Л.П. Введение в цифровую обработку изображений // М.: Сов.радио 979. С Приоров А. Л. Ганин А. Н. Хрящев В. В. Цифровая обработка изображений // М-во образования Рос. Федерации Яросл. гос. ун-т им. П. Г. 00. Пер. с англ. М.: Мир. С Методы компьютерной обработки изображений / Под ред. В.А. Сойфера Москва: ФИЗМАТЛИТ С. 7. Тихонов А. Н. Арсенин В. Я. Методы решения некорректных задач. М.: Наука Л. Шапиро Дж. Стокман. Компьютерное зрение Издательство: Бином. Лаборатория знаний С. 9. Astola J. Kuosanen P.Fundaentals of nonlnear dgtal flterng // Boca Raton (USA): CRC Press LLC 997. P Mara Petrou Pedro Garca. Iage Processng: Dealng Wth Texture. John Wley p.. Борисенко Д.И. Методы поиска угловых особенностей на изображениях / Д.И.Боросенко // Молодой учёный Т.. С Moravec H. Obstacle Avodance and Navgaton n the Real World by a Seeng Robot Rover Harrc C. and Stephens M. A cobned corner and edge detector // Proceedngs of the 4th Alvey Vsons Conference pp

306 33 4. Кухаренко Б.Г. Алгоритмы анализа изображений для определения локальных особенностей и распознавания объектов и панорам. Приложение к журналу Информационные технологии 7 0г. 5. Bay H. Tuytelaars T. (006) Ess A. Speeded-Up Robust Reatures (SURF) n LNCS 395 (ECCV 06) vol. 006 pp Lowe D. Dstnctve Iage Features fro Scale-Invarant Keyponts. In Internatonal Journal of Coputer Vson volue 60 pages Lndeberg T. Feature detecton wth autoatc scale selecton. Internatonal Journal of Coputer Vson 30 (): pp (998). 8. Sh J. and Toas C. Good Reatures to Trac 9th IEEE Conference on Coputer Vson and Pattern Recognton. Sprnger. (June 994). 9. Traovc M. and Hedley M. Fast corner detecton. Iage and Vson Coputng 6 (): pp (998). 0. Davd G. Lowe. Dstnctve age features fro scale-nvarant eyponts Internatonal Journal of Coputer Vson 60 (004) pp Bay Herbert Andreas Ess Tnne Tuytelaars and Luc Van Gool. Speeded-Up Robust Features (SURF) Lecture Notes n Coputer Scence (006) Volue: 395 Issue: 3 Publsher: Sprnger pp.: Хуанга Т. Обработка изображений и цифровая фильтрация //М.: Мир 979 С Ptas I. Venetsanopoulos A.N. Nonlnear Dgtal Flters // Boston (USA): Prncples and Applcatons. Kluwer Acadec Publsher 990. P Taguch A. Meguro M. Adaptve L-flters Based on Fuzzy Rules//San Jose (Calforna USA): Proc. of IS&T/SPIE Syposu on Electronc Iagng. Scence and Technology. 995 V. 44. P Tong Sun Desgn of order statstc based flters for age processng applcatons // Tapere (Fnland) Tapere Unversty of Technology: Thess for the degree of Doctor of Technology. 994 P Хьюбер Дж. П. Робастность в статистике //Пер. с англ. М.: Мир 984. С. 304.

307 34 7. Абрамов С.К. Зеленский А.А. Лукин В.В. Применение мириадного фильтра для подавления смеси мультипликативных и импульсных помех на однородных участках изображений // Технология приборостроения -. Харьков: ГП НИТИП 00. С Kallur S. Arce G. Adaptve weghted yrad flter algorths for robust sgnal processng n α-stable nose envronents // Proc. of IEEE Trans. on sgnal processng 998. V. 46. No. P Lun V.V. Zelensy A.A. Ponoareno N.N. Kuren A.A. Astola J.T. Kovsto P.T. Modfed Sga Flter wth Iproved Nose Suppresson Effcency and Spe Reoval Ablty //Melbourne (Australa): Proc. of the 6-th Intern. Worshop on Intellgent Sgnal Process-ng and Councaton Systes 998. P Kuren A.A. Lun V.V. Zelensy A.A. Astola J.T. Kovsto P.T. Modfed Vector Sga Flter and Its Applcaton to Color and Multchannel Reote Sensng Radar Iage Processng //Denver (USA): Proc. of SPIE Conference on Applcatons of Dgtal Iage Processng 999. SPIE V P Meln V. Nonlnear locally adaptve technques for age flterng and restoraton n xed nose envronents //Tapere (Fnland) Tapere unversty of technology: Thess for the degree of Doctor of Technology 000. Р Зеленский А.А. Кулемин Г.П. Лукин В.В. Мельник В.П. Локально адаптивные устойчивые алгоритмы обработки радио изображений // НАН Украины. Ин-т радиофизики и электроники. Харьков 993. C Awate S.A. Whtaer R.T. Iage denosng wth unsupervsed nforatontheoretc adaptve flterng //Proc. of the IEEE Int. Conf. on Coputer Vson and Pattern Recognton 005. P Katovn V. Egazaran K. Astola J. Local Approxaton technques n sgnal and age processng // Bellngha Washngton 006. P Fo A. Spatally adaptve local approxatons n sgnal and age processng: varyng-scale polynoals ansotropc adaptaton shape-adaptve transfors // Lecture notes of the tutoral gven at the 5th European Sgnal Process. Conf. EUSIPCO Poznan 007. P

308 Katovn V. Egazaran K. Astola J. Novel spatally adaptve ansotropc local approxaton technques n age processng //San Jose USA: Electronc Iagng Conference (EI-006) Lecture notes for Short Course 006. No 7 P Buades A. Iage and fl denosng by non-local eans. Ph. D. Thess subtted by Anton Buades. Unverstat de les Illes Balears Dpt. de ateatques` nforatca 005. P Buades A. Coll B. Morel J.M. A non-local algorth for age denosng //In Proc. of the IEEE Int. Conf. on Coputer Vson and Pattern Recognton 005. P Buades A. A Coll B. Morel J.M. Revew of age denosng algorths wth a new one // Multscale Modelng and Sulaton 4() 005. P Каллианпур Г. Стохастическая теория фильтрации // Пер. с англ. / Под ред. А.В. Скорохода. М.: Наука. Главная редакция физ.-мат. лит C Тихонов В.И. Харисов В.Н. Статистический анализ и синтез радиотехнических устройств и систем //М.: Радио и связь 004. C Шахтарин Б.И. Случайные процессы в радиотехнике // М.: Радио и связь 000. C Солонина А.И. Улахович Д.А. Арбузов С.М. Соловьева Е.Б. Основы цифровой обработки сигналов //СПб.: БХВ-Петербург 005. C Марпл С.Л. Цифровой спектральный анализ и его приложения // М.: Мир 990. С Dabov K. Fo A. Egazaran K. Iage restoraton by sparse 3D transfordoan collaboratve flterng //San Jose Calforna USA: Proc. SPIE Electronc Iagng '08. No P Dabov K. Fo A. Egazaran K. Katovn V. A nonlocal and shape-adaptve transfor-doan collaboratve flterng //Lausanne Swtzerland: Proc. Int. Worshop on Local and Non-Local Approx. n Iage Process 008. P

309 Mallat S. A wavelet tour of sgnal processng //Acadec Press P Gagnon L. Jouan A. Specle Flterng of SAR Iages - a Coparatve Study between Coplex Wavelet Based and Standard Flters //San Jose (CA USA): Proc. of IS&T/SPIE Internatonal Conference on Wavelet Applcatons n Sgnal Processng and Iage Processng 997. V P Donoho D.L. Johnstone I.M. Adaptng to unnown soothness by wavelet shrnage //Journal of Aercan Statstcal Assocaton 995. V. 90. No. P Ote R. Transfor Doan Algorths for Iage Copresson and Denosng // Tapere (Fnland): Tapere Unversty of Technology Thess for the degree of Doctor of Technology 000. P Практические аспекты цифровой обработки сигналов (Practcal aspects of dgtal sgnal processng)// Монография/ под ред. В.И. Марчука. Шахты: Изд-во ЮРГУЭС с. 5. Voronn V. Marchu V. Bezuglov D. and Butaova M.. Inpantng Strateges for Reconstructon of Mssng Data n Iages and Vdeos: Technques Algorths and Qualty. Proceedngs of the Frst Internatonal Scentfc Conference Intellgent Inforaton Technologes for Industry (IITI 6) Advances n Intellgent Systes and Coputng 45 PP DOI 0.007/ _ M. M. Olvera B. Bowen R. McKenna and Y.-S. Chang Fast dgtal npantng n Proc. Int. Conf. Vs. Iagng Iage Process. Sep. pp P. Perona Orentaton dffusons IEEE Trans. Iage Process. vol.7 no. 3 pp J. Gu S. Peng and X. Wang Dgtal age npantng usng Monte Carlo ethod Proc. IEEE Int. Conf. Iage Process. vol. pp A. Z. B. Barcelos M. A. Batsta A. M. Martns and A. C. Noguera Level lnes contnuaton based dgtal npantng Proc. IEEE Brazlan Syp. Coput. Graph. IageProc. pp

310 P. Tan S. Ln L. Quan and H.-Y. Shu Hghlght reoval by llunaton-constrant npantng n Proc. IEEE Int. Conf. Coput. Vs. Oct. pp H. Jang and C. Moloney Error concealent usng a dffuson based ethod n Proc. IEEE Int. Conf. Iage Process. 00 pp S. Masnou and J.-M. Morel Level lnes based dsoclusson n Proc. Int. Conf. Iage Process. 998 pp M. Ntzberg D. Muford and T. Shota Flterng Segentaton and Depth n Lecture Notes n Coputer Scence vol. 66 Berln Gerany: Sprnger- Verlag Fang L Lng P and Teyong Zeng. Explct Coherence Enhancng Flter Wth Spatal Adaptve Ellptcal Kernel Sgnal Processng Letters IEEE (Volue:9 Issue: 9 ) 0 pp A.C. Koara R.D. Morrs W.J. Ftzgerald P.J.W. Rayner. Interpolaton of ssng data n age sequences. IEEE Transactons on Iage Processng (4) Zhaozhong Wang Fugen Zhou Fehu Q. Inpantng Thc Iage Regons usng Isophote Propagaton Iage Processng 006 IEEE Internatonal Conference on 006 pp C. Ballester M. Bertalo V. Caselles G. Sapro and J. Verdera Fllng- n by on nterpolaton of vector felds and grey levels IEEE Trans. Iage Process. vol. 0 no. 8 pp. 00 Aug L. Abroso N. Fusco and D. Pallara Functons of Bounded Varatons and Free Dscontnuty Probles. Oxford U.K.: Clarendon E. Gust Mnal Surfaces and Functons of Bounded Varaton. Boston MA: BrhaЁuser T.F. Chan and J. Shen Matheatcal odels for local non-texture npantng SIAMJ. Appl. Math. vol. 6 no. 3 pp L. Rudn S. Osher and E. Fate Nonlnear total varaton based nose reoval algorths PhyscaD vol. 60 pp

311 J. Shen Inpantng and the fundaental proble of age processng SIAM News vol. 36 no. 5 pp. 4 Jun Marus Lysaer Xue-Cheng Ta. Iteratve Iage Restoraton Cobnng Total Varaton Mnzaton and a Second-Order Functonal Journal Internatonal Journal of Coputer Vson archve Volue 66 Issue January 006 P Png Tan Ln S. Long Quan Heung-Yeung Shu Hghlght reoval by llunaton-constraned npantng Coputer Vson 003. Proceedngs. Nnth IEEE Internatonal Conference on 003 pp Chan T. Shen J. Matheatcal Models for Local Deternstc Inpantngs. UCLA CAM TR 00- March Chan T. Shen J. Non-Texture Inpantng by Curvature-Drven Dffusons (CCD). UCLA CAM TR Sept Tony F. Chan Andy M. Yp Frederc E. Par. Sultaneous Total Varaton Iage Inpantng and Blnd Deconvoluton IEEE Trans Pattern Anal Mach Intell. 005 Apr;7(4): Jalal M. Fadl and Gabrel Peyre Total Varaton Proecton Wth Frst Order Schees IEEE transactons on age processng vol. 0 no. 3 arch 0 pp M. Bertalo G. Sapro V. Caselles and C. Ballester Iage npantng n Proc. Coput. Graph. (SIGGRAPH000) Jul. pp M. Bertalo A. L. Bertozz and G. Sapro Naver Stoes flud dy nacs and age and vdeo npantng Proc. IEEEConf.Coput. Vs. Pattern Recognt. pp. I-355 I-36 Dec C. Ballester M. Bertalo V. Caselles G. Sapro and J. Verdera Fllng-n by on nterpolaton of vector felds and grey levels IEEE Trans. Iage Process. vol. 0 no. 8 pp. 00 Aug T.F. Chan S. H. Kang and J. Shen Euler s elastca and curvature based npantngs SIAM J. Appl. Math. vol. 63 no. pp

312 S. Osher and J. Sethan Fronts propagatng wth curvature dependent speed: Algorths based on Halton Jacob forulatons J. Coput. Phys. no. 79 pp D. L. Rngachand R. Shapley Spatal and teporal propertes of llusory contours and aodal copleton Vson Research F. Borneann T. März. Fast Iage Inpantng Based on Coherence Transport Journal of Matheatcal Iagng and Vson Volue 8 Issue pp Tony F. Chan Sel Esedoglu Frederc E. Par. J. Vs. Coun. Iage decoposton cobnng starcase reducton and texture extracton Iage R. 8 (007) Xaoun Du Dongwoo Cho Ten D. Bu. Iage Inpantng and Segentaton usng Herarchcal Level Set Method Proceedngs of the 3rd Canadan Conference on Coputer and Robot Vson (CRV 06). 85. Davd Tschuperleґ Rachd Derche. Vector-Valued Iage Regularzaton wth PDEs: A Coon Fraewor for Dfferent Applcatons IEEE transactons on pattern analyss and achne ntellgence vol. 7 no G. Aubert and P. Kornprobst Matheatcal Probles n Iage Processng: Partal Dfferental Equatons and the Calculus of Varatons AppledMath. Scences vol. 47 Sprnger-Verlag Jan A. Yezz Modfed Curvature Moton for Iage Soothng and Enhanceent IEEE Trans. Iage Processng pp vol. 7 no. 3 Mar Ouar Nang Abdoulaye Thoune Mouhaed Cheh El Guerea Erc Delйchelle and Jacques Leone. Partal Dfferental Equaton-Based Approach for Eprcal Mode Decoposton: Applcaton on Iage Analyss IEEE transactons on age processng vol. no. 9 0 pp Marcelo Bertalo. Strong-Contnuaton Contrast-Invarant Inpantng Wth a Thrd-Order Optal PDE IEEE transactons on age processng vol. 5 no. 7 uly 006 pp

313 Rupert Paget and I. D. Longsta. Texture Synthess va a Noncausal Nonparaetrc Multscale Marov Rando Feld. IEEE transactons on age processng vol. 7 no. 6 onth Mhran Tuceryan and Anl K. Jan Texture analyss n Handboo of Pattern Recognton and Coputer Vson C. H. Chen L. F. Pau and P. S. P. Wang Eds. pp World Scentfc Sngapore Alexander Shehovtsov Pusheet Kohl Carsten Rother. Curvature Pror for MRF-based Segentaton and Shape Inpantng Coputer Vson and Pattern Recognton 0 7 P. 93. Stuart Gean and Donald Gean Stochastc relaxaton Gbbs dstrbutons and the Bayesan restoraton of ages IEEE Transactons on Pattern Analyss and Machne Intellgence vol. 6 no. 6 pp Huanfeng Shen Tnghua A Pngxang L. A MAP-Based Algorth for Destrpng and Inpantng of Reotely Sensed Iages Geoscence and Reote Sensng IEEE Transactons on Volue:47 Issue: pp Crawford A.J. Brun V. Koara A.C. Vtulano D. Mult-Scale Se- Transparent Blotch Reoval on Archved Photographs usng Bayesan Mattng Technques and Vsblty Laws Iage Processng 007. ICIP 007. IEEE Internatonal Conference on (Volue: ) 007 pp Koodas N. Iage Copleton Usng Global Optzaton Coputer Vson and Pattern Recognton 006 IEEE Coputer Socety Conference on (Volue: ) 006 pp D. Calvett F. Sgallar and E. Soersalo "Iage npantng wth structural bootstrap prors" Iage Vs. Coput (006). 98. Jr Gr Petr Soo Pavel Pudl Irena Mґova MroslavMalec. Texture orented age npantng based on local statstcal odel Proceedngs of the 0th IASTED Internatonal Conference SIGNAL AND IMAGE PROCESSING (SIP 008) pp

314 3 99. S. Yang Y. H. Hu T. Q. Nguyen and D. L. Tull Maxu-lelhood paraeter estaton for age rngng-artfact reoval IEEE Trans. Crcuts Syst. Vdeo Technol. vol. no. 8 pp Aug S. Soatto G. Doretto and Y. N.Wu Dynac textures n Proc. Int. Conf. Coputer Vson 00 pp Nos Koodas and Georgos Tzrtas. Iage Copleton Usng Effcent Belef Propagaton Va Prorty Schedulng and Dynac Prunng IEEE transactons on age processng vol. 6 no. 007 pp D. Heeger and J. Bergen. Pyrad based texture analyss/synthess. Coputer Graphcs pp Texture synthess and pattern recognton for partally ordered arov odels. To appear n Specal Issue on Rando Sets and Pattern Recognton SIGGRAPH Vve Kwatra Arno Schödl Irfan Essa Greg Tur and Aaron Bobc. Graphcut Textures: Iage and Vdeo Synthess Usng Graph Cuts To appear n Proc. ACM Transactons on Graphcs SIGGRAPH T.F.Chan and J. Shen. Matheatcal Models for Local Non Texture Inpantngs. SIAM Journal on Appled Matheatcs 6(3): June Htosh Yaauch Jörg Haber Hans-peter Sedel. Iage Restoraton usng Multresoluton Texture Synthess and Iage Inpantng In Proceedngs of Coputer Graphcs Internatonal Jerey S. De Bonet. Multresoluton saplng procedure for analyss and synthess of texture ages Proceedng SIGGRAPH '97 Proceedngs of the 4th annual conference on Coputer graphcs and nteractve technques pp Alexe A. Efros Wlla T. Freean. Iage qultng for texture synthess and transfer Proceedng SIGGRAPH '0 Proceedngs of the 8th annual conference on Coputer graphcs and nteractve technques 00 pp L-Y We Marc Levoy. Fast texture synthess usng tree-structured vector quantzaton Proceedng SIGGRAPH '00 Proceedngs of the 7th annual conference on Coputer graphcs and nteractve technques 000 pp

315 3 0. Yongbo Qn Feng Wang. A curvature constrant Exeplar-based age npantng Iage Analyss and Sgnal Processng (IASP) 00 Internatonal Conference on 00 pp Crns A. Perez P. and K.Toyaa Regon fllng and obect reoval by exeplar-based age npantng IEEE Transactons on Iage Processng 3 pp Fang C.-W. and Len J.-J. J. Rapd age copleton syste usng ultresoluton patch-based drectonal and nondrectonal approaches IEEE Transactons on Iage Processng 8 pp Le Meur O. Gauter J. and Gulleot C. Exaplar-based npantng based on local geoetry n [ICIP] pp Ja J. andtang C.-K. Iage reparng: robust age synthess by adaptve and tensor votng n [CVPR] pp Wong A. and Orchard J. A nonlocal-eans approach to exeplar-based npantng n [ICIP] pp Anupa Goyal P. and Dwaar S. Fast and enhanced algorth for exeplar based age npantng n [PSIVT 0] pp J.-F. Auol S. Ladal and S. Masnou. Exeplar-based npantng fro a varatonal pont of vew. SIAM J. Math. Anal. 4(3): Ružć T. and Pžurca A. "Texture and color descrptors as a tool for context-aware patch-based age npantng" n SPIE Electronc Iagng Vol Han-Jen Hsu Jhng-Fa Wang and Shang-Cha Lao. A Hybrd Algorth Wth Artfact Detecton Mechans for Regon Fllng After Obect Reoval Fro a Dgtal Photograph IEEE transactons on age processng vol. 6 no pp L. Lang C. Lu Y. Q. Xu B. Guo and H.Y. Shu Real-te texture synthess by patch-based saplng ACMTrans. Graph. vol. 0 pp K. Sangeetha P. Sengottuvelan E. Balaurugan. A Novel Exeplar based Iage Inpantng Algorth for Natural Scene Iage Copleton wth Iproved Patch

316 33 Prortzng Internatonal Journal of Coputer Applcatons ( ) Volue 36 No Connelly Barnes El Shechtan Ada Fnelsten Dan B Goldan. Patch Match: A Randozed Correspondence Algorth for Structural Iage Edtng ACM Transactons on Graphcs (Proc. SIGGRAPH) August Thoas Brox and Danel Creers. Iterated Nonlocal Means for Texture Restoraton In Scale Space and Varatonal Methods n Coputer Vson Sprnger LNCS 4485 F. Sgallar et al. (Eds.) pp. 3-4 May 007. Sprnger-Verlag Berln Hedelberg Qang Chen Yngxang Zhang and Yunca Lu. Iage Inpantng wth Iproved Exeplar-Based Approach Multeda Content Analyss and Mnng Lecture Notes n Coputer Scence Volue pp Lu Yang Tan Xao-an Wang Qng. Shao Shang-xn. Iage npantng algorth based on regonal segentaton and adaptve wndow exeplar Advanced Coputer Control (ICACC) 00 nd Internatonal Conference on (Volue:5 ) 00 pp Iddo Dror Danel Cohen-Or Hezy Yeshurun. Fragent-based age copleton Proceedng SIGGRAPH '03 ACM SIGGRAPH 003 Papers pp Yunqang Lu and Vcent Caselles. Exeplar-Based Iage Inpantng Usng Multscale Graph Cuts IEEE transactons on age processng vol. no pp Bernard Besserer. Exeplar-based npantng wth rotaton nvarant patch atchng Internatonal Conference on Coputer Vson Theory and Applcatons (VISAPP) Setúbal : Portugal (006). 9. P. Aras V. Caselles G. Faccolo. Analyss of a Varatonal Fraewor for Exeplar-Based Iage Inpantng Multscale Modelng & Sulaton Vol. 0 No.. (January 0) pp. 473

317 P. Aras V. Caselles and G. Sapro. A varatonal fraewor for non-local age npantng. In EMMCVPR Lecture Notes n Coputer Scence pages Sprnger Berln Hedelberg Berln Hedelberg P. Aras G. Faccolo V. Caselles and G. Sapro. A varatonal fraewor for exeplar-based age npantng. Internatonal Journal of Coputer Vson pp C. Barnes E. Shechtan A. Fnelsten and D. B Goldan. Patch Match: a randozed correspondence algorth for structural age edtng. In Proc. of SIGGRAPH pages New Yor NY USA 009. ACM. 33. C. Barnes E. Shechtan D. B. Goldan and A. Fnelsten. The generalzed Patch Match correspondence algorth. In European Conference on Coputer Vson A. Hran and T. Totsua. Cobnng Frequency and spatal doan nforaton for fast nteractve age nose reoval Coputer Graphcs pp SIGGRAPH Chh-We Fang and Jenn-Jer Jaes Len. Fast Drectonal Iage Copleton Advances n Iage and Vdeo Technology Lecture Notes n Coputer Scence Volue pp M. Elad "Why Sple Shrnage s Stll Relevant for Redundant Representatons?" Subtted to the IEEE Trans. On Inforaton Theory on Deceber J.L. Starc M. Elad and D.L. Donoho "Iage decoposton va the cobnaton of sparse representatons and a varatonal approach" the IEEE Trans. On Iage Processng Vol. 4 No. 0 pp October J.-L. Starc M. Elad and D.L. Donoho "Redundant Multscale Transfors and ther Applcaton for Morphologcal Coponent Analyss" the Journal of Advances n Iagng and Electron Physcs Vol. 3 pp D.L. Donoho and M. Elad Maxal sparsty Representaton va l Mnzaton the Proc. Nat. Aca. Sc. Vol. 00 pp March 003.

318 Volan Cevher and Andreas Krause. Greedy Dctonary Selecton for Sparse Representaton IEEE ournal of selected topcs n sgnal processng vol. 5 no. 5 0 pp M.J. Fadl J.-L. Starc F. Murtagh. Inpantng and Zoong usng Sparse Representatons The Coputer Journal (009) 5 (): Xn L Iage Recovery va Hybrd Sparse Representatons: a Deternstc Annealng Approach Selected Topcs n Sgnal Processng IEEE Journal of (Volue: 5 Issue: 5 ) 0 pp Thoen Korah Chrstopher Rasussen. PCA-Based Recognton for Effcent Inpantng Coputer Vson ACCV 006 Lecture Notes n Coputer Scence Volue pp Thoen Korah Chrstopher Rasussen. Iprovng Spatoteporal Inpantng wth Layer Appearance Models Advances n Vsual Coputng Lecture Notes n Coputer Scence Volue pp M. Flpovć I. Koprva. A coparson of dctonary based approaches to npantng and denosng wth an ephass to ndependent coponent analyss learneddctonares InverseProbles and Iagng vol. 5 No. 4 (0) pp M. Flpovć I. Koprva A. Cchoc "Inpantng Color Iages n Learned Dctonary" 0th European Sgnal Processng Conference (EUSIPCO 0) - specal sesson on Tensor Decopostons and Source Separaton 7-3August 0 BucharestRoana pp Mn-Sung Koh Rodrguez-Mare E. Turbo npantng: Iteratve K-SVD wth a new dctonary Multeda Sgnal Processng 009. MMSP '09. IEEE Internatonal Worshop on 009 pp Kuo-Mng Hung Chng-Tang Hseh. A novel age npantng technque based on bandelet transfor Coputer Modelng and Sulaton 00. ICCMS '0. Second Internatonal Conference on (Volue: ) 00 pp

319 Yan-Ran L Lxn Shen and Bruce W. Suter. Adaptve Inpantng Algorth Based on DCT Induced Wavelet Regularzaton IEEE transactons on age processng vol. no. 03 pp Guleryuz O.G. "Nonlnear approxaton based age recovery usng adaptve sparse reconstructons and terated denosng" Part I: theory IEEE transactons on age processng 5(3) (006). 5. Guleryuz O.G. "On ssng data predcton usng sparse sgnal odels: A coparson of atoc decopostons wth terated denosng" San Dego: SPIE Conf. Wavelets XI Matheatcal Methods CA (005). 5. Ogawa T. Haseyaa M. ; Ktaa H. reconstructon ethod of ssng texture usng error reducton algorth Iage Processng 005. ICIP 005. IEEE Internatonal Conference on (Volue: ) 005 pp. II Andre Kaup Katrn Mesnger Tl Aach. Frequency selectve sgnal extrapolaton wth applcatons to error concealent n age councaton Int. J. Electron. Coun. 59 (005) pp You-We Wen Chan R.H. Yp A.M. A Pral Dual Method for Total- Varaton-Based Wavelet Doan Inpantng Iage Processng IEEE Transactons on (Volue: Issue: ) pp Tony F. Chan Janhong Shen Hao-Mn Zhou. Total Varaton Wavelet Inpantng Math Iagng Vs. 5: pp M. Elad J-L. Starc P. Querre and D.L. Donoho Sultaneous Cartoon and Texture Iage Inpantng Usng Morphologcal Coponent Analyss (MCA) Journal on Appled and Coputatonal Haronc Analyss Vol. 9 pp Noveber Gabrel Peyre. Texture Synthess wth Grouplets IEEE transactons on pattern analyss and achne ntellgence VOL. 3 NO pp M. Elada J.-L. Starc P. Querreb D.L. Donohoc. Sultaneous cartoon and texture age npantng usng orphologcal coponent analyss (MCA) Appl. Coput. Haron. Anal. 9 (005)

320 Pnevatas E.A. Maragos P. An npantng syste for autoatc age structure texture restoraton wth text reoval Iage Processng 008. ICIP th IEEE Internatonal Conference on 008 pp A Wavelet-Laplace Varatonal Technque for Iage Deconvoluton and Inpantng IEEE transactons on age processng vol. 7 no pp Davd Gustavsson K S. Pedersen and Mads Nelsen. Iage Inpantng by Coolng and Heatng Iage Analyss Lecture Notes n Coputer Scence Volue pp Frredrerc Cao Yann Gousseau Son Masnou and Patrc Pґerez. Geoetrcally Guded Exeplar-Based Inpantng SIAM J. IMAGING SCIENCES vol. 4 No. 4 pp Guy Ben-Yosef Ohad Ben-Shahar. A Tangent Bundle Theory for Vsual Curve Copleton IEEE transactons on patternan alyss andachne ntellgence vol. 34 no. 7 0 pp A. Rares M. J. T.Renders J.Beond. ConstranedTextureRestoraton EURASIP Journal on Appled Sgnal Processng 005:7 pp Hadhoud Mohy M.; Moustafa Kael A.; Shenoda Saeh Z. Dgtal ages npantng usng odfed convoluton based ethod Optcal Pattern Recognton XX. Edted by Casasent Davd P.; Chao Ten-Hsn. Proceedngs of the SPIE Volue 7340 (009) artcle d S 7 pp. (009). 66. Dong Lu Xaoyan Sun Feng Wu. Intra Predcton va Edge-Based Inpantng Proceedng DCC '08 Proceedngs of the Data Copresson Conference pp Arnold T. Provo U.T. Morse B.S. Interactve Iage Repar wth Asssted Structure and Texture Copleton Applcatons of Coputer Vson 007. WACV '07. IEEE Worshop on 007 P. 68. Shutao L Mng Zhao. Iage npantng wth salent structure copleton and texture propagaton Pattern Recognton Letters 3 0 pp

321 Yan Chen Qng Luan L Houqang Au O. Setch-Guded Texture-Based Iage Inpantng Iage Processng 006 IEEE Internatonal Conference on 006 pp Jason C. Hung Chun-Hong Hwang Y-Chun Lao Nc C. Tang Ta-Jen Chen Exeplar-based Iage Inpantng base on Structure Constructon ournal of software vol. 3 no pp Vladr Kluzner Gershon Wolansy Yehoshua Y. Zeev. A Geoetrc- Functonal-Based Iage Segentaton and Inpantng Scale Space and Varatonal Methods n Coputer Vson Lecture Notes n Coputer Scence Volue pp Taahro Sato Yu Ish Yousue Naagawa and Taash Koatsu. Adaptable age nterpolaton wth seleton - texture separaton Iage Processng 006 IEEE Internatonal Conference on 006 pp Mengyao Ma Oscar C. Au S.-H. Gary Chan and Mng-Tng Sun. Edge- Drected Error Concealent IEEE transactons on crcuts and systes for vdeo technology vol. 0 no pp Marcelo Bertalo Lunta Vese Gullero Sapro. Sultaneous Structure and Texture Iage Inpantng IEEE transactons on age processng vol. no pp Xaowe Shao Zhenga Lu Houqang L. An Iage Inpantng Approach Based on the Posson Equaton Docuent Iage Analyss for Lbrares 006. DIAL '06. Second Internatonal Conference on 006 pp Perona P. Scale-space and edge detecton usng ansotropc dffuson / P. Perona J. Mal // IEEE Transactons on Pattern Analyss and Machne Intellgence (7): 990. P Rudn L. Nonlnear total varaton based nose reoval algorths / L. Rudn S. O. Sher E. Fate // Physca D 60(-4). 99. P Chan T.F. Matheatcal odels of local non-texture npantngs / T.F. Chan J. Shen // SIAM Journal on Appled Matheatcs 6(3). 00. P

322 Muford D. Optal approxatons by pecewse sooth functons and assocated varatonal probles / D. Muford J. Shah // Coun. PureAppl. Math P Grossauer H. Usng the coplex Gnzburg-Landau equaton for dgtal npantng n D and 3D. In Sacle space ethod n coputer vson / H. Grossauer O. Scherzer // Sprnger: Lectures notes n Coputer Scences Marcelo Bertalo Lunta Vese Gullero Sapro. Sultaneous Structure and Texture Iage Inpantng IEEE transactons on age processng vol. no pp Efros A. Texture synthess by non-paraetrc saplng / A. Efros T. Leung // ICCV P Grossauer H. Sultaneous texture and structure age npantng / H. Grossauer // Proceedngs of European Conference on Coputer Vson P We YAO. PDE Iage Inpantng wth Texture Synthess based on Daaged Regon Classfcaton / We YAO J-xang SUN Gang ZOU Shuhua TENG Gong-an WEN// Advanced Coputer Control. ICACC '09. Internatonal Conference P G. Glboa Varatonal denosng of partlytextured ages by spatally varyng constrants/ G. Glboa N. Sochen Y. Y. Zeev// IEEE Trans. Iage Processng PP K. Karu. Is there any texture n the age? / K. Karu A. K. Jan R. M. Bolle// Pattern Recognton vol.9 no PP Koara A.C. Interpolaton of ssng data n age sequences / A.C. Koara R.D. Morrs W.J. Ftzgerald P.J.W. Rayner // IEEE Trans. Iage Process V. 4. No.. P Par J.W. DCT coeffcents recovery-based error concealent technque and ts applcaton to the MPEG- bt strea error / J.W. Par J.W.K S.U. Lee // IEEE Trans. Crcuts Syst. Vdeo Technol V. 7. No. 6. P

323 Kaup A. Codng of segented ages usng shapen dependent bass functons / A. Kaup T. Aach // IEEE Trans Iage Process P Kaup A. Effcent predcton of uncovered bacgroundn nterfrae codng usng spatal extrapolaton / A. Kaup T. Aach // Adelade Australa: Proceedngs of the nternatonal conference on acoustcs speech and sgnal processng (ICASSP) P Фомин А.А. Удаление пятен с изображений архивных фотодокументов на основе вейвлет преобразования / А.А. Фомин А.Л. Жизняков // 8 Международная конференция: Цифровая обработка сигналов и её применение. М Kuo-Mng Hung. A novel age npantng technque based on bandelet transfor/ Kuo-Mng Hung Chng-Tang Hseh// Second Internatonal Conference on Coputer Modelng and Sulaton. 00. PP Zhu S.C. Flters Rando Felds and Maxu Entropy (FRAME): Towards a Uned Theory for texture Modelng / S.C. Zhu Y.N. Wu D. Muford // Internatnal Journal of Coputer Vsson 7() P Heeger D. Pyrad-based texture analyss/synthess / D. Heeger J. Bergen // Coputer Graphcs (SIGGRAPH) P DeBonet J.S. Multresoluton saplng procedure for analyss and synthess of texture ages / J.S. DeBonet. // In Proc. of SIGGRAPH P Yongbo Qn Feng Wang. A Curvature Constrant Exeplar-Based Iage Inpantng/ Yongbo Qn Feng Wang // Iage Analyss and Sgnal Processng (IASP) Internatonal Conference. 00. PP Jyng Wu. A Novel Exeplar-Based Iage Copleton Model/ Jyng Wu Quq Ruan// Journal of Inforaton Scence and Engneerng PP Lu Yang. Iage npantng algorth based on regonal segentaton and adaptve wndow exeplar/ Lu Yang Tan Xao-an Wang Qng Shao Shang-xn Sun Xao-ln // Advanced coputer control. 00. PP

324 Shh T.K. Tang N.C. and Hwang J.N. "Ghost shadow reoval n ultlayered vdeo npantng" n Proc. IEEE Int. Conf. Multeda (ICME) pp (007). 00. Kedar A. Sapro P. G. and Bertalo M. Vdeo Inpantng of Occludng and Occluded Obects The 005 IEEE Internatonal Conference on Iage Processng 005 pp. II Y. Wexler E. Shechtan and M. Iran Space-te vdeo copleton n Proc. IEEE Coput. Soc. Conf. Coputer Vson and Pattern Recognton vol. pp A.A. Efros and T.K. Leung Texture synthess by non-paraetrc saplng presented at the IEEE Int. Conf. Coputer Vson Corfu Greece Y. Wexler E. Shechtan and M. Iran Space-te copleton of vdeo IEEE Trans. on Pattern Analyss and Machne Intellgence (PAMI) pp V. Cheung B. J. Frey and N. Joc Vdeo eptoes n IEEE Conf. Coputer Vson and Pattern Recognton vol. pp J. Ja T. Wu Y. Ta and C. Tang Vdeo reparng under varable llunaton usng cyclc otons n Proc. IEEE Coputer Soc. Conf. Coputer Vson and Pattern Recognton vol. pp Y. Zhang J. Xao and M. Shah Moton layer based obect reoval n vdeos n Proc. Worshop on Applcatons of Coputer Vson pp A. Newson A. Alansa M. Fradet Y. Gousseau and P. Perez Towards fast generc vdeo npantng n Proceedngs of the 0th European Conference on Vsual Meda Producton pp. 7: 7: Y. Shen F. Lu X. Cao and H. Foroosh Vdeo copleton for perspectve caera under constraned oton n IEEE Int. Conf. on Iage Proc. (ICIP) vol. 3 pp Patwardhan K.A. Sapro G. and Bertalío M. Vdeo npantng under constraned caera oton IEEE Trans. Iage Process. vol. 6 () pp (007).

325 33 0. Patwardhan K.A. Sapro G. and Bertalo M. "Vdeo npantng of occludng and occluded obects" n Proc. IEEE Int. Conf. Iage Process. vol. pp (005).. Lucas B.D. and Kanade T. Anteratve age regstraton technque wth an applcaton to stereo vson. Proceedngs of Iagng Understandng Worshop 98 pages J.-F. Auol S. Ladal and S. Masnou "Exeplar-based npantng fro a varatonal pont of vew SIAM J. Math. Anal. vol. 44 pp F. Cao Y. Gousseau S. Masnou P. Pérez Geoetrcally Guded Exeplar-Based Inpantng SIAM J. Iagng Sc. vol. 4(4) pp V.V. Voronn V.I. Marchu N.V. Gapon A.V. Zhuravlev S. Maslennov S. Stradancheno Inpantng for vdeos wth dynac obects usng texture and structure reconstructon Proc. SPIE 9497 Moble Multeda/Iage Processng Securty and Applcatons 94970Y Д. Куликов Д. Ватолин "Обнаружение и заполнение статических инородных областей в видео на примере удаления логотипов и сбоев при ошибках передачи" материалы девятого научно-практического семинара "Новые информационные технологии в автоматизированных системах" стр. 3-3 Москва Методы цифровой обработки сигналов для решения прикладных задач. Монография/под. Ред. В.И. Марчука М.: Радиотехника 0. 8 с. ISBN Метод и алгоритмы выделения полезного сигнала на фоне шумов при обработке дискретных сигналов. Монография/М.: Ростов-на-Дону: РИО РТИСТ ФГБОУ ВПО «ЮРГУЭС» 0. 4 с. 8. Информационные телекоммуникационные и программные средства цифровой обработки сигналов. Монография/ под ред. В.И. Марчука. Шахты: Изд-во ЮРГУЭС с. ISBN

326 Практические аспекты цифровой обработки сигналов (Practcal aspects of dgtal sgnal processng). Монография/ под ред. В.И. Марчука. Шахты: Изд-во ЮРГУЭС с. ISBN Методы и алгоритмы восстановления изображений в условиях неполной априорной информации. Монография Шахты: Изд-во ЮРГУЭС с. ISBN Воронин В.В. Восстановление двумерных сигналов на основе метода аппроксимации границ объектов кубическими сплайнами. Международная научная конференция: «Излучение и рассеяние электромагнитных волн» (ИРЭМВ-0): Материалы конференции. Таганрог: Изд-во ТТИ ЮФУ 0. С Воронин В.В. Метод реконструкции изображений на основе интерполяции границ объектов кубическими сплайнами. Успехи современной радиоэлектроники 6 Москва: Изд-во Радиотехника 0. С Воронин В.В. Марчук В.И. Саакян Г.Р. Метод построения составной кривой при восстановлении границ объектов на изображении. Успехи современной радиоэлектроники 9 Москва: Изд-во Радиотехника 0. С Бокс Дж. Дженкинс Г. Анализ временных рядов // Пер. с англ.: Под ред. В.Ф. Писаренко. М.: Мир 974 кн с. 5. Васильев К.К. Крашенинников В.Р. Методы фильтрации многомерных случайных полей. Саратов: СГУ с. 6. Васильев К.К. Попов О.В. Авторегрессионные модели случайных полей с кратными корнями // Труды 4-й конференции «Распознавание образов и анализ изображений: новые информационные технологии» Новосибирск 998 Ч. с Васильев К.К. Попов О.В. Авторегрессионные модели случайных полей с кратными корнями // Труды международной научно-технической конференции «Нейронные реляторные и непрерывнологические сети и модели» (9- мая 998 года) Ульяновск: УлГТУ Т. 998 с. 78.

327 Васильев К.К. Спектор А.А. Статистические методы обработки многомерных изображений // Методы обработки сигналов и полей. Сб. научн. тр. Ульяновск: УлПИ 99 с Васюков В.Н. Квазиоптимальный алгоритм двумерной фильтрации // Методы статистической обработки изображений и полей Новосибирск 984 с Voronn V.V. Marchu V.I. Petrosov S.P. Svrn I. Agaan S. Egazaran K. Iage restoraton usng D autoregressve texture odel and structure curve constructon. Proc. SPIE 9497 Moble Multeda/Iage Processng Securty and Applcatons (May 05); do: 0.7/ Воронин В.В. Метод восстановления двумерных сигналов на основе интерполяции границ объектов на изображении. II Международная научнотехническая конференция: «Информационные технологии. Радиоэлектроника. Телекоммуникации (ITRT-0)»: Материалы конференции г. Тольятти 0. С Воронин В.В. Саакян Г.Р. Восстановление составной кривой при интерполяции границ объектов на изображении. Сервис в России и зарубежом. Системы сети и устройства телекоммуникаций [Электронный ресурс]. Выпуск 5(4). 0. URL: 33. Voronn V.V. Marchu V.I. Egazaran K.O. Sherstobtov A.I. Iage npantng usng cubc splne-based edge reconstructon. Proc. SPIE 895 Iage Processng: Algorths and Systes X; and Parallel Processng for Iagng Applcatons II 8950I (February 9 0); do:0.7/ Pp. 8950I I-0 SSN: X ISBN: DOI: 0.7/ Джайн А.К. Успехи в области математических моделей для обработки изображений // ТИИЭР 98 Т с Херн Дональд Бейкер М. Паулин. Компьютерная графика и стандарт OpenGL 3-е издание.: Пер. с англ. - М.: Издательский дом "Вильямс" с.

328 Современные методы анализа и синтеза оптимальных систем алгоритмы обработки сигналов в информационных навигационных и управляющих системах. Монография/под.ред. Д.А. Безуглова М.: Ростов-на- Дону: РИО РТИСТ ФГБОУ ВПО «ЮРГУЭС» 0. 4 с. ISBN Воронин В.В. Марчук В.И. Шерстобитов А.И. Способ уменьшения погрешности при использовании метода размножения оценок. Материалы международной научной конференции «Цифровые методы и технологии» ч. Таганрог: ТРТУ 005. С Воронин В.В. Марчук В.И. Шерстобитов А.И. Использование метода размножения оценок при обработке черно-белых изображений. 8 Международная конференция: Цифровая обработка сигналов и её применение: Материалы конференции г. Москва 006. С Воронин В.В. Марчук В.И. Шерстобитов А.И. Непараметрические методы обработки черно-белых изображений. Материалы международной научной конференции «Информационные технологии в современном мире» ч. Таганрог: ТРТУ 006. С Воронин В.В. Марчук В.И. Двухмерный метод обработки изображений. 3 Международная научно-техническая конференция: Радиолокация навигация связь: Сборник докладов конференции г. Воронеж 007. С Воронин В.В. Марчук В. И. Семенищев Е. А. Уменьшение ошибки при обработке изображений двумерным методом размножения оценок. IV Международная конференция «Методы и средства управления технологическими процессами». Мордовский государственный университет Саранск 007. с Воронин В.В. Марчук В.И. Метод восстановления изображений при ограниченном объеме априорных данных. Труды международной конференции «Перспективы развития телекоммуникационных систем и информационные технологии» Санкт Петербург: 008. С. 9 3.

329 Теоретические и практические аспекты цифровой обработки сигналов в информационно-телекоммуникационных системах. Монография/ под ред. В.И. Марчука. Шахты: Изд-во ЮРГУЭС с. ISBN Воронин В.В. Марчук В.И. Франц В.А. Модифицированный метод восстановления двумерных сигналов. Научно-технические ведомости СПбГПУ Санкт Петербург: 0. С Воронин В.В. Марчук В.И. Семенищев Е.А. Программный комплекс первичной обработки результатов измерений. Международная научнотехническая конференция: Компьютерное моделирование 007: Труды международной научно-технической конференции г. Санкт - Петербург 007. С Воронин В.В. Программный комплекс восстановления изображений. Материалы международной научной конференции «Инновации в обществе технике и культуре» - ч. 3 Таганрог: ТРТУ 008. С Воронин В.В. Дубовсков В.В. Восстановление изображений в условиях ограниченного объема априорной информации. Материалы Всероссийского смотра конкурса научно-технического творчества студентов высших учебных заведений «Эврика-008» Новочеркасск: 008. С Воронин В.В. Марчук В.И. Шерстобитов А.И. Франкова К.Н. Сизякин Р.А. Обнаружение импульсного шума при обработке двумерных сигналов. Свидетельство об официальной регистрации программы для ЭВМ: РОСПАТЕНТ Воронин В.В. Марчук В.И. Шерстобитов А.И. Франкова К.Н. Сизякин Р.А. Устранение импульсного шума при обработке изображения. Свидетельство об официальной регистрации программы для ЭВМ: РОСПАТЕНТ Воронин В.В. Марчук В.И. Шерстобитов А.И. Гапон Н.В. Франц В.А. Адаптивный двумерный метод размножения оценок. Свидетельство об официальной регистрации программы для ЭВМ: РОСПАТЕНТ

330 Воронин В.В. Марчук В.И. Шерстобитов А.И. Сизенко Д.А. Франц В.А. Метод обнаружения границ и резких изменений сигналов. Свидетельство об официальной регистрации программы для ЭВМ: РОСПАТЕНТ Воронин В.В. Марчук В.И. Семенищев Е.А. Шерстобитов А.И. Франц В.А. Фисунов А.В. Двумерный двукритериальный метод обработки изображений. Свидетельство об официальной регистрации программы для ЭВМ: РОСПАТЕНТ Воронин В.В. Марчук В.И. Шерстобитов А.И. Франц В.А. Франкова К.Н. Даниленко И.Н. Способ обнаружения и устранения импульсного шума при обработке изображений и устройство его реализующее. Пат Российская Федерация: МПК G06F 7/7 0033/08; Заявл ; опубл Бюл Воронин В.В. Марчук В.И. Семенищев Е.А. Шерстобитов А.И. Франц В.А. Гапон Н.В. Сизякин Р.А. Устройство для восстановления изображений. Пат Российская Федерация: МПК G06F 7/ /08; Заявл ; опубл Бюл Воронин В.В. Марчук В.И. Использование адаптивного способа размножения оценок при восстановлении изображений в условиях ограниченного объема априорной информации. Радиоэлектронная техника: меж.вузовский сборник научных трудов/ под. ред. В.А. Сергеева. Ульяновск: УлГТУ С Воронин В.В. Марчук В.И. Шерстобитов А.И. Сравнительный анализ результатов восстановления изображений двумерным методом размножения оценок и его модификации. Электротехнические и информационные комплексы и системы: научно-технический и теоретический журнал. Москва: РГУТиС - т С Воронин В.В. Марчук В.И. Франц В.А. Разработка адаптивного двумерного метода размножения оценок при восстановлении изображений в

331 338 условиях неполной априорной информации. Телекоммуникации 9 Москва: Изд-во Наука и Технологии 0. С Воронин В.В. Марчук В.И. Шерстобитов А.И. Франц В.А. Гапон Н.В. Сизякин Р.А. Гавриленко Д.С. Багнюков К.В. Адаптивный двумерный способ размножения оценок и устройство его реализующее. Пат Российская Федерация: МПК G06F 7/ /08; Заявл ; Опубл Бюл Воронин В.В. Марчук В.И. Гапон Н.В. Франц В.А. Исследование метода восстановления двумерных сигналов при удалении объектов на изображении. II Международная научно-техническая конференция: «Информационные технологии. Радиоэлектроника. Телекоммуникации (ITRT- 0)»: Материалы конференции г. Тольятти 0. С Цифровая обработка сигналов и ее техническое приложение в телекоммуникационных системах. Монография/ под ред. В.И. Марчука. Шахты: Изд-во ЮРГУЭС 00. с. ISBN Переверткин С.М. Бортовая телеметрическая аппаратура космических летательных аппаратов //М.: Машиностроение с. 6. Воронин В.В. Шерстобитов А.И. Обнаружение аномальных измерений при непараметрической априорной неопределенности. Материалы международной научной конференции «Оптимальные методы решения научных и практических задач» ч. Таганрог: ТРТУ 005. С Воронин В.В. Марчук В.И. Шерстобитов А.И. Уменьшение погрешности выделения полезного сигнала при одностороннем законе распределения аддитивной шумовой составляющей. 8 Международная конференция: Цифровая обработка сигналов и её применение: Материалы конференции г. Москва 006. С Воронин В.В. Токарева С.В. Обнаружение аномальных значений в реализации нестационарного случайного сигнала с мультипликативной шумовой составляющей. 3 Международная научно-техническая конференция:

332 339 Радиолокация навигация связь: Сборник докладов конференции г. Воронеж 007. С Воронин В.В. Токарева С.В. Шерстобитов А.И. Анализ эффективности метода обнаружения аномальных значений без выделения функции полезной составляющей процесса. IV Международная конференция «Методы и средства управления технологическими процессами». Мордовский государственный университет Саранск 007.с Воронин В.В. Токарева С.В. Исследование модификации метода обнаружения аномальных значений. Материалы 3 международной научно практической конференции «Наука и образование без границ» том 6. Технологии. София. «Бял ГРАД-БГ» ООД-88с с. 67. Воронин В.В. Марчук В.И. Токарева С.В. Возможность корректировки аномальных значений при анализе стационарных случайных процессов. Материалы международной научной конференции «Методы и алгоритмы принятия эффективных решений» - часть Таганрог: Изд-во ТТИ ЮФУ 009. С Воронин В.В. Токарева С.В. Возможность повышения достоверности оценки результатов фотометрических измерений. Научно-технический вестник Поволжья. 5 03г. Казань: Научно-технический вестник Поволжья с. С Воронин В.В. Гапон Н.В. Сизякин Р.А. Ибадов С.Р. Ибадов Р.Р. Исследование метода восстановления видеосигналов на основе пространственновременной обработки. Инновации экология и ресурсосберегающие технологии (ИнЭРТ-04) [Электронный ресурс]: труды XI международного научнотехнического форума / ДГТУ; под ред. А.Д. Лукьянова Ростов н/д: ДГТУ 04. Стр Воронин В.В. Исследование метода фильтрации видеосигналов на основе адаптивного двумерного метода размножения оценок. Информационные технологии. Радиоэлектроника. Телекоммуникации (ITRT-03): сб. ст. III

333 340 международной заочной научно-технической конференции / Поволжский гос. унт сервиса. Тольятти: Изд-во ПВГУС с. С Воронин В.В. Поморцев П.М. Кузнецов А.А. Мотыко А.А. Метод восстановления видеосигналов на основе адаптивного двумерного метода размножения оценок. Научно-технический вестник Поволжья. 6 0г. Казань: Научно-технический вестник Поволжья 0. C ISSN Canny J. A Coputatonal Approach To Edge Detecton IEEE Trans. Pattern Analyss and Machne Intellgence 8(6): Chan T. F. & Vese L.A. "Actve contours wthout edges" IEEE Transactons on Iage Processng vol. 0() pp (00). 74. Chan T. F. Vese L.A. "A Multphase level set fraewor for age segentaton usng the Muford and Shah odel" Internatonal Journal of Coputer Vson vol. 50(3) pp (00). 75. Практические аспекты обработки сигналов в телекоммуникационных системах. Монография/ М.: Ростов-на-дону: РИО РТИСТ ФГБОУ ВПО «ЮРГУЭС» с. 76. Воронин В.В. Марчук В.И. Гапон Н.В. Франц В.А. Исследование метода реконструкции изображений на основе интерполяции границ объектов кубическими сплайнами. Успехи современной радиоэлектроники 6 Москва: Изд-во Радиотехника 0. С Сизякин Р.А. Гапон Н.В. Фисунов В.А. Обнаружение пикселей с искаженными значениями на основе контурного анализа. Материалы четвертой международной научной конференции «Современные проблемы радиоэлектроники» г. Ростов-на-Дону 0. С Воронин В.В. Марчук В.И. Шерстобитов А.И. Метод восстановления значений двумерных сигналов на основе синтеза текстуры и структуры изображений. Электротехнические и информационные комплексы и системы: научно-технический и теоретический журнал. Москва: РГУТиС - т С

334 Voronn V.V. Marchu V.I. Egazaran K.O. Frantc V.A. Iage npantng algorth based on edge reconstructon. Proceedngs of 0 IEEE th Internatonal Conference on sgnal processng Beng. Pp ISBN: DOI: 0.09/ICoSP Voronn V.V. Marchu V.I. Egazaran K.O. Frantc V.A. Iage npantng algorth based on edge reconstructon. Proceedngs of 0 IEEE th Internatonal Conference on sgnal processng Beng. Pp ISBN: DOI: 0.09/ICoSP Воронин В.В. Метод реконструкции изображений с использованием текстурного анализа. Научно-технический вестник Поволжья. 5 0г. Казань: Научно-технический вестник Поволжья 0. с. -3 ISSN Voronn V.V. Marchuc V.I. Frantc V.A. Egazaran K. O. Iage reconstructon based on texture analyss. th Internatonal conference on Pattern Recognton and Iage Analyss: New nforatonal Technologes (PRIA--03). Saara Septeber Conference proceedng (Vol.I-II) Vol. II Saara: IPSI RAS pp. 83. Сизякин Р.А. Марчук В.И. Франц В.А. Алгоритм автоматического восстановления искаженных значений пикселей на изображениях. Материалы Всероссийской научной конференции «Основные тенденции развития гуманитарных естественных и технических систем» - часть Таганрог: Изд-во ТТИ ЮФУ стр. С Jähne B. "Dgtal Iage Processng" 6th edton pp. 585 (005). 85. Davd F. Rogers J. Alan Adas "Matheatcal eleents for coputer graphcs" McGraw-Hll Publshng Copany pp. 555 (00). 86. Воронин В.В. Семенищев Е.А. Франц В.А. Свирин И.С. Восстановление искаженных пикселей изображений на основе текстурногеометрической модели. "Фундаментальные исследования" (часть ) 05 стр Voronn V. Marchu V. Seenshchev E. Maslennov S. Svrn I. Inpanted age qualty assessent based on achne learnng. Proc. 3rd Internatonal

335 34 Conference n Central Europe on Coputer Graphcs Vsualzaton and Coputer Vson (WSCG 05) 05 PP ISBN Voronn V.V. Marchu V.I. Sherstobtov A.I. Seenshchev E.A. Frantc V.A. Iage Reconstructon on the Bass of a Textural Geoetrcal Model Pattern Recognton and Iage Analyss 05 Vol. 5 No. 3 pp Pleades Publshng Ltd. ISSN Sethan J.A. "Level Set Methods and Fast Marchng Methods Second edton" Cabrdge UK: Cabrdge Unv. Press (999). 90. Telea A. "An age npantng technque based on the fast archng ethod" Journal of Graphcs Tools vol. 9 no. ACM Press pp (004). 9. Воронин В.В. Марчук В.И. Реконструкция значений утраченных пикселов изображений в условиях ограниченной априорной информации. Научнотехнические ведомости СПбГПУ Санкт Петербург: 009. С Voronn V.V. Marchu V.I. Egazaran K.O. Iages reconstructon usng odfed exeplar based ethod. SPIE 7870 Iage Processng: Algorths and Systes IX 78700N (February 03 0); do:0.7/ PP.78700N N- ISSN: X ISBN: DOI: 0.7/ Воронин В.В. Гапон Н.В. Сизякин Р.А. Реконструкция изображений на основе модифицированного метода Exeplar-Based Iage Inpantng. I Международная научно-техническая конференция: «Информационные технологии. Радиоэлектроника. Телекоммуникации (ITRT-0)»: Материалы конференции г. Тольятти 0. С Воронин В.В. Франц В.А. Гапон Н.В. Сизякин Р.А. Алгоритм реконструкции изображений на основе восстановления границ объектов. Материалы 8 международной научно практической конференции «Образование и наука без границ» - 0. том 8 Новые информационные технологии. «Naua I studa» Przeysl 8-0 с.

336 Воронин В.В. Марчук В.И. Шерстобитов А.И. Гапон Н.В. Франц В.А. Метод обработки двумерных сигналов при реконструкции цветных изображений. Свидетельство об официальной регистрации программы для ЭВМ: РОСПАТЕНТ Воронин В.В. Марчук В.И. Шерстобитов А.И. Франц В.А. Гапон Н.В. Паненко М.В. Сизенко Д.А. Устройство обработки двумерных сигналов при реконструкции изображений. Пат Российская Федерация: МПК G06F 7/ /08; Заявл ; опубл Бюл Воронин В.В. Марчук В.И. Франц В.А. Гапон Н.В. Сизякин Р.А. Программное обеспечение для сравнения результатов обработки различными методами реконструкции изображений. Свидетельство об официальной регистрации программы для ЭВМ: РОСПАТЕНТ Воронин В.В. Марчук В.И. Франц В.А. Гапон Н.В. Сизякин Р.А. Программное обеспечение получения масок выделенных объектов для реконструкции изображений. Свидетельство об официальной регистрации программы для ЭВМ: РОСПАТЕНТ Воронин В.В. Марчук В.И. Франц В.А. Гапон Н.В.Сизякин Р.А. Аппроксимация границ на изображении сплайнами Эрмита. Свидетельство об официальной регистрации программы для ЭВМ: РОСПАТЕНТ Воронин В.В. Марчук В.И. Франц В.А. Гапон Н.В. Сизякин Р.А. Программный модуль вычисления границ объектов на изображении. Свидетельство об официальной регистрации программы для ЭВМ: РОСПАТЕНТ Воронин В.В. Марчук В.И. Франц В.А. Гапон Н.В. Сизякин Р.А. Программный модуль сегментирования границы восстанавливаемой области изображения. Свидетельство об официальной регистрации программы для ЭВМ: РОСПАТЕНТ Воронин В.В. Марчук В.И. Франц В.А. Гапон Н.В. Сизякин Р.А. Программный модуль вычисления Dstance transfor. Свидетельство об

337 344 официальной регистрации программы для ЭВМ: РОСПАТЕНТ Воронин В.В. Марчук В.И. Франц В.А. Гапон Н.В. Сизякин Р.А. Программное обеспечение для реконструкции изображений. Свидетельство об официальной регистрации программы для ЭВМ: РОСПАТЕНТ Воронин В.В. Марчук В.И. Франц В.А. Гапон Н.В. Сизякин Р.А. Программный модуль работы с цветными изображениями в задаче реконструкции изображений. Свидетельство об официальной регистрации программы для ЭВМ: РОСПАТЕНТ Воронин В.В. Марчук В.И. Франц В.А. Гапон Н.В. Сизякин Р.А. Программный модуль загрузки и сохранения данных в задаче реконструкции изображений. Свидетельство об официальной регистрации программы для ЭВМ: РОСПАТЕНТ Воронин В.В. Марчук В.И. Франц В.А. Гапон Н.В. Сизякин Р.А. Программная реализация алгоритма интерполяции двумерных сигналов сплайнами Эрмита. Свидетельство об официальной регистрации программы для ЭВМ: РОСПАТЕНТ Воронин В.В. Марчук В.И. Франц В.А. Гапон Н.В. Сизякин Р.А. Программный модуль поддержки динамической границы области на изображении. Свидетельство об официальной регистрации программы для ЭВМ: РОСПАТЕНТ Воронин В.В. Марчук В.И. Франц В.А. Гапон Н.В. Сизякин Р.А. Программный модуль вычисления дескрипторов границы восстанавливаемой области в задаче реконструкции изображений. Свидетельство об официальной регистрации программы для ЭВМ: РОСПАТЕНТ Воронин В.В. Марчук В.И. Франц В.А. Гапон Н.В. Сизякин Р.А. Программный модуль предварительной обработки масок удаляемых объектов в задаче реконструкции изображений. Свидетельство об официальной регистрации программы для ЭВМ: РОСПАТЕНТ

338 Воронин В.В. Марчук В.И. Франц В.А. Гапон Н.В. Сизякин Р.А. Программный модуль восстановления областей с искаженными значениями пикселей цветных изображений. Свидетельство об официальной регистрации программы для ЭВМ: РОСПАТЕНТ Воронин В.В. Марчук В.И. Франц В.А. Гапон Н.В. Сизякин Р.А. Восстановление двумерных сигналов при реконструкции изображений в условиях неполной априорной информации. Свидетельство об официальной регистрации программы для ЭВМ: РОСПАТЕНТ Воронин В.В. Марчук В.И. Франц В.А. Гапон Н.В. Сизякин Р.А. Программный модуль определения границ на изображении. Свидетельство об официальной регистрации программы для ЭВМ: РОСПАТЕНТ Воронин В.В. Марчук В.И. Франц В.А. Гапон Н.В. Сизякин Р.А. Исследование метода реконструкции изображений с использованием текстурного анализа. Научно-технический вестник Поволжья. 5 0г. Казань: Научнотехнический вестник Поволжья 0. C Voronn V.V. Frantc V.A. Marchuc V.I. Egazaran K.O. Fast texture and structure age reconstructon usng the perceptual hash. Proc. SPIE 8655 Iage Processng: Algorths and Systes XI 86550R (February 9 03); do:0.7/ Pp R R- ISSN: X ISBN: Воронин В.В. Гапон Н.В. Марчук В.И. Франц В.А. Алгоритм реконструкции изображений на основе хеш-функций. Информационные технологии. Радиоэлектроника. Телекоммуникации (ITRT-03): сб. ст. III международной заочной научно-технической конференции / Поволжский гос. унт сервиса. Тольятти: Изд-во ПВГУС с. С Voronn V.V. Marchu V. I. Gapon N. V. Szyan R. A. Sherstobtov A. I. Egazaran K. O. Exeplar-based npantng usng local bnary patterns. Proc. SPIE 909 Iage Processng: Algorths and Systes XII (February 5 04); do:0.7/

339 Oala T. Petänen M. Mäenpää T. Multresoluton gray scale and rotaton nvarant texture analyss wth Local Bnary Patterns IEEE Transactons on Pattern Analyss and Machne Intellgence vol. 4 no (00). 38. Rubner Y. Puzcha J. Toas C. and Buhann J.M. Eprcal Evaluaton of Dsslarty Measures for Color and Texture Coputer Vson and Iage Understandng (00). 39. Voronn V.V. Marchu V.I. Gapon N.V. Zhuravlev A.V. Maslennov S. Stradancheno S. Inpantng for vdeos wth dynac obects usng texture and structure reconstructon. Proc. SPIE 9497 Moble Multeda/Iage Processng Securty and Applcatons Y (May 05); do: 0.7/ Воронин В.В. Франц В.А. Гапон Н.В. Фисунов А.В. Алгоритм реконструкции фона видеосигналов. Материалы ХII Международной научнопрактической конференции «Современное состояние естественных и технических наук». - М.: Издательство «Спутник+» с. С Воронин В.В. Франц В.А. Воронин В.В. Марчук В.И. Фисунов А.В. Письменскова М.М. Алгоритм построения траектории движения объектов в видеопотоке на основе оптического потока. Инженерный вестник Дона 3 Ростов-на-Дону: Изд-во Северо-Кавказский научный центр высшей школы Южного федерального университета B. D. Lucas and T. Kanade An teratve age regstraton technque wth an applcaton to stereo vson. Proceedngs of Iagng Understandng Worshop pages -30.(98) 33. Cheng Yzong. Mean Shft Mode Seeng and Clusterng IEEE Transactons on Pattern Analyss and Machne Intellgence (IEEE) 7 (8): (995). 34. Jan A.K. Fundaentals of Dgtal Iage Processng. Prentce-Hall Inc. USA Метод сопровождения объектов в видеопотоке и его реализация в инфокоммуникационных системах. Техника и технологии XXI века: монография. Книга /под.общ. ред. И.Б. Красиной Ставрополь: Логос C.

340 Frantc V.A. Maov S.V. Voronn V.V. Marchu V.I. Stradancheno S. Egazaran K.O. Vdeo segentaton n presence of statc and dynac textures. IS&T Internatonal Syposu on Electronc Iagng Iage Processng: Algorths and Systes XIV 06 pp. -6(6). DOI: 0.35/ISSN IPAS Voronn V.V. Szyan R. Marchu V.I. Ygang Cen Galustov G. Egazaran K.O. Vdeo npantng of coplex scenes based on local statstcal odel. IS&T Internatonal Syposu on Electronc Iagng Iage Processng: Algorths and Systes XIV 06 pp. -6(6). DOI: 0.35/ISSN IPAS Воронин В.В. Марчук В.И. Гапон Н.В. Сизякин Р.А. Фоломкин Д.В. Восстановление видеопоследовательностей с динамическими сценами. Научнотехнический вестник Поволжья. 5 05г. Казань: Научно-технический вестник Поволжья с. Стр Воронин В.В. Семенищев Е.А. Франц В.А. Свирин И.С. Восстановление искаженных пикселей изображений на основе текстурногеометрической модели. "Фундаментальные исследования" (часть ) 05 стр Ang L Zhenang Mao Ygang Cen Tan Wang and Vacheslav Voronn. Hstogra of Maxal Optcal Flow Proecton for Abnoral Events Detecton n Crowded Scenes" Internatonal Journal of Dstrbuted Sensor Networs vol. 05 Artcle ID pages 05. do:0.55/05/ Воронин В.В. Марчук В.И. Гапон Н.В. Сизякин Р.А. Фоломкин Д.В. Восстановление видеопоследовательностей с динамическими сценами. Научнотехнический вестник Поволжья. 5 05г. Казань: Научно-технический вестник Поволжья с. Стр B. Solaz S.M. Assar M. Shah Classfyng web vdeos usng a global vdeo descrptor Machne Vson and Applcatons vol. 4 (7) pp Воронин В.В. Токарева С.В. Метод пространственно-временной реконструкции видеопоследовательностей. Междисциплинарные исследования в области математического моделирования и информатики. Материалы 7-й научно-

341 348 практической nternet-конференции марта 06 г. / отв. ред. Ю.C. Нагорнов. Ульяновск: ЗЕБРА с Воронин В.В. Марчук В.И. Франц В.А. Гапон Н.В. Сизякин Р.А. Программное обеспечение для создания видеопоследовательности для виртуальной голографии. Свидетельство об официальной регистрации программы для ЭВМ: РОСПАТЕНТ Воронин В.В. Марчук В.И. Франц В.А. Семенищев Е.А. Гапон Н.В. Сизякин Р.А. Устройство адаптивной фильтрации видеосигналов. Пат Российская Федерация: МПК G06F 7/ /08; Заяв..0.03; опубл Бюл Воронин В.В. Марчук В.И. Франц В.А. Гапон Н.В. Сизякин Р.А. Устройство фильтрации динамических цифровых изображений в условиях ограниченного объема априорных данных. Пат Российская Федерация: МПК G06K 9/ /08; Заяв ; опубл Бюл Воронин В.В. Марчук В.И. Шерстобитов А.И. Семенищев Е.А. Приходченко В.А. Тимофеев Д.В. Устройство выделения контуров объектов на текстурированном фоне при обработке цифровых изображений. Пат Российская Федерация: МПК G06K 9/ /08; Заявл ; опубл Бюл Воронин В.В. Марчук В.И. Морозова Т.В. Письменскова М.М. Способ и устройство детектирования локальных особенностей на изображении. Пат Российская Федерация: МПК G06T 7/ /08; Заявл..0.03; опубл Бюл Марчук В.И. Воронин В.В. Ибадов Р.Р. Ибадов С.Р. Гапон Н.В. Сизякин Р.А. Семенищев Е.А. Устройство редактирования видеопоследовательностей. Пат Российская Федерация С МПК G06T / /08; заявл ; опубл Бюл Марчук В.А. Воронин В.В. Ибадов Р.Р. Ибадов С.Р. Гапон Н.В. Сизякин Р.А. Токарева С.В. Устройство восстановления искаженных значений

342 349 пикселей изображений. Пат Российская Федерация С МПК G06F 7/ /08; заявл ; опубл Бюл Марчук В.А. Семенищев Е.А. Катков Д.Н. Воронин В.В. Франц В.А. Письменскова М.М. Устройство бесшовного объединения изображений в единую композицию с автоматической регулировкой контрастности и градиентом. Пат Российская Федерация С МПК G06T 5/ /08 (086686); заявл ; опубл Бюл Марчук В.А. Воронин В.В. Кожин Р.А. Гапон Н.В. Левина О.С. Токарева С.В. Устройство восстановления двумерных сигналов на основе реконструкции искаженных пикселей изображений. Пат Российская Федерация С МПК G06F 7/ /08 (086954) заявл ; опубл Бюл Lb J.O. Dstorton Crtera of the Huan Vewer. IEEE Transactons on Systes // Man andcybernetcs. Deceber 979. Vol. 9. Р Pratt W.K. Dgtal Iage Processng. John Wley and Sons Inc. USA Snyder H.L. Iage qualty: Measures and vsual perforance // Flat-Panel Dsplays and CRTs. Tannas L.E. Jr. Ed. New Yor: Van Nostrand Renhold 985. Р Shnayderan A. Gusev A. Escoglu A.M. An SVD-Based Gray-Scale Iage Qualty Measure for Local and Global Assessent // IEEE Transactons on age processng. February 006. Vol Netraval A.N. and Lb J.O. Pcture Codng: A Revew // Proceedngs of the IEEE. March980. Vol Р Гугель Ю.В. Гуров В.С. Гуров И.П. Семенов Н.В. Шалаев М.А. Оценка качества передачи динамических изображений в формате peg по реальным каналам связи // VII Всероссийская научно-методическая конференция «Телематика'000».

343 Wang X. Tan B. Lang C. Sh D. Blnd Iage Qualty Assessent for Measurng Iage Blur //Congress on Iage and Sgnal 008 Congress on Iage and Sgnal Processng Журавель И.М. Краткий курс теории обработки изображений / И.М. Журавель. М Avcbas I. Sanur B. Sayood K. Statstcal evaluatng of age qualty easures // Journal of Electronc Iagng. Aprl 00. Vol.. Р Wlder W.C. Subectve Relevant Error Crtera for Pctoral Data Processng // Purdue Unversty School of Electrcal Engneerng Report TR-EE 7-34 Deceber Макаров А.О. Алгоритмы увеличения пространственного разрешения и обработки мультиспектральных спутниковых изображений: Дис. к-та техн. наук: / А.О. Макаров. Минск с Wang Z. Bov A.C. Sheh H.R. Iage qualty assessent: Fro error vsblty to structural slarty // IEEE transacton on Iage Processng Vol P Воронин В.В. Рыжов В.П. Оценка качества обработки двумерных сигналов на основе комплексных критериев. Информационные технологии. Радиоэлектроника. Телекоммуникации (ITRT-03): сб. ст. III международной заочной научно-технической конференции / Поволжский гос. ун-т сервиса. Тольятти: Изд-во ПВГУС с. С Ards Paul A. and At Snghal. "Vsual salence etrcs for age npantng" IS&T/SPIE Electronc Iagng. Internatonal Socety for Optcs and Photoncs (009) Cheung S.S. Jan Zhao Vay Venatesh M. "Effcent obect-based vdeo npantng" Iage Processng 006 IEEE Internatonal Conference on (006) Paul A. Snghal A. and. Brown C. "Inpantng qualty assessent" Journal of Electronc Iagng Vol (00).

344 Chang Hua-Wen et al. "Sparse Feature Fdelty for Perceptual Iage Qualty Assessent" Iage Processng IEEE Transactons on Vol (03) Taahro Ogawa and Haseyaa M. "Iage npantng based on sparse representatons wth a perceptual etrc" EURASIP Journal on Advances n Sgnal Processng Vol (03). 36. Subhabrata Bhattacharya Suthanar Rahul and Shah Mubara. "A fraewor for photo-qualty assessent and enhanceent based on vsual aesthetcs" Proceedngs of the nternatonal conference on Multeda 7-80 (00). 36. Trung A. D.T. Beghdad B.A. and Larab C.C. "Perceptual qualty assessent for color age npantng" Iage Processng (ICIP) 03 0th IEEE Internatonal Conference on (03) Wang Zhou et al. "Iage qualty assessent: fro error vsblty to structural slarty" Iage Processng IEEE Transactons on Vol (004) Huxuan Tang Josh Neel and Kapoor Ashsh. "Learnng a blnd easure of perceptual age qualty" Coputer Vson and Pattern Recognton (CVPR) 0 IEEE Conference on (0) Bor Al and Laurent Itt. "State-of-the-art n vsual attenton odelng" Pattern Analyss and Machne Intellgence IEEE Transactons on Vol (03) Gastaldo Paolo and Judth A. Red. "Machne learnng solutons for obectve vsual qualty assessent" 6th nternatonal worshop on vdeo processng and qualty etrcs for consuer electroncs VPQM Vol. (0) Suresh Sundara Venatesh Babu R. and K H.J. "No-reference age qualty assessent usng odfed extree learnng achne classfer" Appled Soft Coputng Vol (009) Saad M. Bov A.C. and Charrer C. "Blnd age qualty assessent: A natural scene statstcs approach n the DCT doan" Iage Processng IEEE Transactons on Vol (0).

345 Moorthy A.K. and Bov A.C. "Blnd age qualty assessent: Fro natural scene statstcs to perceptual qualty" Iage Processng IEEE Transactons on Vol (0) Воронин В.В. Рыжов В.П. Системный подход в обработке сигналов и изображений. Успехи современной радиоэлектроники. Радиотехника. М.: С Беллман Р. Заде Л. Принятие решений в расплывчатых условиях// Вопросы анализа и процедуры принятия решений. М.: Мир 976 с Voronn V.V. Frantc V.A. Marchu V.I. Sherstobtov A.I. Agaan S. Egazaran K. Machne learnng approach for obectve npantng qualty assessent. Proc. SPIE 90 Moble Multeda/Iage Processng Securty and Applcatons S ( May 04); do: 0.7/ Voronn V.V. Frantc V.A. Marchu V.I. Sherstobtov A.I. Egazaran K. No-reference vsual qualty assessent for age npantng. Proc. SPIE9399 Iage Processng: Algorths and Systes XIII 93990U (March 6 05); do:0.7/ ; E. Nebur. Salency ap. Scholarpeda volue (8) page Воронин В.В. Франц В.А. Марчук В.И. Разработка визуальной метрики оценки качества изображений на основе машинного обучения. Инновации экология и ресурсосберегающие технологии (ИнЭРТ-04) [Электронный ресурс]: труды XI международного научно-технического форума / ДГТУ; под ред. А.Д. Лукьянова Ростов н/д: ДГТУ 04. Стр Voronn V.V. Frantc V. Marchu V. Gapon N. Szyan R. Fedosov V. Low-level Features For Inpantng Qualty Assessent. Proceedngs of 04 IEEE th Internatonal Conference on sgnal processng HangZhou. ISBN: Pp Рыжов В.П. Статистический подход к анализу сложных линейных цепей.- Известия вузов «Электромеханика» 00 с. 4-6.

346 Sola Alex J. and Schölopf Bernhard. "A tutoral on support vector regresson" Statstcs and coputng Vol (004) Z. Wang A. C. Bov H. R. Sheh and E. P. Soncell. Iage qualty assessent: Fro error vsblty to structural slarty // IEEE Transactons on Iage Processng vol. 3 no. 4 p Apr Воронин В.В. Марчук В.И. Шерстобитов А.И. Исследование метода обработки черно-белых изображений при априорной неопределенности. Материалы международной научной конференции «Статистические методы в естественных гуманитарных и технических науках» ч. 3 Таганрог: ТРТУ 006. С Воронин В.В. Марчук В.И. Шерстобитов А.И. Исследование методов обработки изображений при ограниченном объеме априорных данных. 9 Международная конференция: Цифровая обработка сигналов и её применение: Материалы конференции г. Москва 007. С Воронин В.В. Марчук В. И. Семенищев Е. А. Исследование эффективности метода сглаживания результатов измерений на основе трёхкритериальной целевой функции. IV Международная конференция «Методы и средства управления технологическими процессами». Мордовский государственный университет Саранск 007. с Воронин В.В. Марчук В.И. Обработка черно-белых изображений на основе двумерного метода размножения оценок полезной составляющей. Известия ЮФУ. Технические науки. Тематический выпуск Безопасность телекоммуникационных систем.- Таганрог: Издательство ТТИ ЮФУ 008 3(80) С Воронин В.В. Франц В.А. Обработка цветных изображений с целью выделения полезного двумерного сигнала на фоне шума. Международная конференция: Цифровая обработка сигналов и её применение DSPA-00: Материалы конференции г. Москва 00. С Воронин В.В. Марчук В.И. Франц В.А. Оценка доверительных интервалов погрешности обработки изображений адаптивным двумерным

347 354 методом. 6 Международная научно-техническая конференция: Радиолокация навигация связь: Сборник докладов конференции г. Воронеж 00. С Воронин В.В. Марчук В.И. Шерстобитов А.И. Оценка погрешности выделения полезного сигнала при обработке в условиях ограниченного объема априорной информации. Радиотехника 9 Москва: Изд-во Радиотехника 0. С Воронин В.В. Марчук В.И. Гапон Н.В. Сизякин Р.А. Метод реконструкции двумерных сигналов при восстановлении цветных изображений. 6 Международная научно-техническая конференция: Радиолокация навигация связь: Сборник докладов конференции г. Воронеж 00. С Воронин В.В. Марчук В.И. Гапон Н.В. Франц В.А. Исследование метода восстановления двумерных сигналов при реконструкции блоков искаженных пикселей на изображении. Материалы четвертой международной научной конференции «Современные проблемы радиоэлектроники» г. Ростовна-Дону 0. С Воронин В.В. Марчук В.И. Франц В.А. Гапон Н.В. Сизякин Р.А. Программное обеспечение для экспертной оценки качества обработки цифровых изображений. Свидетельство об официальной регистрации программы для ЭВМ: РОСПАТЕНТ Воронин В.В. Марчук В.И. Сизякин Р.А. Франц В.А. Обработка видеосигналов с целью обнаружения пикселей с искаженными значениями на основе контурного анализа. Успехи современной радиоэлектроники 6 Москва: Изд-во Радиотехника 0. С Воронин В.В. Марчук В.И. Егиазарян К.О. Практические аспекты использования методов реконструкции изображений и видеопоследовательностей. Материалы 8-ой Международной конференции «Цифровая обработка сигналов и ее применение DSPA-06». Москва 06. с

348 Воронин В.В. Марчук В.И. Гапон Н.В. Использование метода реконструкции двумерных сигналов при удалении объектов на изображении. Международная научная конференция: «Излучение и рассеяние электромагнитных волн» (ИРЭМВ-0): Материалы конференции. Таганрог: Изд-во ТТИ ЮФУ 0. С Воронин В.В. Сизенко Д.А. Паненко М.В. Франц В.А. Метод описания границ объектов на цифровом изображении. I Международная научнотехническая конференция: «Информационные технологии. Радиоэлектроника. Телекоммуникации (ITRT-0)»: Материалы конференции г. Тольятти 0. С Воронин В.В. Марчук В.И. Сизякин Р.А. Автоматизированное обнаружение дефектных пикселей на архивных видеозаписях. Международная научная конференция: «Излучение и рассеяние электромагнитных волн» (ИРЭМВ-0): Материалы конференции. Таганрог: Изд-во ТТИ ЮФУ 0. С Воронин В.В. Франц В.А. Практическая реализация алгоритма реконструкции двумерных сигналов в виде программного комплекса. Международная научная конференция: «Излучение и рассеяние электромагнитных волн» (ИРЭМВ-0): Материалы конференции. Таганрог: Изд-во ТТИ ЮФУ 0. С Воронин В.В. Сизякин Р.А. Марчук В.И. Метод обнаружения дефектов на архивных видеозаписях. I Международная научно-техническая конференция: «Информационные технологии. Радиоэлектроника. Телекоммуникации (ITRT-0)»: Материалы конференции г. Тольятти 0. С Воронин В.В. Марчук В.И. Гапон Н.В.Сизякин Р.А. Обработка видеосигналов с целью обнаружения пикселей с искаженными значениями. Сервис в России и зарубежом. Системы сети и устройства телекоммуникаций [Электронный ресурс]. Выпуск 5(4). 0. URL:

349 Воронин В.В. Марчук В.И. Гапон Н.В. Сизякин Р.А. Использование метода реконструкции двумерных сигналов при восстановлении архивных фотографий. Успехи современной радиоэлектроники 9 Москва: Изд-во Радиотехника 0. С Воронин В.В. Марчук В.И. Гапон Н.В.Сизякин Р.А. Исследование метода обнаружение дефектных пикселей на архивных видеозаписях. Материалы 8 международной научно практической конференции «Образование и наука без границ» - 0. том 8 Новые информационные технологии. «Naua I studa» Przeysl 5-8 с Воронин В.В. Марчук В.И. Гапон Н.В. Сизякин Р.А. Автоматическое обнаружение вертикальных царапин на архивных видеозаписях. Успехи современной радиоэлектроники 6 Москва: Изд-во Радиотехника 0. С Воронин В.В. Сизякин Р.А. Марчук В.И. Гапон Н.В. Алгоритм обнаружения вертикальных царапин на архивных видеозаписях. II Международная научно-техническая конференция: «Информационные технологии. Радиоэлектроника. Телекоммуникации (ITRT-0)»: Материалы конференции г. Тольятти 0. С Воронин В.В. Сизякин Р.А. Марчук В.И. Гапон Н.В. Обзор математических моделей дефектов на архивных видеозаписях. II Международная научно-техническая конференция: «Информационные технологии. Радиоэлектроника. Телекоммуникации (ITRT-0)»: Материалы конференции г. Тольятти 0. С Воронин В.В. Автоматизированное детектирование дефектов при реконструкции архивных фотодокументов. Научно-технические ведомости СПбГПУ 6 Санкт Петербург: 0. С Воронин В.В. Сизякин Р.А. Гапон Н.В. Франц В.А. Обнаружение царапин на изображении на основе анализа локальных бинарных окрестностей. Информационные технологии. Радиоэлектроника. Телекоммуникации (ITRT- 03): сб. ст. III международной заочной научно-технической конференции /

350 357 Поволжский гос. ун-т сервиса. Тольятти: Изд-во ПВГУС с. С Сизякин Р.А. Марчук В.И. Гапон Н.В. Обработка изображений с целью обнаружения дефектов на основе преобразования Габора. Успехи современной радиоэлектроники. Радиотехника. М.: С Voronn V. Marchu V. Szyan R. Gapon N. Psensova M. Toareva S. Autoatc age cracs detecton and reoval on oble devces Proc. SPIE 9869 Moble Multeda/Iage Processng Securty and Applcatons R (May 9 06); do:0.7/.4339; Seenshchev E. Marchu V. Shrafel I. Dubovsov V. Onoyo T. Maslennov S. Iage denosng usng a cobned crteron Proc. SPIE 9869 Moble Multeda/Iage Processng Securty and Applcatons E (May 9 06); do:0.7/.360; Воронин В.В. Марчук В.И. Шерстобитов А.И. Франц В.А. Гапон Н.В. Сизякин Р.А. Устройство обнаружения дефектов на архивных фотографиях. Пат Российская Федерация С МПК G06К 9/ /08; Заяв ; Опубл Бюл Воронин В.В. Марчук В.И. Франц В.А. Гапон Н.В. Сизякин Р.А. Способ и устройство обнаружения дефектов на видеосигналах. Пат Российская Федерация: МПК H04/N 5/ /08; Заявл ; опубл Бюл Voronn V.V. Marchu V.I. Sherstobtov A.I. Agaan S. Egazaran K. Iage extrapolaton for photo sttchng usng nonlocal patch-based npantng. Proc. SPIE 90 Moble Multeda/Iage Processng Securty and Applcatons W ( May 04); do: 0.7/ Voronn V.V. Gapon N.V. Svrnn I.S. Epshna E.V. Rostov S.V. Sart processng of D sgnal n the analyss of panorac ages. Theoretcal & Appled Scence. «European Scence and Technology» Materals of the Internatonal

351 358 Scentfc Practcal Conference. vol.9 Issue 04. Pp ISSN Семенищев Е.А. Воронин В.В. Марчук В.И. Толстова И.В. Объединение изображений в единую композицию с восстановлением размытия границ в областях перекрытия. Материалы 8-ой Международной конференции «Цифровая обработка сигналов и ее применение DSPA-06». Москва 06. с Lu C. Yuen J. Torralba A.: Nonparaetrc scene parsng: Label transfer va dense scene algnent. CVPR (009). 44. Torralba A. Olva A. (00) Depth Estaton fro Iage Structure IEEE Transactons on Pattern Analyss and Machne Intellgence Volue 4 Issue 9 Pages: Hoe D. Efros A. Hebert M.: Autoatc photo pop-up. In: ACM SIGGRAPH (005). 46. Saxena A. Chung S. Ng A.: Learnng depth fro sngle onocular ages. NIPS (005). 47. Lu C. Yuen J. Torralba A.: SIFT Flow: Dense correspondence across scenes and ts applcatons. IEEE TPAMI 33 (0) ). 48. Воронин В.В. Разработка и исследование алгоритма вычисления карты глубины стереоизображения. Известия ЮФУ: технические науки. 03. С Воронин В.В. Франц В.А. Левина О.С. Кожин Р.А. Первичная обработка карты глубины изображения. Успехи современной радиоэлектроники. Радиотехника. М.: С Воронин В.В. Франц В.А. Фисунов А.В. Использование карты глубины в задаче слежения за подвижными объектами. Успехи современной радиоэлектроники 6 Москва: Изд-во Радиотехника 0. С Воронин В.В. Марчук В.И. Фисунов А.В. Кашинцев К.С. Суворов В.В. Программа слежения за движением центра объекта с помощью Knect.

352 359 Свидетельство об официальной регистрации программы для ЭВМ: РОСПАТЕНТ Воронин В.В. Франц В.А. Левина О.С. Кожин Р.А. Реконструкция карты глубины изображения. Излучение и рассеяние электромагнитных волн: Труды международной научной конференции «Излучение и рассеяние ЭМВ- ИРЭМВ-03».-Таганрог: Изд-во ЮФУ 03. С Воронин В.В. Марчук В.И. Шерстобитов А.И. Франц В.А.Гапон Н.В. Сизякин Р.А. Гавриленко Д.С. Багнюков К.В. Адаптивный двумерный способ размножения оценок и устройство его реализующее. Пат Российская Федерация: МПК G06F 7/ /08; Заяв ; опубл Бюл Воронин В.В. Франц В.А. Марчук В.И. Сизякин Р.А. Трекинг с использованием карты глубины. II Международная научно-техническая конференция: «Информационные технологии. Радиоэлектроника. Телекоммуникации (ITRT-0)»: Материалы конференции г. Тольятти 0. С Марчук В.И. Воронин В.В. Франц В.А. Письменскова М.М. Семенищев Е.А. Устройство трехмерного сканирования с неламбертовыми эффектами освещения. Пат Российская Федерация С МПК G06T 7/ /08; заявл ; опубл Бюл Марчук В.А. Воронин В.В. Левина О.С. Франц В.А. Кожин Р.А. Устройство восстановления карты глубины сцены. Пат Российская Федерация С МПК G06T 5/ /08 (086956) заявл ; опубл Бюл Обработка и преобразование сигналов в радиотехнических и инфокоммуникационных системах. Монография / под ред. В. И. Воловача. - М.: Радио и связь с. ISBN Воронин В.В. Франц В.А. Фисунов В.А. Левина О.С. Адаптивный алгоритм обработки карты глубины трехмерной сцены изображения. Международная научно-практическая конференция «Актуальные проблемы

353 360 техники и технологии» ИСО и П (филиал) ФГБОУ ВПО «Донской гос. техн. унт». Шахты: ИСО и П (филиал) ФГБОУ ВПО «ДГТУ» с. ISBN Стр Воронин В.В. Левина О.С. Франц В.В. Кожин Р.А. Фисунов А.В. Метод обработки изображений карт глубин полученных с помощью активных 3D сканеров. Инновации экология и ресурсосберегающие технологии (ИнЭРТ- 04) [Электронный ресурс]: труды XI международного научно-технического форума / ДГТУ; под ред. А.Д. Лукьянова Ростов н/д: ДГТУ 04. Стр Воронин В.В. Восстановление карты глубины на основе комбинированной обработки многоканального изображения. Современные проблемы науки и образования [Электронный ресурс] URL: (дата обращения: 8..04). 43. Voronn V.V. Marchu V.I. Fsunov A.V. Toareva S.V. Egazaran K.O. Depth ap occluson fllng and scene reconstructon usng odfed exeplarbased npantng. Proc. SPIE 9399 Iage Processng: Algorths and Systes XIII 93990S (March 6 05); do:0.7/ ;http://dx.do.org/0.7/ Воронин В.В. Капустин Д.А. Гладких А.А. Дементьев В.В. Реализация процедуры мягкого декодирования блоковых кодов методом кластерного анализа. Успехи современной радиоэлектроники 9 Москва: Издво Радиотехника 0. С Воронин В.В. Кривенко С.С. Лукин В.В. Еремеев О.И. Марчук В.И. Ускорение обработки и организация вычислений при фильтрации изображений на основе ДКП. Известия Южного федерального университета. Технические науки С Воронин В.В. Исследование метода сжатия изображений на основе синтеза текстур. Научно-технический вестник Поволжья. 5 03г. Казань: Научно-технический вестник Поволжья с. С Воронин В.В. Морозова Т.В. Письменскова М.М. Алгоритм поиска похожих блоков на изображении с использованием текстурного анализа.

354 36 Theoretcal & Appled Scence. «Theoretcal Research» Materals of the Internatonal Scentfc Practcal Conference Stuttgart Gerany Pp Метод сжатия двумерных сигналов на основе текстурного анализа изображений. Современная наука: актуальные проблемы и перспективы развития: монография. Книга 3/под.общ. ред. И.Б. Красиной Ставрополь: Логос с Воронин В.В. Гапон Н.В. Сизякин Р.А. Фисунов А.В. Исследование алгоритма сжатия двумерных сигналов на основе методов реконструкции изображений. Materały IX Mędzynarodowe nauow-pratyczne onferenc «Perspetywczne opracowana są nauą techna - 03» Volue 34. Nowoczesne nforacyne technologe: Przeyśl. Naua studa str Voronn V.V. Gapon N.V. Szayn R.A. Fsunov A.V. Algorth of twodensonal sgnals copresson based age reconstructon ethods. Theoretcal & Appled Scence. «Appled scentfc research» Materals of the Internatonal Scentfc Practcal Conference Belgrade Serba Pp Frantc V.V. Maov S.V. Voronn V.V. Marchu V.I. Svrn I. Separate texture and structure processng for age copresson Proc. SPIE 9874 Reotely Sensed Data Copresson Councatons and Processng XII 98740T (June 9 06); do:0.7/.368; Воронин В.В. Марчук В.И. Франц В.А. Гапон Н.В. Реконструкция видеопоследовательностей с использованием модели фона. Нелинейный мир Москва: Изд-во Радиотехника 0. С Воронин В.В. Франц В.А. Сизякин Р.А. Метод удаления движущихся объектов на сцене динамических изображений. Излучение и рассеяние электромагнитных волн: Труды международной научной конференции «Излучение и рассеяние ЭМВ-ИРЭМВ-03». Таганрог: Изд-во ЮФУ 03. С Voronn V.V. Frantc V.A. Marchuc V.I. Egazaran K.O. Vdeo npantng usng scene odel and obect tracng. Proc. SPIE 8655 Iage Processng: Algorths and Systes X; and Parallel Processng for Iagng Applcatons II edted

355 36 by Karen O. Egazaran Sos S. Agaan Atanas P. Gotchev Proceedngs of SPIE Vol (SPIE Bellngha WA 03) Pp V V-0 ISSN: X ISBN: DOI: 0.7/ Воронин В.В. Франц В.А. Марчук В.И. Письменскова М.М. Исследование метода реконструкции видеопоследовательности на основе построения модели сцены. Успехи современной радиоэлектроники. Радиотехника. М.: С Voronn V.V. Marchu V.I. Seenshchev E.A. Maov S. Creutzburg R. Dgtal npantng wth applcatons to forensc age and vdeo processng. IS&T Internatonal Syposu on Electronc Iagng Moble Devces and Multeda: Enablng Technologes Algorths and Applcatons 06 pp. -7(7). DOI: 0.35/ISSN MOBMU Voronn V. Frantc V. Marchu V. Shrayfel I. Gapon N. Agaan S. Vdeo stablzaton usng space-te vdeo copleton Proc. SPIE 9869 Moble Multeda/Iage Processng Securty and Applcatons (May 9 06); do:0.7/.0378; Seenshchev E. Marchu V. Voronn V. Psensova M. Tolstova I. Svrn I. The algorth sttchng for edcal agng Proc. SPIE 9870 Coputatonal Iagng 98700M (May 6 06); do:0.7/.44; Воронин В.В. Сизякин Р.А. Гапон Н.В. Франц В.А. Колосов Ю.А. Алгоритм реконструкции изображений на основе анализа локальных бинарных окрестностей. Инженерный вестник Дона 3 Ростов-на-Дону: Изд-во Северо- Кавказский научный центр высшей школы Южного федерального университета Воронин В.В. Морозова Т.В. Фисунов В.А. Письменскова М.М. Алгоритм детектирования локальных особенностей на изображении. Материалы четвертой международной научной конференции «Современные проблемы радиоэлектроники» г. Ростов-на-Дону 0. С.5 54.

356 Воронин В.В. Фисунов В.А. Кашицев К.С. Сизякин Р.А. Алгоритм поиска особых точек на видеопоследовательности в задачах трехмерной реконструкции. Материалы четвертой международной научной конференции «Современные проблемы радиоэлектроники» г. Ростов-на-Дону 0. С Воронин В.В. Письменскова М.М. Фисунов В.А. Морозова Т.В. Модифицированный метод ASIFT для поиска соответствия между особыми точками на отражающих поверхностях изображений. II Международная научнотехническая конференция: «Информационные технологии. Радиоэлектроника. Телекоммуникации (ITRT-0)»: Материалы конференции г. Тольятти 0. С Воронин В.В. Морозова Т.В. Фисунов В.А. Письменскова М.М. Исследование метода детектирования локальных особенностей на изображении. II Международная научно-техническая конференция: «Информационные технологии. Радиоэлектроника. Телекоммуникации (ITRT-0)»: Материалы конференции г. Тольятти 0. С Воронин В.В. Морозова Т.В. Махов Д.С. Самойлин Е.А. Минасян Д.Г. Поиск локальных особенностей на изображениях с использованием текстурных характеристик. Нелинейный мир Москва: Изд-во Радиотехника 0. С Воронин В.В. Марчук В.И. Письменскова М.М. Морозова Т.В. Сопоставление изображений с отражающими поверхностями на основе построения ASIFT дескрипторов. Нелинейный мир Москва: Изд-во Радиотехника 0. С Письменскова М.М. Морозова Т.В. Исследование модифицированного метода сопоставления дескрипторов. Theoretcal & Appled Scence. «Theoretcal Reseach» Materals of the Internatonal Scentfc Practcal Conference Stuttgart Gerany Pp

357 Воронин В.В. Морозова Т.В. Письменскова М.М. Исследование алгоритмов поиска похожих блоков на изображении. Успехи современной радиоэлектроники. Радиотехника. М.: С Voronn V.V. Sherstobtov A. I. Marchu V. I. Tofeev D. V. Egazaran K. O. Local feature descrptor based on D local polynoal approxaton ernel ndces. Proc. SPIE 909 Iage Processng: Algorths and Systes XII (February 5 04); do:0.7/ Voronn V.V. Sherstobtov A. I. Marchu V.I.Tofeev D.V. Egazaran K.O. Agaan Sos S. Texture descrptor based on local approxatons. Proc. SPIE 90 Moble Multeda/Iage Processng Securty and Applcatons V ( May 04); do: 0.7/ Воронин В.В. Марчук В.И. Морозова Т.В. Письменскова М.М. Методы построения дескрипторов применительно к задаче распознавания действий человека на основе пространственно-временной обработки видеопоследовательности. Инновации экология и ресурсосберегающие технологии (ИнЭРТ-04) [Электронный ресурс]: труды XI международного научно-технического форума / ДГТУ; под ред. А.Д. Лукьянова Ростов н/д: ДГТУ 04. Стр Frantc V.A. Maov S.V. Voronn V.V. Marchu V.I. Seenshchev E.A. Egazaran K.O. and Agaan S. Sultenous bnary hash and features learnng for age retreval Proc. SPIE 9869 Moble Multeda/Iage Processng Securty and Applcatons (May 6 06); do:0.7/.3605; Воронин В.В. Марчук В.И. Фисунов А.В. Кашинцев К.С. Суворов В.В. Программа для трехмерной реконструкции по набору кадров видеопоследовательности. Свидетельство об официальной регистрации программы для ЭВМ: РОСПАТЕНТ Воронин В.В. Марчук В.И. Фисунов А.В. Кашинцев К.С. Суворов В.В. Модуль слежения за точечными особенностями на видеопоследовательности.

358 365 Свидетельство об официальной регистрации программы для ЭВМ: РОСПАТЕНТ Воронин В.В. Марчук В.И. Фисунов А.В. Кашинцев К.С. Суворов В.В. Модуль быстрой раскадровки видео с двойным масштабированием. Свидетельство об официальной регистрации программы для ЭВМ: РОСПАТЕНТ Воронин В.В. Марчук В.И. Фисунов А.В. Кашинцев К.С. Суворов В.В. Модуль ускоренного расчета контуров и узловых точек для больших изображений. Свидетельство об официальной регистрации программы для ЭВМ: РОСПАТЕНТ Воронин В.В. Марчук В.И. Фисунов А.В. Кашинцев К.С. Суворов В.В. Модуль нахождения собственного вектора матрицы. Свидетельство об официальной регистрации программы для ЭВМ: РОСПАТЕНТ Воронин В.В. Марчук В.И. Фисунов А.В. Кашинцев К.С. Суворов В.В. Программа поиска узловых точек по однопиксельному контуру. Свидетельство об официальной регистрации программы для ЭВМ: РОСПАТЕНТ Воронин В.В. Марчук В.И. Фисунов А.В. Кашинцев К.С. Суворов В.В. Программа для реализации алгоритма трехмерной реконструкции объектов по набору предобработанных изображений. Свидетельство об официальной регистрации программы для ЭВМ: РОСПАТЕНТ Воронин В.В. Марчук В.И. Шерстобитов А.И. Семенищев Е.А. Приходченко В.А. Тимофеев Д.В. Устройство колоризации черно-белых изображений. Пат Российская ФедерацияМПК H04/N 9/ /08; Заявл ; опубл Бюл Воронин В.В. Марчук В.И. Шерстобитов А.И. Франц В.А. Кожин Р.А. Левина О.С. Устройство предобработки карты глубины стереоизображения. Пат Российская Федерация: МПК G06T 5/ /08; Заявл ; опубл Бюл. 34.

359 Воронин В.В. Маков С.В. Шерстобитов А.И. Левина Р.С. Способ организации таблицы фильтрации межсетевого коммутатора и устройство для его реализации. Пат Российская Федерация С МПК H04L / /08; Заяв ; Опубл Бюл Воронин В.В. Марчук В.И. Морозова Т.В. Письменскова М.М. Устройство поиска дубликатов изображений. Пат Российская Федерация С МПК G06T 7/ /08; Заяв ; Опубл Бюл Воронин В.В. Маков С.В. Шерстобитов А.И. Левина Р.С. Способ организации таблицы фильтрации межсетевого коммутатора и устройство для его реализации. Пат Российская Федерация С МПК H04L / /08; Заяв ; Опубл Бюл Воронин В.В. Марчук В.И. Морозова Т.В. Письменскова М.М. Устройство поиска дубликатов изображений. Пат Российская Федерация С МПК G06T 7/ /08; Заяв ; Опубл Бюл Воронин В.В. Марчук В.И. Шерстобитов А.И. Гридин С.А. Способ повышения точности аппроксимации при выделении полезного сигнала в условиях априорной неопределенности и устройство его реализующее. Пат Российская Федерация С МПК G06F 7/ /08; Заяв ; Опубл Бюл Воронин В.В. Марчук В.И. Шерстобитов А.И. Семенищев Е.А. Приходченко В.А. Тимофеев Д.В. Гапон Н.В. Устройство автоматизированного распознавания лиц при обработке групповой фотографии. Пат Российская Федерация С МПК G06К 9/ /08; Заяв ; Опубл Бюл Воронин В.В. Марчук В.И. Шерстобитов А.И. Гридин С.А. Способ уменьшения погрешности оценки полезной составляющей в условиях априорной неопределенности и устройство его реализующее. Пат Российская

360 367 Федерация С МПК G06F 7/ /08; Заяв ; Опубл Бюл Воронин В.В. Франц В.А. Марчук В.И. Гавриленко Д.С. Реализация одного метода цифровой обработки изображений на параллельном компьютере.i Международная научно-техническая конференция: «Информационные технологии. Радиоэлектроника. Телекоммуникации (ITRT-0)»: Материалы конференции г. Тольятти 0. С Обработка и преобразование сигналов в радиотехнических и инфокоммуникационных системах. Монография / под ред. В. И. Воловача. - М.: Радио и связь с. ISBN

361 368 Приложение A Принцип работы и структурные-схемы разработанных устройств обработки двумерных сигналов На основе предложенного способа адаптивного двумерного способа размножения оценок разработано устройство для обработки изображений (Патент РФ 46874) (рис. А.). Устройство для обработки изображений на основе двумерного способа размножения оценок работает следующим образом. В блок хранения входной реализации записывается исходный двумерный сигнал. Блоки счетчика текущей строки 9. и счетчика текущего столбца 9.4 формируют координаты пикселя обрабатываемого в данный момент времени. Координаты поступают на вход блока определения участков квазистационарности. Происходит выборка значений пикселей близких к выбранному из блока хранения входной реализации и определение координат пикселей принадлежащих области близкой яркости. Полученные координаты передаются на блок формирования маски 3 где формируется маска фиксированного размера содержащая «0» в местах с координатами пикселей не принадлежащих полученной области и для принадлежащих. Центр маски соответствует текущему выбранному пикселю координаты которого являются координатами маски. Полученная маска подается на поэлементный умножитель 4 где путем поэлементного умножения пикселей исходного изображения на маску с учетом ее координат выделяется область поступающая дальше на блок аппроксимации 5. Оценка полученная путем аппроксимации поверхностью первого порядка способом наименьших квадратов запоминается в блоке хранения оценок 6 в котором кроме самой оценки запоминаются и ее координаты поступившие со счетчиков номера строки 9. и столбца 9.4 через блок задержки. Последовательно выполняется перебор всех пикселей изображения полученные оценки запоминаются в блоке хранения оценок 6. По окончании перебора блок генерации сигнала усреднения 9.7 подает на блок усреднения оценок 7 сигнал после чего сохраненные в блоке 6 оценки

362 369 усредняются и в блоке хранения оценки полезной составляющей 8 запоминается полученная оценка полезной составляющей. Синхронность работы устройства обеспечивается генератором тактовых импульсов 0. Вх Вых Рис. А.. Структурная-схема устройства для обработки изображений На основе предложенного метода обработки динамических сигналов разработано устройство адаптивной фильтрации видеосигналов (Патент РФ 55489) (рис.а.) в котором блок хранения входной реализации записывается видеосигнал далее выделяется кадр видеопоследовательности в блоке выделения кадра. Блоки счетчика текущей строки. и счетчика текущего столбца.4 формируют координаты пикселя обрабатываемого в данный момент времени. Координаты поступают на вход блока определения участков квазистационарности 3. Происходит выборка значений пикселей близких к выбранному из блока выделения кадра и определение координат пикселей принадлежащих области близкой яркости. Полученные координаты передаются на блок формирования маски 4 где формируется маска фиксированного размера содержащая «0» в местах с координатами пикселей не принадлежащих полученной области и для принадлежащих. Центр маски соответствует

363 370 текущему выбранному пикселю координаты которого являются координатами маски. Полученная маска подается на поэлементный умножитель 5 где путем поэлементного умножения пикселей исходного изображения на маску с учетом ее координат выделяется область поступающая дальше на блок аппроксимации 6. Оценка полученная путем аппроксимации поверхностью первого порядка способом наименьших квадратов запоминается в блоке хранения оценок 7 в котором кроме самой оценки запоминаются и ее координаты поступившие с счетчиков номера строки. и столбца.4 через блок задержки. Последовательно выполняется перебор всех пикселей изображения полученные оценки запоминаются в блоке хранения оценок 7. По окончании перебора блок генерации сигнала усреднения.7 подает на блок усреднения оценок 8 сигнал после чего сохраненные в блоке 7 оценки усредняются. Далее двумерная оценка полезной составляющей поступает на вход блока накопления кадров 9 в котором накапливаются L оценок кадров которые поступают в блок усреднения кадров 0 в котором получается результирующая оценка кадра видеопоследовательности в блоке хранения оценки полезной составляющей запоминается полученная оценка полезной составляющей. Синхронность работы устройства обеспечивается генератором тактовых импульсов 3. Вх Вых Рис. А.. Структурная-схема устройства адаптивной фильтрации видеосигналов

364 37 Разработано «Устройство обработки двумерных сигналов при реконструкции изображений» (рис. А.3) (Патент РФ 44064) которое реализуется следующим образом. На вход блока хранения изображения поступает изображение с потерянными пикселями. Доступные пиксели сохраняются в блоке хранения пикселей с помощью которых в блоке создания словаря 3 создаются двумерные матрицы которые используются далее для восстановления изображения. Матрицы создаются путем формирования квадратных блоков размером 5 на 5 пикселей из исходного изображения путем смещения блока по всем доступным пикселям изображения. Данные матрицы хранятся в блоке хранения словаря 4. В блоке обработки 5 происходит формирование граничных пикселей вокруг области с потерянными пикселями из блока хранения изображения. Далее информация о граничных пикселях поступает на вход блока вычисления приоритета 6 в котором вычисляется приоритет для всех граничных пикселей который состоит из двух множителей: коэффициент доверия и коэффициент градиента. В данном блоке так же осуществляется ранжировка приоритета и определение граничного пикселя с максимальным значением приоритета. В блоке определения адаптивной формы 7 вокруг пикселя с максимальным значением приоритета формируется адаптивная область близких по яркости пикселей с помощью способа инверсий. Адаптивная область поступает на вход блока поиска подобия 8 в котором осуществляется вычисление евклидовой метрики со всеми двумерными матрицам которые хранятся в блоке хранения словаря 4. В блоке поиска подобия 8 так же определяется количество похожих блоков для которых евклидова метрика не превосходит порогового значения. Данные блоки поступают на вход блока усреднения пикселей 9 в котором происходит формирование усредненной оценки. Полученная оценка поступает в блок заполнения изображения 0 который копирует значения пикселей смежных к пикселю с максимальным приоритетом из усредненной оценки в блок хранения изображения на соответственные координаты. Далее процесс вычисления приоритета с поиском похожих блоков и последующей заменой повторяется до тех пор пока не будут

365 37 восстановлены все значения в блоке хранения изображения. Синхронность работы устройства обеспечивается генератором тактовых импульсов. 3 4 Вх. Вых Рис. А.3. Структурная-схема устройства обработки двумерных сигналов при реконструкции изображений Разработано «Устройство для восстановления изображений» (рис. А.4) (Патент РФ 45034) которое реализуется следующим образом. На вход блока хранения изображения поступает изображение с потерянными пикселями. Доступные пиксели сохраняются в блоке хранения пикселей далее они поворачиваются на градусов в блоке поворота 3 и поступают на вход блока создания словаря 4. Результат формирования словаря сохраняется в блоке хранения словаря 5 полученные двумерные матрицы используются далее для восстановления изображения. Матрицы создаются путем формирования квадратных блоков размером 5 на 5 пикселей из исходного изображения путем смещения блока по всем доступным пикселям изображения. В блоке обработки 6 происходит формирование граничных пикселей вокруг области с потерянными пикселями из блока хранения изображения. Далее информация о граничных пикселях поступает на вход блока вычисления приоритета 7 в котором вычисляется приоритет для всех граничных пикселей который состоит из двух множителей: коэффициент доверия и коэффициент градиента. В данном блоке так

366 373 же осуществляется ранжировка приоритета и определение граничного пикселя с максимальным значением приоритета. В блоке определения адаптивной формы 8 вокруг пикселя с максимальным значением приоритета формируется адаптивная область близких по яркости пикселей с помощью способа инверсий. Адаптивная область поступает на вход блока поиска подобия 9 в котором осуществляется вычисление евклидовой метрики со всеми двумерными матрицам которые хранятся в блоке хранения словаря 5. В блоке поиска подобия 9 так же определяется количество похожих блоков для которых евклидова метрика не превосходит порогового значения. Данные блоки поступают на вход блока усреднения пикселей 0 в котором происходит формирование усредненной оценки. Полученная оценка поступает в блок заполнения изображения который копирует значения пикселей смежных к пикселю с максимальным приоритетом из усредненной оценки в блок хранения изображения на соответственные координаты. Далее процесс вычисления приоритета с поиском похожих блоков и последующей заменой повторяется до тех пор пока не будут восстановлены все значения в блоке хранения изображения. Синхронность работы устройства обеспечивается генератором тактовых импульсов Вх. Вых Рис. А.4. Структурная-схема устройства для восстановления изображений

367 374 Разработано «Устройство обнаружения дефектов на видеосигналах» (рис. А.5) (Патент РФ ) которое реализуется следующим образом. Кадры видеосигнала последовательно поступают с выхода блока хранения видеопоследовательности на входблока преобразования RGB в градации серого в котором происходит преобразования цветного кадра в градации серого далее записываются три последовательных кадра видеопоследовательности в блоки хранения первого кадра 3. второго кадра 3.3 третьего кадра 3.5 с помощью блоков задержки 3. и 3.3. В блоки 4. и 4. записываются вычисленные разностные изображения между кадрами из блоков 3. и и 3.5 соответственно. В блоках 5. и 5. полученные разностные изображения бинаризуются что дает возможность получить предварительную маску с дефектами. Далее в блоках 6. и 6. происходит анализ полученных предварительных масок дефектов и удаляются все объекты небольшой площади равные 07% от размера исходного кадра данная операция позволяет удалить часть ложных срабатываний связанных с появлением мелких дефектов от шлейфа движения. В блоках 7. и 7. хранятся маски с предварительными результатами детектирования дефектов которые поступают ан входу блоков 8. и 8. в которых вычисляется дисперсия на смежных кадрах относительно предварительных масок в тех местах кадров где на маске обнаружены предварительные дефекты. Вычисленная дисперсия сравнивается в блоке 9. и 9. с порогом который хранится в блоке 0. В блоках. и. над объектам из предварительной маски выполняются морфологические операции разрастания и смыкания. Получение маски поступают на вход блока «исключающее или» в котором с помощью логической операции анализируются два обработанных разностных кадров в итоге получается результирующая маска дефектов которая хранится в блоке. Синхронность работы устройства обеспечивается генератором тактовых импульсов 3.

368 Вх Вых. Рис. А.5. Структурная-схема устройства обнаружения дефектов на видеосигналах Разработано «Устройство обнаружения дефектов на архивных фотографиях» (рис. А.6) (Патент РФ 5490) которое реализуется следующим образом. Исходное изображение поступает на вход блока предобработки в котором компенсируется влияние освещения на результат обработки за счет вычитания из исходного изображения среднего уровня яркости. Блок управления задает параметры для блока предобработки параметры генерации первой и второй масок Габора. В блоках генерации первой маски Габора 6 и второй маски Габора 5 формируются коэффициенты ядер Габора вычисленные для двух параметров равного 90 и 80 соответвенно. Далее вычисляется свертка предобработанного изображения с двумя ядрами Габора в первом блоке

369 376 вычисления свертки 3 и втором блоке вычисления свертки 4 соответственно. Далее результат свертки для каждого ядра бинаризуется с помощью пороговой обработки в первом и втором блоках бинаризации 7 и 8. Результат бинаризации записывается в первом и втором блоках хранения маски 9 и 0. Для обработанных масок находится логическая сумма и формируется маска M в сумматоре. Для сокращения числа ложных срабатываний к массиву M применяется операция эрозии в блоке постобработки. В результате данной морфологической операции формируется результирующий массив дефектов M в котором в качестве помечаются положения дефектов на исходном изображении. Результат обработки записывается в блок хранения результирующей маски дефектов 3. Вх Вых Рис. А.6. Структурная-схема устройства обнаружения дефектов на архивных фотографиях Разработано «Устройство предобработки карты глубины стереоизображения» (рис. А.7) (Патент РФ 53583) которое реализуется следующим образом. В блок хранения входной реализации записывается кадр исходного динамического двумерного сигнала. Далее в блоке дилатации к каждому кадру видеопоследовательности применяется операция дилатации которая является морфологической операцией и увеличивает область изображения расширяя его пиксели и тем самым способствуя объединению областей изображения которые были разделены шумом. Блоки счетчика текущей

370 377 строки 9. и счетчика текущего столбца 9.4 формируют координаты пикселя обрабатываемого в данный момент времени. Координаты поступают на вход блока определения участков квазистационарности 3. Происходит выборка значений пикселей близких к выбранному из блока дилатации и определение координат пикселей принадлежащих области близкой яркости. Полученные координаты передаются на блок формирования маски 4 где формируется маска фиксированного размера содержащая «0» в местах с координатами пикселей не принадлежащих полученной области и для принадлежащих. Центр маски соответствует текущему выбранному пикселю координаты которого являются координатами маски. Полученная маска подается на поэлементный умножитель 5 где путем поэлементного умножения пикселей исходного изображения на маску с учетом ее координат выделяется область поступающая дальше на блок аппроксимации 6. Оценка полученная путем аппроксимации поверхностью первого порядка способом наименьших квадратов запоминается в блоке хранения оценок 7 в котором кроме самой оценки запоминаются и ее координаты поступившие со счетчиков номера строки 9. и столбца 9.4 через блок задержки. Последовательно выполняется перебор всех пикселей изображения полученные оценки запоминаются в блоке хранения оценок 7. По окончании перебора блок генерации сигнала усреднения 9.7 подает на блок усреднения оценок 8 сигнал после чего сохраненные в блоке 7 оценки усредняются далее усредненная оценка поступает на вход блока получения медианной оценки 5 через последовательность блоков задержки -4. В блоке получения медианной оценки 5вычисляется медианная оценка для накопленных пяти кадров видеопоследовательности после чего полученная результирующая оценка запоминается в блоке хранения оценки полезной составляющей 6. Синхронность работы устройства обеспечивается генератором тактовых импульсов 0.

371 378 Вх Вых Рис. А.7. Структурная-схема устройства предобработки карты глубины стереоизображения Разработано «Устройство восстановления двумерных сигналов на основе реконструкции искаженных пикселей изображений» (рис. А.8) (Патент РФ 46874) которое реализуется следующим образом. На вход блока хранения изображения поступает изображение с потерянными пикселями. Доступные пиксели сохраняются в блоке хранения пикселей далее они поворачиваются на градусов в блоке поворота 3 и поступают на вход блока создания словаря 4. Результат формирования словаря сохраняется в блоке хранения словаря 5 полученные двумерные матрицы используются далее для восстановления изображения. Матрицы создаются путем формирования квадратных блоков размером 5 на 5 пикселей из исходного изображения путем смещения блока по всем доступным пикселям изображения. Созданные матрицы из блока хранения словаря 5 поступают на блок оценки пространственного соответствия 9 и на второй блок текстурного анализа. В блоке обработки 6 происходит формирование граничных пикселей вокруг области с потерянными пикселями из блока хранения изображения. Далее информация о граничных пикселях поступает на вход блока вычисления приоритета 7 в котором вычисляется приоритет для всех граничных пикселей который состоит из двух множителей: коэффициент доверия и коэффициент градиента. В данном блоке так же осуществляется ранжировка приоритета и определение граничного пикселя с максимальным значением приоритета. В блоке определения адаптивной формы 8

372 379 вокруг пикселя с максимальным значением приоритета формируется адаптивная область близких по яркости пикселей с помощью способа инверсий. Адаптивная область поступает на вход блока оценки пространственного соответствия 9 в котором осуществляется вычисление евклидовой метрики со всеми двумерными матрицам которые хранятся в блоке хранения словаря 5. Адаптивная область также поступает на первый блок текстурного анализа 0. Оценка текстур полученных из первого блока текстурного анализа 0 и второго блока текстурного анализа осуществляется в блоке оценки соответствия гистограмм. В блоке поиска подобия 3 так же определяется количество похожих блоков для которых метрика не превосходит порогового значения. Данные блоки поступают на вход блока усреднения пикселей 4 в котором происходит формирование усредненной оценки. Полученная оценка поступает в блок заполнения изображения 5 который копирует значения пикселей смежных к пикселю с максимальным приоритетом из усредненной оценки в блок хранения изображения на соответственные координаты. Далее процесс вычисления приоритета с поиском похожих блоков и последующей заменой повторяется до тех пор пока не будут восстановлены все значения в блоке хранения изображения. Синхронность работы устройства обеспечивается генератором тактовых импульсов 6. Вх Вых Рис. А.8. Структурная-схема устройства восстановления двумерных сигналов на основе реконструкции искаженных пикселей изображений

373 380 Разработано «Устройство для обработки изображений на основе двумерного способа размножения оценок» (рис. А.9) (Патент РФ 40630) которое реализуется следующим образом. В блок хранения входной реализации записывается исходная двумерная дискретная реализация. Блоки разбиения на интервалы А. и А. формируют ранжированные последовательности случайных чисел распределенных по равномерному закону с устраненными связками которые поступают последовательно на вход блока управления 7 с выхода которого управляющие сигналы поступают на входы коммутаторов полученных массивов в блоках аппроксимации. K. Для 3. K производится аппроксимация исходной двумерной дискретной реализации плоскостью описывающейся уравнением первой степени двумерным методом наименьших квадратов. Результаты аппроксимации записываются в блоки хранения оценки каждом из K каналов значения оценок с выходов блоков 4. K. В 4. K поступают на входы арифметически суммирующего устройства 5 где результирующая двумерная оценка полезной составляющей определятся как среднее арифметическое среди оценок полученных в каждом из K каналов устройства в фиксированные моменты времени. Таким образом полученная двумерная оценка полезной составляющей поступает на вход блока хранения оценки полезной составляющей 6 с выхода которого данные поступают на выход устройства. Синхронность работы устройства обеспечивается генератором тактовых импульсов 3.

374 Р 5.Р 6.Р 7.Р 6 Рис. А.9. Структурная-схема устройства для обработки изображений на основе двумерного способа размножения оценок Разработан «Способ обнаружения и устранения импульсного шума при обработке изображений и устройство его реализующее» (рис. А.0) (Патент РФ ) которые реализуются следующим образом. В блок буфера записывается исходное цифровое изображение. Блок управления определяет количество порогов размер области цифрового программного обнаружителя размер локальных областей степень аппроксимирующей плоскости. Блок формирования пороговых значений 3 определяет значения порогов количество которых задается блоком управления. В блоках сравнения 4.Р сравниваются значения порога со значениями исходного цифрового изображения. Если значение изображения превышает значение установленного порога то данный пиксель получает штрафное значение равное которое записывается в блоки буфера 5.Р. Штрафные значения с выходов блоков буферов 5.Р поступают на входы блоков обнаружения областей нестационарности 6.Р где проверяется наличие в обработанном массиве замкнутой области D ненулевых значений элементов массива что соответствует областям нестационарности в исходном цифровом изображении где D область цифрового программного обнаружителя задаваемая в блоке управления. В блоке обнуления 7.Р осуществляется

375 38 обнуление накопленных штрафных значений для областей определенных блоком обнаружения областей нестационарности 6.Р. С выходов блоков обнуления 7.Р штрафные значения поступают в блок сумматора 8 где определяется результирующий массив штрафов. Значения результирующего массива штрафов с блока сумматора 8 поступают в блок определения среднего значения штрафов 9. В результате на первый вход блока сравнения 0 поступает среднее значение штрафов с блока определения среднего значения штрафов 9 а на второй вход - результирующий массив штрафных значение с блока сумматора 8. В блоке сравнения 0 сравниваются результирующие значения штрафов со средним значением. Таким образом в исходном цифровом изображении считаются импульсными значениями шума те пиксели у которых объем полученных штрафных значений будет превышать среднее значение штрафов. Данные о расположении в исходном цифровом изображении значения импульсного шума записываются в блок буфера. Координаты значений импульсного шума поступают в блок локализации значений импульсного шума размер локализуемой области задается блоком управления. Координаты локализованных областей передаются в блок аппроксимации 3 где на каждой из областей осуществляется аппроксимация значений исходного изображения поверхностью степень аппроксимирующей поверхности определяется блоком управления. Аппроксимация на каждом локализованном участке изображения осуществляется с учетом обнаруженных значений импульсного шума (исключаются значения импульсного шума при аппроксимации поверхностью заданного порядка). В блоке устранения 4 заменяются значения импульсного шума на полученные значения аппроксимирующей поверхности. Обработанное изображение поступает в блок буфера 5 выход которого является информационным выходом устройства. Синхронность работы устройства обеспечивает генератор тактовых импульсов 6.

376 Вых Вх К.К 3.К 4.К 7 8 А А Рис. А.0. Структурная-схема устройства устранения импульсного шума при обработке изображений Разработано «Устройство фильтрации динамических цифровых изображений в условиях ограниченного объема априорных данных» (рис. А.) (Патент РФ 5043) которое реализуются следующим образом. В блок хранения входной реализации записывается видеосигнал далее выделяется кадр видеопоследовательности в блоке выделения кадра. Блоки разбиения на интервалы и формируют ранжированные последовательности случайных чисел распределенных по равномерному закону с устраненными связками которые поступают последовательно на входы блока управления 0 в котором на вход регистра сдвига выборки случайных чисел столбцов 0. и вход регистра сдвига выборки случайных чисел строк 0.3 поступают последовательно случайные числа границ интервалов разбиения изображения с выходов регистров хранения выборки случайных чисел 5. и 5. соответственно на выход блока

377 384 управления поступают случайные числа со вторых выходов блоков 0. и 0.3 выхода блока задержки выборки случайных чисел строк 0. и выхода блока задержки выборки случайных чисел столбцов 0.4 таким образом задаются четыре координаты текущей области аппроксимации которые передаются на вторые управляющие входы коммутаторов 3.K и вторые управляющие входы блоков хранения оценки 5.K через блок задержки счетчик 0.6 производит счет количества случайных чисел используемых для разбиения строк блоком проверки условия 0.5 проверяется условие достижения границы строки изображения при выполнении которого подается управляющий сигнал для сброса счетчика 0.6 и для сдвига на одно значение регистра сдвига выборки случайных чисел строк 0.3. Для полученных массивов в блоках аппроксимации производится аппроксимация исходной двумерной дискретной реализации плоскостью описывающейся уравнением первой степени двумерным методом наименьших квадратов. Результаты аппроксимации записываются в блоки хранения оценки. В каждом из каналов значения оценок с выходов блоков поступают на входы арифметически суммирующего устройства 6 где результирующая двумерная оценка полезной составляющей определятся как среднее арифметическое среди оценок полученных в каждом из каналов устройства в фиксированные моменты времени. Далее двумерная оценка полезной составляющей поступает на вход блока накопления кадров 7 в котором накапливаются оценок кадров которые поступают в блок усреднения кадров 8 в котором получается результирующая оценка кадра видеопоследовательности и которая поступает на выход устройства. Синхронность работы устройства обеспечивается генератором тактовых импульсов 6.

378 385 Вх Вых A A Рис. А.. Структурная-схема устройства фильтрации динамических цифровых изображений в условиях ограниченного объема априорных данных Разработаны «Способ и устройство детектирования локальных особенностей на изображении» (рис. А.) (Патент РФ 53584) которые реализуются следующим образом. Изображение с D камеры передается на блок регистрации изображения из которого изображение поступает в блок построения карт градиентов 3 результатом работы в котором является изменение цветного изображения в градации серого. Полученное изображение в градациях серого параллельно поступает на: вход блока 4. результатом которого является текстурная энергетическая карта свертки изображения с ядром обнаружения краев; на вход блока 4. результатом которого является текстурная энергетическая карта свертки изображения с ядром обнаружения образа в виде ряби; на вход блока 4.3 результатом которого является текстурная энергетическая карта свертки изображения с ядром обнаружения пятен; на вход блока 4.4 результатом которого является текстурная энергетическая карта свертки изображения с ядром обнаружения волн. Полученные текстурные

379 386 энергетические кары в свою очередь поступают параллельно на входы блоков поиска локальных особенностей соответственно в которых происходит поиск локальных особенностей изображения способом детектирования SURF. Набор выделенных локальных особенностей с различными текстурными и геометрическими характеристиками храниться в блоках Рис. А.. Структурная-схема устройства детектирования локальных особенностей на изображении

380 387 Приложение Б Копии актов и справок внедрения

381 388

А.А. КОСОГОР. «р$» мая 2015 г.

А.А. КОСОГОР. «р$» мая 2015 г. УТВЕРЖДАЮ Директор Федерального государственного унитарного предприятия «Ростовский-на- Дону научно-исследовательский институт радиосвязи» Федерального научнопроизводственного центра, кандидат тех- А.А.

Подробнее

технике, образовании, медицине и других областях науки и техники. Преимущества цифровых систем обусловлены рядом факторов и, прежде всего, фактором

технике, образовании, медицине и других областях науки и техники. Преимущества цифровых систем обусловлены рядом факторов и, прежде всего, фактором i? i ОТЗЫВ ОФИЦИАЛЬНОГО ОППОНЕНТА о диссертационной работе Чочиа Павла Антоновича «Теория и методы обработки видеоинформации на основе двухмасштабной модели изображения», представленной на соискание ученой

Подробнее

Актуальность темы диссертации

Актуальность темы диссертации Диссертационная работа Чочиа П.А. посвящена исследованию теории и методов обработки цифровой видеоинформации. В рамках работы предложены и обоснованы новые математические модели изображений, основанные

Подробнее

ИКОНИКА НАУКА ОБ ИЗОБРАЖЕНИИ

ИКОНИКА НАУКА ОБ ИЗОБРАЖЕНИИ ИКОНИКА НАУКА ОБ ИЗОБРАЖЕНИИ УДК 004.932.4 МЕТОД МЕЖКАНАЛЬНОЙ КОМПЕНСАЦИИ ИМПУЛЬСНЫХ ПОМЕХ В ЗАДАЧАХ ВОССТАНОВЛЕНИЯ МНОГОКОМПОНЕНТНЫХ ЦИФРОВЫХ ИЗОБРАЖЕНИЙ 2013 г. Е. А. Самойлин, доктор техн. наук; В.

Подробнее

МОДЕЛЬ ЗРИТЕЛЬНОЙ СИСТЕМЫ ЧЕЛОВЕКА- ОПЕРАТОРА ПРИ РАСПОЗНАВАНИИ ОБРАЗОВ ОБЪЕКТОВ

МОДЕЛЬ ЗРИТЕЛЬНОЙ СИСТЕМЫ ЧЕЛОВЕКА- ОПЕРАТОРА ПРИ РАСПОЗНАВАНИИ ОБРАЗОВ ОБЪЕКТОВ МОДЕЛЬ ЗРИТЕЛЬНОЙ СИСТЕМЫ ЧЕЛОВЕКА- ОПЕРАТОРА ПРИ РАСПОЗНАВАНИИ ОБРАЗОВ ОБЪЕКТОВ Ю.С. Гулина, В.Я. Колючкин Московский государственный технический университет им. Н.Э. Баумана, Изложена математическая

Подробнее

Рабочая программа дисциплины послевузовского профессионального образования (аспирантура) Цифровая обработка мультимедийной информации

Рабочая программа дисциплины послевузовского профессионального образования (аспирантура) Цифровая обработка мультимедийной информации МИНИСТЕРСТВО ОБРАЗОВАНИЯ И НАУКИ РОССИЙСКОЙ ФЕДЕРАЦИИ Ярославский государственный университет им. П.Г. Демидова Физический факультет УТВЕРЖДАЮ Проректор по развитию образования Е.В.Сапир " " 2012 г. Рабочая

Подробнее

ОТЗЫВ ОФИЦИАЛЬНОГО ОППОНЕНТА

ОТЗЫВ ОФИЦИАЛЬНОГО ОППОНЕНТА ОТЗЫВ ОФИЦИАЛЬНОГО ОППОНЕНТА на диссертацию Мозгового Алексея Александровича «Алгоритмизация распознавания сканированного рукописного текста на основе интеграции марковского моделирования и процедур обработки

Подробнее

Приложение А. Комплект оценочных средств (контролирующих материалов) по дисциплине

Приложение А. Комплект оценочных средств (контролирующих материалов) по дисциплине Приложение А. Комплект оценочных средств (контролирующих материалов) по дисциплине Приложение А-1. Тесты текущего контроля СТО БТИ АлтГТУ 15.62.2.0008-2014 Вопросы к модулям (разделам) курса «Вычислительная

Подробнее

10 (38), 2010 г.

10 (38), 2010 г. УДК 60.179 СРАВНЕНИЕ МЕТОДОВ ДЛЯ ВИЗУАЛЬНОГО КОНТРОЛЯ ПОВЕРХНОСТИ ТРУБ О.В. Кретинин 1, А.П. Цапаев 1, Е.А. Мотова 1 Нижегородский Государственный технический университет, - Нижегородский филиал Учреждения

Подробнее

отзыв ОФИЦИАЛЬНОГО ОППОНЕНТА

отзыв ОФИЦИАЛЬНОГО ОППОНЕНТА отзыв ОФИЦИАЛЬНОГО ОППОНЕНТА на диссертацию Морозовского Кирилла Валерьевича на тему «Метод и алгоритмы обработки изображений пространственных объектов на базе преобразования ХАФА, инвариантные к преобразованиям

Подробнее

ФТД.4 ЭЛЕКТРОМАГНИТНАЯ СОВМЕСТИМОСТЬ ИНФОРМАЦИОННЫХ СЕТЕЙ

ФТД.4 ЭЛЕКТРОМАГНИТНАЯ СОВМЕСТИМОСТЬ ИНФОРМАЦИОННЫХ СЕТЕЙ МИНОБРНАУКИ РОССИИ Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования «РОССИЙСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ ТУРИЗМА И СЕРВИСА» (ФГБОУ ВПО «РГУТИС»)

Подробнее

ОГЛАВЛЕНИЕ. Предисловие... 11

ОГЛАВЛЕНИЕ. Предисловие... 11 ОГЛАВЛЕНИЕ Предисловие... 11 ЧАСТЬ 1. ОБЩИЕ СВЕДЕНИЯ О СИСТЕМАХ И ТЕОРИИ УПРАВЛЕНИЯ.15.Глава 1. Основные понятия теории управления... 15 1.1.Понятия об управлении и системах управления... 15 1.2.Объекты

Подробнее

3. Обязательный минимум содержания специализированной подготовки

3. Обязательный минимум содержания специализированной подготовки 1. Аннотированная программа Случайные процессы и методы их анализа. Корреляционный и спектральный анализ случайных процессов. Оптимальные алгоритмы обнаружения и различения детерминированных и случайных

Подробнее

О Т З Ы В. 1. Актуальность темы

О Т З Ы В. 1. Актуальность темы 1 О Т З Ы В официального оппонента заместителя начальника кафедры общепрофессиональных дисциплин Военной академии связи имени Маршала Советского Союза С.М. Буденного, доктора технических наук, профессора

Подробнее

ISSN Интеллектуальные системы в производстве (13)

ISSN Интеллектуальные системы в производстве (13) 106 УДК 519.68: 681.513.7 С. А. Пучинин, аспирант кафедры «Прикладная математика и информатика» Ижевский государственный технический университет 1 ОБЗОР МАТЕМАТИЧЕСКИХ МЕТОДОВ РАСПОЗНАВАНИЯ ИЗОБРАЖЕНИЙ

Подробнее

СЕГМЕНТАЦИЯ ТЕКСТУРНЫХ ИЗОБРАЖЕНИЙ НА ОСНОВЕ ОЦЕНИВАНИЯ ЛОКАЛЬНЫХ СТАТИСТИЧЕСКИХ ПРИЗНАКОВ

СЕГМЕНТАЦИЯ ТЕКСТУРНЫХ ИЗОБРАЖЕНИЙ НА ОСНОВЕ ОЦЕНИВАНИЯ ЛОКАЛЬНЫХ СТАТИСТИЧЕСКИХ ПРИЗНАКОВ УДК 004.932 СЕГМЕНТАЦИЯ ТЕКСТУРНЫХ ИЗОБРАЖЕНИЙ НА ОСНОВЕ ОЦЕНИВАНИЯ ЛОКАЛЬНЫХ СТАТИСТИЧЕСКИХ ПРИЗНАКОВ 2008 А.В. Куприянов Институт систем обработки изображений РАН Цель данной работы исследование эффективности

Подробнее

Сравнительный анализ алгоритмов построения изображений подстилающей поверхности

Сравнительный анализ алгоритмов построения изображений подстилающей поверхности УДК 004.932, 681.518 Сравнительный анализ алгоритмов построения изображений подстилающей поверхности Бочаров В.А., студент Россия, 105005, г. Москва, МГТУ им. Н.Э. Баумана, кафедра «Системы автоматического

Подробнее

АЛГОРИТМЫ КОНТРОЛЯ КООРДИНАТ ИСТОЧНИКА ИЗЛУЧЕНИЯ НА ФОТОЧУВСТВИТЕЛЬНОЙ ПОВЕРХНОСТИ МАТРИЦЫ

АЛГОРИТМЫ КОНТРОЛЯ КООРДИНАТ ИСТОЧНИКА ИЗЛУЧЕНИЯ НА ФОТОЧУВСТВИТЕЛЬНОЙ ПОВЕРХНОСТИ МАТРИЦЫ АЛГОРИТМЫ КОНТРОЛЯ КООРДИНАТ ИСТОЧНИКА ИЗЛУЧЕНИЯ НА ФОТОЧУВСТВИТЕЛЬНОЙ ПОВЕРХНОСТИ МАТРИЦЫ В.В.Замятин Для измерения координат точечного источника излучения на поверхности фоточувствительной матрицы применяют

Подробнее

СИСТЕМА ОБНАРУЖЕНИЯ И СОПРОВОЖДЕНИЯ ВИДЕОМАРКЕРОВ ДЛЯ ОБЕСПЕЧЕНИЯ НАВИГАЦИИ РОБОТА. Введение

СИСТЕМА ОБНАРУЖЕНИЯ И СОПРОВОЖДЕНИЯ ВИДЕОМАРКЕРОВ ДЛЯ ОБЕСПЕЧЕНИЯ НАВИГАЦИИ РОБОТА. Введение УДК 531.1 СИСТЕМА ОБНАРУЖЕНИЯ И СОПРОВОЖДЕНИЯ ВИДЕОМАРКЕРОВ ДЛЯ ОБЕСПЕЧЕНИЯ НАВИГАЦИИ РОБОТА А.В.Калиниченко (tooboos@mail.ru) Институт прикладной математики им. М.В. Келдыша РАН, Москва В работе описывается

Подробнее

ПОСТРОЕНИЕ ТРЕХМЕРНОЙ МОДЕЛИ ОБЛАСТИ КОСТНОЙ ТКАНИ ПО РЕНТГЕНОСКОПИЧЕСКОМУ ИЗОБРАЖЕНИЮ

ПОСТРОЕНИЕ ТРЕХМЕРНОЙ МОДЕЛИ ОБЛАСТИ КОСТНОЙ ТКАНИ ПО РЕНТГЕНОСКОПИЧЕСКОМУ ИЗОБРАЖЕНИЮ ПОСТРОЕНИЕ ТРЕХМЕРНОЙ МОДЕЛИ ОБЛАСТИ КОСТНОЙ ТКАНИ ПО РЕНТГЕНОСКОПИЧЕСКОМУ ИЗОБРАЖЕНИЮ В.Н. Гридин, Ю.И.Пиголкин, М.И. Труфанов, Д.А. Зоткин, Е.Н. Дремов Центр информационных технологий и проектирования

Подробнее

ОТЗЫВ официального оппонента о диссертации Старцева Евгения Владимировича

ОТЗЫВ официального оппонента о диссертации Старцева Евгения Владимировича ОТЗЫВ официального оппонента о диссертации Старцева Евгения Владимировича (Ф.И.О. соискателя) на тему: «Разработка алгоритмов и моделирование динамической типизации в программах для технических систем»,

Подробнее

АНАЛИЗ АКУСТИЧЕСКИХ СИГНАЛОВ НА ОСНОВЕ МЕТОДА ФИЛЬТРАЦИИ КАЛМАНА И.П. Гуров, П.Г. Жиганов, А.М. Озерский

АНАЛИЗ АКУСТИЧЕСКИХ СИГНАЛОВ НА ОСНОВЕ МЕТОДА ФИЛЬТРАЦИИ КАЛМАНА И.П. Гуров, П.Г. Жиганов, А.М. Озерский АНАЛИЗ АКУСТИЧЕСКИХ СИГНАЛОВ НА ОСНОВЕ МЕТОДА ФИЛЬТРАЦИИ КАЛМАНА И.П. Гуров, П.Г. Жиганов, А.М. Озерский Рассматриваются особенности динамической обработки стохастических сигналов с использованием дискретных

Подробнее

АВТОМАТИЧЕСКАЯ КЛАССИФИКАЦИЯ ЛОКАЛЬНЫХ ОСОБЕННОСТЕЙ ПОЛЕЙ ДАННЫХ С ИСПОЛЬЗОВАНИЕМ СКРЫТЫХ МАРКОВСКИХ МОДЕЛЕЙ

АВТОМАТИЧЕСКАЯ КЛАССИФИКАЦИЯ ЛОКАЛЬНЫХ ОСОБЕННОСТЕЙ ПОЛЕЙ ДАННЫХ С ИСПОЛЬЗОВАНИЕМ СКРЫТЫХ МАРКОВСКИХ МОДЕЛЕЙ О Б О З Р Е Н И Е П Р И К Л А Д Н О Й И П Р О М Ы Ш Л Е Н Н О Й Т о м 3 М А Т Е М А Т И К И В ы п у с к 1 1996 МОТТЛЬ В. В., МУЧНИК И. Б., ИВАНОВА Т. О., БЛИНОВ А. Б. АВТОМАТИЧЕСКАЯ КЛАССИФИКАЦИЯ ЛОКАЛЬНЫХ

Подробнее

Н. В. Мясникова, М. П. Берестень, В. А. Дудкин ЭКСПРЕСС-АНАЛИЗ СЕЙСМИЧЕСКИХ СИГНАЛОВ *

Н. В. Мясникова, М. П. Берестень, В. А. Дудкин ЭКСПРЕСС-АНАЛИЗ СЕЙСМИЧЕСКИХ СИГНАЛОВ * Известия высших учебных заведений. Поволжский регион УДК 681.31 144 Н. В. Мясникова, М. П. Берестень, В. А. Дудкин ЭКСПРЕСС-АНАЛИЗ СЕЙСМИЧЕСКИХ СИГНАЛОВ * Изложены теоретические основы экспресс-анализа

Подробнее

ВОССТАНОВЛЕНИЕ ИСКАЖЁННЫХ ИЗОБРАЖЕНИЙ ПРИ НАЛИЧИИ СПЕКТРАЛЬНО-ЛОКАЛЬНЫХ ПОМЕХ.

ВОССТАНОВЛЕНИЕ ИСКАЖЁННЫХ ИЗОБРАЖЕНИЙ ПРИ НАЛИЧИИ СПЕКТРАЛЬНО-ЛОКАЛЬНЫХ ПОМЕХ. ВОССТАНОВЛЕНИЕ ИСКАЖЁННЫХ ИЗОБРАЖЕНИЙ ПРИ НАЛИЧИИ СПЕКТРАЛЬНО-ЛОКАЛЬНЫХ ПОМЕХ. Зражевский А. Ю., Кокошкин А. В., Коротков В. А., Коротков К. В., Новичихин Е.П. Институт радиотехники и электроники им. В.А.

Подробнее

ВВЕДЕНИЕ 1. СТРУКТУРА СИСТЕМЫ ВИДЕОНАБЛЮДЕНИЯ

ВВЕДЕНИЕ 1. СТРУКТУРА СИСТЕМЫ ВИДЕОНАБЛЮДЕНИЯ ПРОГРАММНЫЙ ДЕТЕКТОР ДВИЖЕНИЯ ДЛЯ СИСТЕМ ВИДЕОНАБЛЮДЕНИЯ Р. П. Богуш, В. Ю. Лысенко, А. В. Волков Полоцкий государственный университет, Новополоцк, Беларусь ВВЕДЕНИЕ Современная тенденция развития систем

Подробнее

SECTION 4. Computer science, computer engineering and automation.

SECTION 4. Computer science, computer engineering and automation. Theoretical Research, 30.07.2013 SECTION 4. Computer science, computer engineering and automation. Morozova Tatyana Vladimirovna student of Department. «Radioelectronic systems» Research Institute «Digital

Подробнее

КОМПРЕССИЯ ИЗОБРАЖЕНИЙ НА ПРИМЕРЕ СТАНДАРТА JPEG

КОМПРЕССИЯ ИЗОБРАЖЕНИЙ НА ПРИМЕРЕ СТАНДАРТА JPEG КОМПРЕССИЯ ИЗОБРАЖЕНИЙ НА ПРИМЕРЕ СТАНДАРТА JPEG Хунцария Дж. М., Хирьянов Ю. А., Хунцария Л. Дж. Грузинский Технический Университет Резюме Рассмотрен один из вариантов компактного представления неподвижных

Подробнее

ОТЗЫВ Актуальность темы Степень обоснованности научных положений, выводов и практических рекомендаций

ОТЗЫВ Актуальность темы Степень обоснованности научных положений, выводов и практических рекомендаций ОТЗЫВ официального оппонента на диссертацию Алюкова Сергея Викторовича «Научные основы инерционных бесступенчатых передач повышенной нагрузочной способности», представленную на соискание ученой степени

Подробнее

Math-Net.Ru Общероссийский математический портал

Math-Net.Ru Общероссийский математический портал Math-Net.Ru Общероссийский математический портал Н. А. Ваганова, Сжатие неподвижных изображений и опорных кадров для видео по алгоритму сферической классификации с использованием предварительной обработки,

Подробнее

Рисунок 4.1 Классификация интеллектуальных систем управления

Рисунок 4.1 Классификация интеллектуальных систем управления Тема 4. Принципы построения интеллектуальных информационноуправляющих систем жизнеобеспечения жилых домов (2 часа) Классификация интеллектуальных систем управления Поскольку адаптивные системы широко используют

Подробнее

ОТЗЫВ официального оппонента

ОТЗЫВ официального оппонента ОТЗЫВ официального оппонента доктора технических наук, профессора Соснина Петра Ивановича на диссертационную работу Касимова Дениса Рашидовича на тему «Разработка и исследование моделей и методики графического

Подробнее

ОТЗЫВ ОФИЦИАЛЬНОГО ОППОНЕНТА

ОТЗЫВ ОФИЦИАЛЬНОГО ОППОНЕНТА ОТЗЫВ ОФИЦИАЛЬНОГО ОППОНЕНТА кандидата физико-математических наук, старшего преподавателя Задорожного Сергея Сергеевича о диссертации Серегиной Елены Владимировны «Использование проекционного метода для

Подробнее

ОЦЕНКА ЗОН ПОТЕНЦИАЛЬНОЙ ОПАСНОСТИ ОПАСНЫХ ПРОИЗВОДСТВЕННЫХ ОБЪЕКТОВ С ИСПОЛЬЗОВАНИЕМ ГЕОИНФОРМАЦИОННОЙ СИСТЕМЫ И ВЕЙВЛЕТ-АНАЛИЗА

ОЦЕНКА ЗОН ПОТЕНЦИАЛЬНОЙ ОПАСНОСТИ ОПАСНЫХ ПРОИЗВОДСТВЕННЫХ ОБЪЕКТОВ С ИСПОЛЬЗОВАНИЕМ ГЕОИНФОРМАЦИОННОЙ СИСТЕМЫ И ВЕЙВЛЕТ-АНАЛИЗА ОЦЕНКА ЗОН ПОТЕНЦИАЛЬНОЙ ОПАСНОСТИ ОПАСНЫХ ПРОИЗВОДСТВЕННЫХ ОБЪЕКТОВ С ИСПОЛЬЗОВАНИЕМ ГЕОИНФОРМАЦИОННОЙ СИСТЕМЫ И ВЕЙВЛЕТ-АНАЛИЗА Идрисов В.Р., Тляшева Р.Р., Кузеев И.Р. Введение Анализ информации является

Подробнее

ИДЕНТИФИКАЦИОННЫЙ МЕТОД ЦИФРОВОЙ ОБРАБОТКИ СИГНАЛОВ

ИДЕНТИФИКАЦИОННЫЙ МЕТОД ЦИФРОВОЙ ОБРАБОТКИ СИГНАЛОВ УДК 621.396 ИДЕНТИФИКАЦИОННЫЙ МЕТОД ЦИФРОВОЙ ОБРАБОТКИ СИГНАЛОВ Ю. Н. Кликушин Омский государственный технический университет Получена 30 апреля 2010 г. Аннотация. Описан метод цифровой обработки сигналов,

Подробнее

Отзыв. Актуальность работы

Отзыв. Актуальность работы Отзыв официального оппонента на диссертационную работу Тупицина Геннадия Сергеевича на тему «Предобработка речевых сигналов в системах автоматической идентификации диктора», представленную на соискание

Подробнее

сегментация описание распознавание интерпретация

сегментация описание распознавание интерпретация Тема 9. Базовые алгоритмы обработки изображений План занятия 1. Общие сведения 2. Форматы хранения изображения в СТЗ 2.1. Структура графического файла 2.2. Сжатие изображения 3. Типовые алгоритмы обработки

Подробнее

ПРИБОРЫ И СИСТЕМЫ АВТОМАТИЧЕСКОГО УПРАВЛЕНИЯ

ПРИБОРЫ И СИСТЕМЫ АВТОМАТИЧЕСКОГО УПРАВЛЕНИЯ ПРИБОРЫ И СИСТЕМЫ АВТОМАТИЧЕСКОГО УПРАВЛЕНИЯ УДК 621.397 В. Т. ФИСЕНКО, В. И. МОЖЕЙКО, Т. Ю. ФИСЕНКО, Л. Д. ВИЛЕСОВ, Д. А. ФЁДОРОВ МЕТОД АВТОМАТИЧЕСКОГО ОБНАРУЖЕНИЯ И ПРОСЛЕЖИВАНИЯ МНОГИХ МАЛОРАЗМЕРНЫХ

Подробнее

Лабораторная работа 3 Стандарты сжатия изображений с потерей качества. Стандарт JPEG.

Лабораторная работа 3 Стандарты сжатия изображений с потерей качества. Стандарт JPEG. Лабораторная работа 3 Стандарты сжатия изображений с потерей качества. Стандарт JPEG. Широко используемым на практике подклассом систем сжатия изображений с потерей качества являются системы, основанные

Подробнее

Оглавление. Введение...10 От издательства Часть I. Компьютерная графика...12

Оглавление. Введение...10 От издательства Часть I. Компьютерная графика...12 Оглавление Введение...10 От издательства...11 Часть I. Компьютерная графика...12 Глава 1. Общие сведения о компьютерной графике...13 1.1. История развития компьютерной графики...13 История развития методов

Подробнее

Ю.М. Коршунов ОЦЕНКА КАЧЕСТВА РАБОТЫ ЦИФРОВЫХ ФИЛЬТРОВ НА ОСНОВЕ ИСКУССТВЕННО СОЗДАННОЙ ИМИТАЦИОННОЙ МОДЕЛИ СИГНАЛА И ПОМЕХИ

Ю.М. Коршунов ОЦЕНКА КАЧЕСТВА РАБОТЫ ЦИФРОВЫХ ФИЛЬТРОВ НА ОСНОВЕ ИСКУССТВЕННО СОЗДАННОЙ ИМИТАЦИОННОЙ МОДЕЛИ СИГНАЛА И ПОМЕХИ ISSN 1995-55. Вестник РГРТУ. 1 (выпуск 31). Рязань, 0 УДК 1.391 Ю.М. Коршунов ОЦЕНКА КАЧЕСТВА РАБОТЫ ЦИФРОВЫХ ФИЛЬТРОВ НА ОСНОВЕ ИСКУССТВЕННО СОЗДАННОЙ ИМИТАЦИОННОЙ МОДЕЛИ СИГНАЛА И ПОМЕХИ Предложен метод

Подробнее

ГИБРИДНЫЙ ПАРАЛЛЕЛЬНЫЙ АЛГОРИТМ СОПОСТАВЛЕНИЯ СТЕРЕО- ИЗОБРАЖЕНИЙ В ЗАДАЧЕ РЕКОНСТРУКЦИИ 3D-СЦЕН

ГИБРИДНЫЙ ПАРАЛЛЕЛЬНЫЙ АЛГОРИТМ СОПОСТАВЛЕНИЯ СТЕРЕО- ИЗОБРАЖЕНИЙ В ЗАДАЧЕ РЕКОНСТРУКЦИИ 3D-СЦЕН ГИБРИДНЫЙ ПАРАЛЛЕЛЬНЫЙ АЛГОРИТМ СОПОСТАВЛЕНИЯ СТЕРЕО- ИЗОБРАЖЕНИЙ В ЗАДАЧЕ РЕКОНСТРУКЦИИ 3D-СЦЕН В.А. Фурсов Е.В. Гошин А.П. Котов Самарский государственный аэрокосмический университет им. академика С.П.Королёва

Подробнее

52. Чем определяется потенциальная точность совместных оценок частоты и задержки сигнала? 53. В чём заключается идея оценивания параметров сигнала с

52. Чем определяется потенциальная точность совместных оценок частоты и задержки сигнала? 53. В чём заключается идея оценивания параметров сигнала с Контрольные вопросы 0. Вывод рекуррентного уравнения для АПВ дискретных марковских 1. Как преобразуются ПВ распределения случайных величин при их функциональном преобразовании? 2. Что такое корреляционная

Подробнее

Рис Виды моделирования систем

Рис Виды моделирования систем 1 Моделирование систем Классификация видов моделирования систем. В основе моделирования лежит теория подобия, которая утверждает, абсолютное подобие может иметь место лишь при замене объекта другим точно

Подробнее

СЖАТИЕ ВИДЕОИНФОРМАЦИИ НА ОСНОВЕ ПРЕОБРАЗОВАНИЯ В ПОТОК ДАННЫХ С СЕМАНТИЧЕСКИМИ СОСТАВЛЯЮЩИМИ

СЖАТИЕ ВИДЕОИНФОРМАЦИИ НА ОСНОВЕ ПРЕОБРАЗОВАНИЯ В ПОТОК ДАННЫХ С СЕМАНТИЧЕСКИМИ СОСТАВЛЯЮЩИМИ УДК 621.397 С. А. Кузьмин СЖАТИЕ ВИДЕОИНФОРМАЦИИ НА ОСНОВЕ ПРЕОБРАЗОВАНИЯ В ПОТОК ДАННЫХ С СЕМАНТИЧЕСКИМИ СОСТАВЛЯЮЩИМИ Описано сжатие основанное на использовании в качестве опорного кадра изображения

Подробнее

ВОССТАНОВЛЕНИЕ ФАЗЫ ИНТЕРФЕРЕНЦИОННЫХ ПОЛОС МЕТОДОМ НЕЛИНЕЙНОЙ ДВУМЕРНОЙ ФИЛЬТРАЦИИ КАЛМАНА А.С. Захаров

ВОССТАНОВЛЕНИЕ ФАЗЫ ИНТЕРФЕРЕНЦИОННЫХ ПОЛОС МЕТОДОМ НЕЛИНЕЙНОЙ ДВУМЕРНОЙ ФИЛЬТРАЦИИ КАЛМАНА А.С. Захаров ВОССТАНОВЛЕНИЕ ФАЗЫ ИНТЕРФЕРЕНЦИОННЫХ ПОЛОС МЕТОДОМ НЕЛИНЕЙНОЙ ДВУМЕРНОЙ ФИЛЬТРАЦИИ КАЛМАНА А.С. Захаров Исследованы характеристики двумерного дискретного нелинейного фильтра Калмана при динамическом оценивании

Подробнее

ВЫДЕЛЕНИЕ ПРЯМОЛИНЕЙНЫХ КРОМОК НА ЗАШУМЛЕННЫХ ИЗОБРАЖЕНИЯХ

ВЫДЕЛЕНИЕ ПРЯМОЛИНЕЙНЫХ КРОМОК НА ЗАШУМЛЕННЫХ ИЗОБРАЖЕНИЯХ УДК 621.397:621.396.96 ВЫДЕЛЕНИЕ ПРЯМОЛИНЕЙНЫХ КРОМОК НА ЗАШУМЛЕННЫХ ИЗОБРАЖЕНИЯХ В. Ю. Волков, доктор техн. наук, профессор Санкт-Петербургский государственный университет телекоммуникаций им. проф. М.

Подробнее

А.А. Потапов 1, Ф.Ф. Лазько 1,2

А.А. Потапов 1, Ф.Ф. Лазько 1,2 УДК 537.86 + 621.396.96 Вычисление матрицы распределения градиентов для дальнейшей обработки текстурных оптических и радиолокационных изображений А.А. Потапов 1, Ф.Ф. Лазько 1,2 1 Институт радиотехники

Подробнее

Метод выделения похожих изображений на основе применения SIFT дескрипторов

Метод выделения похожих изображений на основе применения SIFT дескрипторов УДК 004.932 Метод выделения похожих изображений на основе применения SIFT дескрипторов Савонин А.И., студент Россия, 105005, г. Москва, МГТУ им. Н.Э. Баумана, кафедра «Программное обеспечение ЭВМ и информационные

Подробнее

Система передачи мозаичных видео изображений и многомерных цифровых сигналов без использования развертывающих преобразований.

Система передачи мозаичных видео изображений и многомерных цифровых сигналов без использования развертывающих преобразований. УДК: 621.397.3 Система передачи мозаичных видео изображений и многомерных цифровых сигналов без использования развертывающих преобразований. Г.В. Герасимов Системы передачи видеоизображений в настоящее

Подробнее

АВТОМАТИЧЕСКОЕ ОТСЛЕЖИВАНИЕ ДВИЖУЩИХСЯ ОБЪЕКТОВ В СИСТЕМАХ ВИДЕОНАБЛЮДЕНИЯ

АВТОМАТИЧЕСКОЕ ОТСЛЕЖИВАНИЕ ДВИЖУЩИХСЯ ОБЪЕКТОВ В СИСТЕМАХ ВИДЕОНАБЛЮДЕНИЯ Донецкий национальный технический университет Факультет компьютерных наук и технологий Кафедра прикладной математики и информатики АВТОМАТИЧЕСКОЕ ОТСЛЕЖИВАНИЕ ДВИЖУЩИХСЯ ОБЪЕКТОВ В СИСТЕМАХ ВИДЕОНАБЛЮДЕНИЯ

Подробнее

ПРОГРАММА вступительного экзамена в аспирантуру по кафедре «Автоматизации»

ПРОГРАММА вступительного экзамена в аспирантуру по кафедре «Автоматизации» Федеральное государственное автономное образовательное учреждение высшего профессионального образования «Национальный исследовательский технологический университет «МИСиС» ПРОГРАММА вступительного экзамена

Подробнее

ОТЗЫВ ВЕДУЩЕЙ ОРГАНИЗАЦИИ

ОТЗЫВ ВЕДУЩЕЙ ОРГАНИЗАЦИИ УТВЕРЖДАЮ Проректор по научной работе ФГБОУ ВПО «Самарский государственный технический университет» д.т.н., профессор М.В. Ненашев 2015 г. ОТЗЫВ ВЕДУЩЕЙ ОРГАНИЗАЦИИ ФГБОУ ВПО «Самарский государственный

Подробнее

Исследование методов сегментации изображений

Исследование методов сегментации изображений Исследование методов сегментации изображений Артем Скребков, Владислав Виноградов, Дмитрий Кручинин, Евгений Долотов Ру