Обзор алгоритмов машинного обучения. Воронов Александр Video Group CS MSU Graphics & Media Lab

Save this PDF as:
 WORD  PNG  TXT  JPG

Размер: px
Начинать показ со страницы:

Download "Обзор алгоритмов машинного обучения. Воронов Александр Video Group CS MSU Graphics & Media Lab"

Транскрипт

1 Обзор алгоритмов машинного обучения Воронов Александр Vdeo Group CS MSU Graphcs & Meda Lab

2 On for Maxus Содержание Введение Дерево решений Статистические алгоритмы Метрические алгоритмы SVM AdaBoost CS MSU Graphcs & Meda Lab (Vdeo Group 2

3 On for Maxus Постановка задачи Терминология Множество объектов: X Конечное множество классов: Y Любой объект x X соответствует хотя бы одному классу Y CS MSU Graphcs & Meda Lab (Vdeo Group 3

4 On for Maxus Постановка задачи По конечной выборке прецедентовx :(x, = построить отображение a: X Y, удовлетворяющее следующим условиям: Эффективная программная реализация Воспроизведение заданных ответов на обучающей выборке Обобщающая способность для всего множества X Априорные ограничения (соответствие модели CS MSU Graphcs & Meda Lab (Vdeo Group 4

5 On for Maxus Постановка задачи Оценка обобщающей способности Функционал качества: Q( a, X ( a, x a - тестируемый алгоритм ( a, x - функция, определяющая величину ошибки алгоритма ( X arg mn Q( a, X aa CS MSU Graphcs & Meda Lab (Vdeo Group 5

6 On for Maxus Постановка задачи Оценка обобщающей способности Дана выборка L L X ( x, Разобьѐм еѐ N способами на обучающую k и контрольную подвыборки (k = L X n Оценка скользящего контроля (cross-vadaton: CV(, X L N n CV совпадает с матожиданием потерь N Q( ( X n, X k n X n CS MSU Graphcs & Meda Lab (Vdeo Group 6

7 On for Maxus Примеры прикладных задач Медицинская диагностика Распознавание спама Рубрикация текста Распознавание рукописных символов Оценивание заѐмщиков Прогнозирование потребительского спроса и т.д. CS MSU Graphcs & Meda Lab (Vdeo Group 7

8 On for Maxus Эвристические принципы обучения по прецедентам сходства минимизации эмпирического риска регуляризации (штраф на сложность алгоритма разделимости (можно описать некоторую поверхность, разделяющую классы отделимости и закономерности (можно описать область, которая включает объекты только одного класса самоорганизации моделей (структура модели алгоритма заранее не известна композиции CS MSU Graphcs & Meda Lab (Vdeo Group 8

9 On for Maxus Содержание Введение Дерево решений Статистические алгоритмы Метрические алгоритмы SVM AdaBoost CS MSU Graphcs & Meda Lab (Vdeo Group 9

10 On for Maxus Дерево решений Пример CS MSU Graphcs & Meda Lab (Vdeo Group 0

11 On for Maxus Дерево решений Автоматическое построение X = {x,, x n }, p вероятность события x H( X n p og 2 p - энтропия множества X C = {c,, c m } множество классов F признак с возможными значениями {f,, f d } Количество информации класса C относительно признака F: I( C, F m d P( C c, F fog 2 j P( C c P( F P( C c, F f f CS MSU Graphcs & Meda Lab (Vdeo Group

12 On for Maxus Дерево решений Автоматическое построение. Признак с наибольшим количеством информации выбирается в качестве корневого узла 2. Если подмножество событий ветви не совпадает с одним из классов, то алгоритм запускается рекурсивно для этой ветви CS MSU Graphcs & Meda Lab (Vdeo Group 2

13 On for Maxus Содержание Введение Дерево решений Статистические алгоритмы Метрические алгоритмы SVM AdaBoost CS MSU Graphcs & Meda Lab (Vdeo Group 3

14 On for Maxus Статистические алгоритмы Обозначения P = P( априорная вероятность класса p (x = p(x функция правдоподобия класса p(x, плотность распределения λ s величина потери при отнесении объекта класса к классу s A = {x X a(x = }, Y CS MSU Graphcs & Meda Lab (Vdeo Group 4

15 On for Maxus Статистические алгоритмы Обозначения Функционал среднего риска: R ( a P ( A Y sy s Формула Байеса s P( x p( x, p( x p s Y ( x P p s ( x P s CS MSU Graphcs & Meda Lab (Vdeo Group 5

16 On for Maxus Статистические алгоритмы Схема работы. Задаются штрафы ошибочной классификации λ s. 2. По обучающей выборке вычисляются функции, характеризующие классы. 3. На основе этих функций строится алгоритм, который минимизирует функционал среднего риска. CS MSU Graphcs & Meda Lab (Vdeo Group 6

17 On for Maxus Статистические алгоритмы Обозначения Оптимальный алгоритм классификации a ( x arg mn P p ( x sy Y При условии, что Разделяющая поверхность: s s a( x arg max P p ( x arg max P( x Y Y t P t p t ( x P p ( x s s s CS MSU Graphcs & Meda Lab (Vdeo Group 7

18 On for Maxus Статистические алгоритмы Восстановление плотности Оценка априорной вероятности класса : Pˆ, X, Y Чтобы восстановить функции правдоподобия p (x, рассмотрим общую задачу: Для выборки X m = {x,, x m } построить эмпирическую оценку плотности, приближающую p(x на всѐм X. CS MSU Graphcs & Meda Lab (Vdeo Group 8

19 On for Maxus Статистические алгоритмы Предположим, что p(x = φ(x,θ φ фиксированная функция θ параметр, значение которого выбирается из принципа максимума правдоподобия: L( X m, G m, G m = (g,,g m m g n( x, max CS MSU Graphcs & Meda Lab (Vdeo Group 9

20 On for Maxus Статистические алгоритмы Предположим, что ( x, N( x,, (2 2 2 exp( ( x ( x 2 n то есть n-мерное нормальное распределение с матожиданием μ R n, Σ R nxn CS MSU Graphcs & Meda Lab (Vdeo Group 20

21 On for Maxus Статистические алгоритмы Вычисление: m ˆ g m g ˆ Можно положить g m Несмещѐнная оценка ков.матрицы: ˆ CS MSU Graphcs & Meda Lab (Vdeo Group x ; m m x m ( x ˆ( x g ( x ˆ ˆ( x ˆ 2

22 On for Maxus Статистические алгоритмы Квадратичный дискриминант Если классы имеют нормальные функции правдоподобия, то решающее правило задает квадратичную разделяющую поверхность. Поверхность вырождается в линейную, если ков.матрицы классов равны. CS MSU Graphcs & Meda Lab (Vdeo Group 22

23 CS MSU Graphcs & Meda Lab (Vdeo Group On for Maxus Статистические алгоритмы Линейный дискриминант Фишера Фишер предложил считать ковариационные матрицы равными, даже если они на самом деле не равны. 23 arg max( ˆ ˆ ˆ ˆ ˆ 2 arg max(n( ( arg max( ( Y Y Y x x P x p P x a

24 On for Maxus Статистические алгоритмы Линейный дискриминант Фишера Обучение сводится к оцениванию матожидания и общей ковариационной матрицы для всей выборки. CS MSU Graphcs & Meda Lab (Vdeo Group 24

25 On for Maxus Статистические алгоритмы Наивный байесовский классификатор Если предположить, что признаки объекта независимы и нормально распределены, то общая плотность вычисляется как произведение плотностей характеристик Плотность каждой характеристики внутри класса вычисляется значительно проще В реальности такая ситуация встречается редко, на большинстве задач качество классификации будет относительно низким CS MSU Graphcs & Meda Lab (Vdeo Group 25

26 CS MSU Graphcs & Meda Lab (Vdeo Group On for Maxus Статистические алгоритмы Наивный байесовский классификатор - признаки Итоговый алгоритм: 26 n j j j Y n n n n p x a p p x p x f x f ( ˆ n n arg max ( (... ( ( (,..., (

27 On for Maxus Статистические алгоритмы Выводы Преимущества: Байесовское решающее правило оптимально, имеет простую формулу, легко реализуется программно Имеет широкую область применения, часто используется в качестве эталона при тестировании других алгоритмов Недостатки: При неправильном подходе к восстановлению функций правдоподобия качество работы алгоритма может быть очень низким CS MSU Graphcs & Meda Lab (Vdeo Group 27

28 On for Maxus Содержание Введение Дерево решений Статистические алгоритмы Метрические алгоритмы SVM AdaBoost CS MSU Graphcs & Meda Lab (Vdeo Group 28

29 On for Maxus Метрические алгоритмы Метрические алгоритмы: основанные на анализе сходства объектов. Гипотеза компактности: Классы образуют компактно локализованные множества в пространстве объектов. Вводится метрика ρ(x, x в пространстве объектов X CS MSU Graphcs & Meda Lab (Vdeo Group 29

30 On for Maxus Метрические алгоритмы u рассматриваемый объект X обучающая выборка (, u оценка степени важности -го соседа ( u, X ближайших обучающих объектов Метрический алгоритм: a( u, X [ ( u ] (, u arg max Y - суммарный вес ( u, X CS MSU Graphcs & Meda Lab (Vdeo Group 30

31 On for Maxus Метрические алгоритмы Схема работы Обучение:. Выбор метрики сходства между объектами 2. Удаление из обучающей выборки неинформативных и шумовых объектов Классификация: Объект относится к тому классу, для которого максимален вес ближайших объектов из обучающей выборки. CS MSU Graphcs & Meda Lab (Vdeo Group 3

32 On for Maxus Метрические алгоритмы Весовые функции Метод ближайшего соседа (NN: (, u = [ = ] Метод k ближайших соседей (knn: (, u = [ k] Метод взвешенных ближайших соседей: (, u = [ k]q CS MSU Graphcs & Meda Lab (Vdeo Group 32

33 On for Maxus Метрические алгоритмы Метод парзеновского окна K(z функция ядра, невозрастающая на [0, ( ( u, x u (, u K h При неравномерном распределении объектов можно использовать окно переменной ширины: h( u ( u, ( k x u Доп.ограничение на K: z >, K(z=0 CS MSU Graphcs & Meda Lab (Vdeo Group 33

34 On for Maxus Метрические алгоритмы Отбор эталонных объектов Эталоны типичные представители классов При исключении из выборки шумовые и неинформативные объекты повышается качество классификации и уменьшается объѐм хранимых данных CS MSU Graphcs & Meda Lab (Vdeo Group 34

35 On for Maxus Метрические алгоритмы Отбор эталонных объектов Отступ объекта x относительно алгоритма a(u M ( x Объекты: ( x max Эталонные (большой положительный отступ Неинформативные (положительный отступ Пограничные (отступ, близкий к нулю Ошибочные объекты (отрицательный отступ Шумовые объекты или выбросы (большой отрицательный отступ Из выборки удаляются неинформативные и шумовые объекты CS MSU Graphcs & Meda Lab (Vdeo Group Y \ ( x 35

36 On for Maxus Метрические алгоритмы Выводы Преимущества: Нет необходимости выделять признаки (прецедентная логика Простота реализации Недостатки: Необходимость хранить обучающую выборку Поиск ближайших соседей предполагает большой число сравнений CS MSU Graphcs & Meda Lab (Vdeo Group 36

37 On for Maxus Содержание Введение Дерево решений Статистические алгоритмы Метрические алгоритмы SVM AdaBoost CS MSU Graphcs & Meda Lab (Vdeo Group 37

38 On for Maxus SVM CS MSU Graphcs & Meda Lab (Vdeo Group 38

39 On for Maxus SVM CS MSU Graphcs & Meda Lab (Vdeo Group 39

40 On for Maxus SVM X = R n, Y = {-, +} n j a( x sgn x j 0 sgn, x j, 0 параметры алгоритма, x 0 - разделяющая гиперплоскость 0 CS MSU Graphcs & Meda Lab (Vdeo Group 40

41 On for Maxus SVM Схема работы Обучение:. Для поиска максимальной ширины разделяющей полосы при минимальной ошибке составляется функция Лагранжа 2. Ищется седловая точка функции Лагранжа. 3. Находятся опорные точки, на их основе вычисляются параметры алгоритма CS MSU Graphcs & Meda Lab (Vdeo Group 4

42 On for Maxus SVM Ширина разделяющей полосы x + и x - - произвольные точки классов, лежащие на границе полосы Тогда ширина полосы:, x, x x x, ( ( 0 0 ( 2 Для линейно разделимой выборки требуется найти параметры, 0, такие, что при выполнении условия, x 0 норма будет минимальна. CS MSU Graphcs & Meda Lab (Vdeo Group 42

43 CS MSU Graphcs & Meda Lab (Vdeo Group On for Maxus SVM Задача поиска седловой точки Необходимые условия седловой точки: 43 x либо x L,...,,, 0,,..., 0, mn max,, 2,, ( 0, L x x L

44 On for Maxus SVM Задача поиска седловой точки Из необходимых условий седловой точки следует : L( 0,,..., 0 2 j j j x, x j mn CS MSU Graphcs & Meda Lab (Vdeo Group 44

45 On for Maxus SVM После решения задачи вычисляем: 0 med x, Итоговый алгоритм: x : 0,,..., a( x sgn, x 0 CS MSU Graphcs & Meda Lab (Vdeo Group 45

46 On for Maxus SVM Линейно неразделимая выборка Добавим в исходную задачу минимизации нормы штраф за суммарную ошибку:, C mn 2, 0, x, 0,,..., 0,,..., CS MSU Graphcs & Meda Lab (Vdeo Group 46

47 On for Maxus SVM Линейно неразделимая выборка Введѐм понятие отступа: Рассмотрим функционал числа ошибок: Q( a, X [ m 0] Заменим пороговую функцию на еѐ верхнюю оценку: [ m 0] ( m Добавим к Q штрафное слагаемое, учитывающее норму m, x 0 2 CS MSU Graphcs & Meda Lab (Vdeo Group 47

48 On for Maxus SVM Линейно неразделимая выборка Задача минимизации полученного функционала Q( a, X эквивалентна исходной задаче при ( m CS MSU Graphcs & Meda Lab (Vdeo Group, C mn 2, 0, x, 0, 0,,..., 2C 2 mn, 0,..., 48

49 CS MSU Graphcs & Meda Lab (Vdeo Group On for Maxus SVM Линейно неразделимая выборка Соответствующая функция Лагранжа: 49 mn max (,, 2,,,, ( 0, 0 0 C x L

50 On for Maxus SVM Линейно неразделимая выборка Задача поиска седловой точки: L(, 0,,, mn, 0, 0, 0, 0, либо 0,, x 0, либо 0, max,...,, 0,...,,,..., CS MSU Graphcs & Meda Lab (Vdeo Group 50

51 On for Maxus SVM Спрямляющие пространства Ещѐ один способ решения проблемы линейной неразделимости: переход из пространства объектов X в пространство H с помощью преобразования ψ: X H Пространство H называется спрямляющим SVM строится так же, только на основе объектов ψ(x вместо x. K( x, x ( x, ( x - ядровая функция CS MSU Graphcs & Meda Lab (Vdeo Group 5

52 On for Maxus SVM Выводы Преимущества: Решение задачи хорошо оптимизируется: сводится к задаче квадратичного программирования Более уверенная классификация за счѐт максимизации ширины разделяющей полосы Недостатки: Неустойчивость к шуму, выбросы существенно учитываются Нет общих методов построения ядер или спрямляющих пространств CS MSU Graphcs & Meda Lab (Vdeo Group 52

53 On for Maxus Содержание Введение Дерево решений Статистические алгоритмы Метрические алгоритмы SVM AdaBoost CS MSU Graphcs & Meda Lab (Vdeo Group 53

54 On for Maxus AdaBoost Постановка задачи Классификация на два класса: Y = {-,+} b t (x некоторые базовые алгоритмы Искомый алгоритм взвешенная сумма базовых: a( x sgn( T t b t t ( x, x X Функционал качества композиции: Q T T t t b t t ( x 0 CS MSU Graphcs & Meda Lab (Vdeo Group 54

55 On for Maxus AdaBoost Упрощение задачи минимизации функционала Q t : Эвристика : при добавлении в композицию нового слагаемого оптимизировать только его, не трогая предыдущих Эвристика 2: аппроксимировать пороговую функцию потерь в Q t непрерывно дифференцируемой оценкой сверху. CS MSU Graphcs & Meda Lab (Vdeo Group 55

56 CS MSU Graphcs & Meda Lab (Vdeo Group On for Maxus AdaBoost Аппроксимация экспонентой: Введѐм нормированный вектор весов объектов: 56 T T T t t t T t t t t t x b x b x b Q Q ( exp( ( exp ( exp ~ j j W ~, ~,..., ( ~ ~

57 CS MSU Graphcs & Meda Lab (Vdeo Group On for Maxus AdaBoost Теорема : Тогда: 57 : 2, /, ( mn 0], ( [, ( b W W Q b u x b u U b Q ~, ( ~, ( n 2 ~, ( arg mn T T T b T W Q b W Q b W Q b b

58 On for Maxus AdaBoost Теорема 2: Если существует такое, что на ~ 0 каждом шаге Q( b 2 t, W /, то AdaBoost гарантирует построение корректного алгоритма a(x за конечное число шагов. CS MSU Graphcs & Meda Lab (Vdeo Group 58

59 On for Maxus AdaBoost Алгоритм обучения. инициализация весов объектов: := /, =,, 2. для всех =,,T, пока не выполнен критерий останова 3. b : t arg mn Q( b, W b 4. t Q( bt, W n 2 Q( b, W : t 5. пересчѐт весов объектов: := exp(-α t b t (x, =,, 6. нормировка весов объектов: 0 : j j CS MSU Graphcs & Meda Lab (Vdeo Group : / 0,,..., 59

60 On for Maxus AdaBoost Выводы Достоинства: Хорошая обобщающая способность Простота реализации Возможность идентификации выбросов по высокому значению Недостатки: Переобучение при значительном уровне шума Требует длинных выборок Может привести к построению громоздких композиций CS MSU Graphcs & Meda Lab (Vdeo Group 60

61 On for Maxus Литература. Курс лекций К.В. Воронцова по машинному обучений ( ние_(курс_лекций%2c_к.в.воронцов 2. Л.Шапиро, Дж.Стокман «Компьютерное зрение», глава 4, С CS MSU Graphcs & Meda Lab (Vdeo Group 6

Лекция 4. Статистические методы распознавания, Распознавание при заданной точности для некоторых классов, ROC-анализ. Лектор Сенько Олег Валентинович

Лекция 4. Статистические методы распознавания, Распознавание при заданной точности для некоторых классов, ROC-анализ. Лектор Сенько Олег Валентинович Лекция 4 Статистические методы распознавания, Распознавание при заданной точности для некоторых классов, ROC-анализ Лектор Сенько Олег Валентинович Курс «Математические основы теории прогнозирования» 4-й

Подробнее

Метрические методы классификации

Метрические методы классификации Метрические методы классификации К. В. Воронцов vokov@forecsys.ru Этот курс доступен на странице вики-ресурса http://www.machinelearning.ru/wiki «Машинное обучение (курс лекций, К.В.Воронцов)» март 2011

Подробнее

Машинное обучение (Machine Learning)

Машинное обучение (Machine Learning) Машинное обучение (Machine Learning) Уткин Л.В. Содержание 1 Наивный байесовский классификатор 2 1 Метод k ближайших соседей 2 Метод окна Парзена 3 Метод потенциальных функций Презентация является компиляцией

Подробнее

Машинное обучение Лекция 3. Метрические алгоритмы. https://yandexdataschool.ru/edu-process/courses/machine-learning

Машинное обучение Лекция 3. Метрические алгоритмы. https://yandexdataschool.ru/edu-process/courses/machine-learning Машинное обучение Лекция 3. Метрические алгоритмы https://yandexdataschool.ru/edu-process/courses/machine-learning 1 Содержание лекции Обобщенный алгоритм Примеры частных алгоритмов: метод ближайших соседей

Подробнее

Лекции по методу опорных векторов

Лекции по методу опорных векторов Лекции по методу опорных векторов черновик) К. В. Воронцов 9 апреля 2006 г. Содержание 1 Метод опорных векторов SVM) 2 1.1 Метод опорных векторов в задачах классификации............ 2 1.1.1 Понятие оптимальной

Подробнее

МАТЕМАТИЧЕСКИЕ ОСНОВЫ ТЕОРИИ ПРОГНОЗИРОВАНИЯ. Лектор Сенько Олег Валентинович Лекция I

МАТЕМАТИЧЕСКИЕ ОСНОВЫ ТЕОРИИ ПРОГНОЗИРОВАНИЯ. Лектор Сенько Олег Валентинович Лекция I МАТЕМАТИЧЕСКИЕ ОСНОВЫ ТЕОРИИ ПРОГНОЗИРОВАНИЯ Лектор Сенько Олег Валентинович Лекция I Задачи диагностики и прогнозирования некоторой величины по доступным значениям переменных X,, 1 Xn часто возникают

Подробнее

Лекция 3. Линейная регрессия, Оценки регрессионых параметров, Лектор Сенько Олег Валентинович

Лекция 3. Линейная регрессия, Оценки регрессионых параметров, Лектор Сенько Олег Валентинович Лекция 3 Линейная регрессия, Оценки регрессионых параметров, Лектор Сенько Олег Валентинович Курс «Математические основы теории прогнозирования» 4-й курс, III поток Сенько Олег Валентинович () МОТП, лекция

Подробнее

Лекция 1. Задачи прогнозирования, обобщающая способность, байесовский классификатор, скользящий контроль. Лектор Сенько Олег Валентинович

Лекция 1. Задачи прогнозирования, обобщающая способность, байесовский классификатор, скользящий контроль. Лектор Сенько Олег Валентинович Лекция 1 Задачи прогнозирования, обобщающая способность, байесовский классификатор, скользящий контроль Лектор Сенько Олег Валентинович Курс «Математические основы теории прогнозирования» 4-й курс, III

Подробнее

Лекция 9. Структура ошибки выпуклых комбинаций, комитетные методы, логическая коррекция. Лектор Сенько Олег Валентинович

Лекция 9. Структура ошибки выпуклых комбинаций, комитетные методы, логическая коррекция. Лектор Сенько Олег Валентинович Лекция 9 Структура ошибки выпуклых комбинаций, комитетные методы, логическая коррекция Лектор Сенько Олег Валентинович Курс «Математические основы теории прогнозирования» 4-й курс, III поток Сенько Олег

Подробнее

Исследование эффективности некоторых линейных методов классификации на модельных распределениях

Исследование эффективности некоторых линейных методов классификации на модельных распределениях Исследование эффективности некоторых линейных методов классификации на модельных распределениях Неделько В. М. Институт математики СО РАН, г. Новосибирск nedelko@math.nsc.ru «Интеллектуализация обработки

Подробнее

ОСНОВЫ ТЕОРИИ ОЦЕНИВАНИЯ И ФИЛЬТРАЦИИ ПАРАМЕТРОВ СИГНАЛОВ

ОСНОВЫ ТЕОРИИ ОЦЕНИВАНИЯ И ФИЛЬТРАЦИИ ПАРАМЕТРОВ СИГНАЛОВ ЛЕКЦИЯ 1. Постановка задачи оценивания параметров сигналов. Байесовские оценки случайных параметров сигналов при различных функциях потерь. ОСНОВЫ ТЕОРИИ ОЦЕНИВАНИЯ И ФИЛЬТРАЦИИ ПАРАМЕТРОВ СИГНАЛОВ 3.1.

Подробнее

Статистические (байесовские) методы классификации

Статистические (байесовские) методы классификации Статистические (байесовские) методы классификации К. В. Воронцов vokov@forecsys.ru Этот курс доступен на странице вики-ресурса http://www.machinelearning.ru/wiki «Машинное обучение (курс лекций, К.В.Воронцов)»

Подробнее

Линейные методы классификации II

Линейные методы классификации II 1/40 Виктор Китов v.v.kitov@yandex.ru МГУ им.ломоносова, ф-т ВМиК, кафедра ММП. I семестр 2015 г. 2/40 Линейный дискриминант Фишера Содержание 1 Линейный дискриминант Фишера 2 Логистическая регрессия 3

Подробнее

Л и н е й н ы е к л а с с и ф и к а т о р ы

Л и н е й н ы е к л а с с и ф и к а т о р ы МИНИСТЕРСТВО ОБРАЗОВАНИЯ И НАУКИ РФ ГОСУДАРСТВЕННОЕ ОБРАЗОВАТЕЛЬНОЕ УЧРЕЖДЕНИЕ ВЫСШЕГО ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ «САМАРСКИЙ ГОСУДАРСТВЕННЫЙ АЭРОКОСМИЧЕСКИЙ УНИВЕРСИТЕТ имени академика С.П.КОРОЛЕВА

Подробнее

Статистические (байесовские) методы классификации

Статистические (байесовские) методы классификации Статистические (байесовские) методы классификации К. В. Воронцов vokov@forecsys.ru Этот курс доступен на странице вики-ресурса http://www.machinelearning.ru/wiki «Машинное обучение (курс лекций, К.В.Воронцов)»

Подробнее

SKYNET БОЛЬШОЙ БРАТ СЛЕДИТ ЗА ТОБОЙ 2 НОЯБРЯ 2016 ЕВГЕНИЙ ВЛАСОВ

SKYNET БОЛЬШОЙ БРАТ СЛЕДИТ ЗА ТОБОЙ 2 НОЯБРЯ 2016 ЕВГЕНИЙ ВЛАСОВ SKYNET БОЛЬШОЙ БРАТ СЛЕДИТ ЗА ТОБОЙ 2 НОЯБРЯ 2016 ЕВГЕНИЙ ВЛАСОВ SKYNET ЧТО ЭТО? 1 И 2 ЧАСТЬ: СУПЕРКОМПЬЮТЕР 3 ЧАСТЬ: ПРОГРАММНАЯ НЕЙРОННАЯ СЕТЬ 4 МАШИННОЕ ОБУЧЕНИЕ ПРОГРАММА САМА УЧИТСЯ РЕШАТЬ ЗАДАЧУ

Подробнее

Машинное обучение Композиции алгоритмов. https://yandexdataschool.ru/edu-process/courses/machine-learning

Машинное обучение Композиции алгоритмов. https://yandexdataschool.ru/edu-process/courses/machine-learning Машинное обучение Композиции алгоритмов https://yandexdataschool.ru/edu-process/courses/machine-learning 1 Содержание лекции Определение AdaBoost AnyBoost Градиентный бустинг Бэггинг и метод случайных

Подробнее

Лекции по метрическим алгоритмам классификации

Лекции по метрическим алгоритмам классификации Лекции по метрическим алгоритмам классификации К. В. Воронцов 16 января 2009 г. Материал находится в стадии разработки, может содержать ошибки и неточности. Автор будет благодарен за любые замечания и

Подробнее

Семинары по байесовским методам

Семинары по байесовским методам Семинары по байесовским методам Евгений Соколов sokolov.evg@gmail.com 5 декабря 2014 г. 2 Нормальный дискриминантный анализ Нормальный дискриминантный анализ это частный случай байесовской классификации,

Подробнее

Метод опорных векторов Лекция 7 курса «Алгоритмы для Интернета»

Метод опорных векторов Лекция 7 курса «Алгоритмы для Интернета» Метод опорных векторов Лекция 7 курса «Алгоритмы для Интернета» Юрий Лифшиц 9 ноября 2006 г. Содержание 1. Постановка задачи классификации 1 2. Оптимальная разделяющая гиперплоскость 2 2.1. Разделение

Подробнее

ОСНОВЫ СТАТИСТИЧЕСКОЙ ТЕОРИИ РАСПОЗНАВАНИЯ ОБРАЗОВ. ЛАБОРАТОРНЫЙ ПРАКТИКУМ

ОСНОВЫ СТАТИСТИЧЕСКОЙ ТЕОРИИ РАСПОЗНАВАНИЯ ОБРАЗОВ. ЛАБОРАТОРНЫЙ ПРАКТИКУМ ВВ МЯСНИКОВ ОСНОВЫ СТАТИСТИЧЕСКОЙ ТЕОРИИ РАСПОЗНАВАНИЯ ОБРАЗОВ ЛАБОРАТОРНЫЙ ПРАКТИКУМ 7 САМАРА ФЕДЕРАЛЬНОЕ АГЕНТСТВО ПО ОБРАЗОВАНИЮ ГОСУДАРСТВЕННОЕ ОБРАЗОВАТЕЛЬНОЕ УЧРЕЖДЕНИЕ ВЫСШЕГО ПРОФЕССИОНАЛЬНОГО

Подробнее

Статистические (байесовские) методы классификации

Статистические (байесовские) методы классификации Статистические (байесовские) методы классификации К. В. Воронцов vokov@forecsys.ru Этот курс доступен на странице вики-ресурса http://www.machinelearning.ru/wiki «Машинное обучение (курс лекций, К.В.Воронцов)»

Подробнее

Лекции по метрическим алгоритмам классификации

Лекции по метрическим алгоритмам классификации Лекции по метрическим алгоритмам классификации К. В. Воронцов 16 апреля 2008 г. Материал находится в стадии разработки, может содержать ошибки и неточности. Автор будет благодарен за любые замечания и

Подробнее

Семинар 1. ММП, весна февраля

Семинар 1. ММП, весна февраля Семинар 1 ММП, весна 013 19 февраля Илья Толстихин lyatolstkhn@gmalcom Темы семинара: Бустинг; AdaBoost и другие функции потерь; Многоклассовый бустинг 1 Алгоритм Adaboost Напомним, что AdaBoost одна из

Подробнее

Конспект лекции «Уменьшение размерности описания данных: метод главных компонент» по курсу «Математические основы теории прогнозирования» 2011

Конспект лекции «Уменьшение размерности описания данных: метод главных компонент» по курсу «Математические основы теории прогнозирования» 2011 Конспект лекции «Уменьшение размерности описания данных: метод главных компонент» по курсу «Математические основы теории прогнозирования» 2 Проблема анализа многомерных данных При решении различных задач

Подробнее

Лекция 12. Байесовские сети Методы анализа выживаемости. Лектор Сенько Олег Валентинович

Лекция 12. Байесовские сети Методы анализа выживаемости. Лектор Сенько Олег Валентинович Лекция 12 Байесовские сети Методы анализа выживаемости Лектор Сенько Олег Валентинович Курс «Математические основы теории прогнозирования» 4-й курс, III поток Сенько Олег Валентинович () МОТП, лекция 12

Подробнее

Семинары по EM-алгоритму

Семинары по EM-алгоритму Семинары по EM-алгоритму Евгений Соколов sokolov.evg@gmail.com 21 февраля 2014 г. 1 EM-алгоритм 1.1 Смеси распределений Говорят, что распределение p(x) является смесью распределений, если его плотность

Подробнее

«Применение комбинаторных оценок обобщающей способности для повышения качества метрических алгоритмов

«Применение комбинаторных оценок обобщающей способности для повышения качества метрических алгоритмов Московский Государственный Университет им. М.В. Ломоносова Факультет Вычислительной Математики и Кибернетики Кафедра Математических Методов Прогнозирования Дипломная работа: «Применение комбинаторных оценок

Подробнее

Семинары по линейным классификаторам

Семинары по линейным классификаторам Семинары по линейным классификаторам Евгений Соколов sokolovevg@gmailcom 26 ноября 2013 г 5 Ядра и их применение в машинном обучении 51 Восстановление нелинейных зависимостей линейными методами Линейные

Подробнее

Семинар 9. ММП, осень ноября

Семинар 9. ММП, осень ноября Семинар 9. ММП, осень 22 23 27 ноября Илья Толстихин iliya.tolstikhin@gmail.com Темы семинара: Линейные методы классификации; SVM; Ядровая функция, ядровой переход. Решения домашнего задания Задача. Покажите,

Подробнее

ОБРАБОТКА ИНФОРМАЦИИ

ОБРАБОТКА ИНФОРМАЦИИ СБОРНИК НАУЧНЫХ ТРУДОВ НГТУ. 2011. 3(65). 45 54 УДК 519.217.2 ОБРАБОТКА ИНФОРМАЦИИ ИССЛЕДОВАНИЕ ВОЗМОЖНОСТЕЙ ПРИМЕНЕНИЯ АЛГОРИТМА k-ближайших СОСЕДЕЙ И МЕТОДА ОПОРНЫХ ВЕКТОРОВ ДЛЯ КЛАССИФИКАЦИИ ПОСЛЕДОВАТЕЛЬНОСТЕЙ,

Подробнее

Б а й е с о в с к а я к л а с с и ф и к а ц и я

Б а й е с о в с к а я к л а с с и ф и к а ц и я МИНИСТЕРСТВО ОБРАЗОВАНИЯ И НАУКИ РФ ГОСУДАРСТВЕННОЕ ОБРАЗОВАТЕЛЬНОЕ УЧРЕЖДЕНИЕ ВЫСШЕГО ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ «САМАРСКИЙ ГОСУДАРСТВЕННЫЙ АЭРОКОСМИЧЕСКИЙ УНИВЕРСИТЕТ имени академика С.П.КОРОЛЕВА

Подробнее

Лекция 8 Общая постановка однокритериальной задачи принятия решений.

Лекция 8 Общая постановка однокритериальной задачи принятия решений. Лекция 8 Общая постановка однокритериальной задачи принятия решений. Общая постановка однокритериальной задачи принятия решений. Пусть исход управляемого мероприятия зависит от выбранного решения (стратегии

Подробнее

Оценивание сходства пользователей и ресурсов путем выявления скрытых тематических профилей.

Оценивание сходства пользователей и ресурсов путем выявления скрытых тематических профилей. Анализ Клиентских Сред Оценивание сходства пользователей и ресурсов путем выявления скрытых тематических профилей Постановка задачи Исходными данными являются протоколы действий пользователей Каждая запись

Подробнее

ПРИМЕНЕНИЕ МЕТОДА ОПОРНЫХ ВЕКТОРОВ В ЗАДАЧАХ КЛАССИФИКАЦИИ ТЕКСТА ДЛЯ СИСТЕМ РАСПРЕДЕЛЕННОЙ ОБРАБОТКИ ИНФОРМАЦИИ

ПРИМЕНЕНИЕ МЕТОДА ОПОРНЫХ ВЕКТОРОВ В ЗАДАЧАХ КЛАССИФИКАЦИИ ТЕКСТА ДЛЯ СИСТЕМ РАСПРЕДЕЛЕННОЙ ОБРАБОТКИ ИНФОРМАЦИИ Научные труды КубГТУ, 6, 2014 год 1 УДК 004.021 ПРИМЕНЕНИЕ МЕТОДА ОПОРНЫХ ВЕКТОРОВ В ЗАДАЧАХ КЛАССИФИКАЦИИ ТЕКСТА ДЛЯ СИСТЕМ РАСПРЕДЕЛЕННОЙ ОБРАБОТКИ ИНФОРМАЦИИ А.Г. ВОЛИК, А.Г. МУРЛИН Кубанский государственный

Подробнее

БАЙЕСОВСКИЙ ПОДХОД К ЗАДАЧЕ ОБУЧЕНИЯ РАСПОЗНАВАНИЮ ОБРАЗОВ В НЕСТАЦИОНАРНОЙ ГЕНЕРАЛЬНОЙ СОВОКУПНОСТИ

БАЙЕСОВСКИЙ ПОДХОД К ЗАДАЧЕ ОБУЧЕНИЯ РАСПОЗНАВАНИЮ ОБРАЗОВ В НЕСТАЦИОНАРНОЙ ГЕНЕРАЛЬНОЙ СОВОКУПНОСТИ 2-я Международная молодежная научная школа «Приборы и методы экспериментальной ядерной физики. Электроника и автоматика экспериментальных установок» ОИЯИ, Дубна, 2011 БАЙЕСОВСКИЙ ПОДХОД К ЗАДАЧЕ ОБУЧЕНИЯ

Подробнее

Метрические методы - продолжение

Метрические методы - продолжение 1/22 Виктор Владимирович Китов МГУ им.ломоносова, ф-т ВМиК, кафедра ММП. I семестр 2015 г. 2/22 Метод парзеновского окна Метод парзеновского окна: Выбор h(x): f(x) = arg max y Y N ( ) ρ(x, xn ) I[y n =

Подробнее

МАТЕМАТИЧЕСКИЕ ОСНОВЫ ТЕОРИИ ПРОГНОЗИРОВАНИЯ. Лектор Сенько Олег Валентинович Лекция 2

МАТЕМАТИЧЕСКИЕ ОСНОВЫ ТЕОРИИ ПРОГНОЗИРОВАНИЯ. Лектор Сенько Олег Валентинович Лекция 2 МАТЕМАТИЧЕСКИЕ ОСНОВЫ ТЕОРИИ ПРОГНОЗИРОВАНИЯ Лектор Сенько Олег Валентинович Лекция 2 Методы прогнозирования (распознавания) Множество (модель) алгоритмов M { A: X Y} внутри которого производится поиск

Подробнее

Некоторые вопросы оценивания качества методов построения решающих функций

Некоторые вопросы оценивания качества методов построения решающих функций Некоторые вопросы оценивания качества методов построения решающих функций Неделько В. М. Институт математики СО РАН, г. Новосибирск nedelko@math.nsc.ru «Интеллектуализация обработки информации» (ИОИ-10),

Подробнее

SVM и kernel methods

SVM и kernel methods Академический Университет, 2012 Outline 1 SVM и задача линейной классификации 2 Схема работы SVM Функциональный анализ. Ядра Резюме Постановка задачи Метод опорных векторов решает задачу классификации.

Подробнее

Метод опорных векторов. Юрий Лифшиц. Осень 2006

Метод опорных векторов. Юрий Лифшиц. Осень 2006 Метод опорных векторов Лекция N 7 курса Алгоритмы для Интернета Юрий Лифшиц ПОМИ РАН - СПбГУ ИТМО Осень 2006 1 / 26 Рекорд Книга 1995 года The Nature of Statistical Learning Theory Владимира Вапника цитируется

Подробнее

ВЫБОР МИНИМАЛЬНОЙ КОНФИГУРАЦИИ НЕЙРОННЫХ СЕТЕЙ

ВЫБОР МИНИМАЛЬНОЙ КОНФИГУРАЦИИ НЕЙРОННЫХ СЕТЕЙ Вычислительные технологии Том 6, 1, 2001 ВЫБОР МИНИМАЛЬНОЙ КОНФИГУРАЦИИ НЕЙРОННЫХ СЕТЕЙ Н.А. Игнатьев Национальный университет Узбекистана, Ташкент e-mail: tin000@tashsu.silk.org A method for the selection

Подробнее

Задачи по машинному обучению. составитель: Н. Ю. Золотых

Задачи по машинному обучению. составитель: Н. Ю. Золотых Задачи по машинному обучению составитель: Н Ю Золотых Нижний Новгород 03, 07 Содержание Метод наименьших квадратов Дискриминантный анализ 4 3 Машина опорных векторов 6 4 Наивный байесовский классификатор

Подробнее

Интеллектуальный анализ данных и ООП. и объектно-ориентированное программирование

Интеллектуальный анализ данных и ООП. и объектно-ориентированное программирование Интеллектуальный анализ данных и объектно-ориентированное программирование К. В. Воронцов (vokov@forecsys.ru, http://www.ccas.ru/voron) Кафедра «Интеллектуальные системы» ФУПМ МФТИ, ЗАО «Ф орексис», Вычислительный

Подробнее

Д. П. Ветров 1 Д. А. Кропотов 2

Д. П. Ветров 1 Д. А. Кропотов 2 выбора Д. П. Ветров 1 Д. А. 2 1 МГУ, ВМиК, каф. ММП 2 ВЦ РАН Спецкурс «Байесовские методы машинного обучения» План лекции 1 выбора 2 Общий характер проблемы выбора Примеры задач выбора 3 выбора Кросс-валидация

Подробнее

Рис Вид функции Гаусса.

Рис Вид функции Гаусса. Лекция Радиальные нейронные сети Особое семейство составляют нейронные сети с радиальной активационной функцией Radal Base Futo, радиально меняющиеся вокруг некоторого центра, и принимающие отличные от

Подробнее

Симметризация точек изображения, заданных статистическими выборками

Симметризация точек изображения, заданных статистическими выборками Симметризация точек изображения, заданных статистическими выборками Каркищенко А.Н., Мнухин В.Б., karkishalex@gmail.com mnukhin.valeriy@mail.ru Южный федеральный университет, Таганрог Крит 4-11 октября

Подробнее

Лекция 2. Задачи прогнозирования, Линейная машина, Теоретические методы оценки обобщающей способности, Лектор Сенько Олег Валентинович

Лекция 2. Задачи прогнозирования, Линейная машина, Теоретические методы оценки обобщающей способности, Лектор Сенько Олег Валентинович Лекция 2 Задачи прогнозирования, Линейная машина, Теоретические методы оценки обобщающей способности, Лектор Сенько Олег Валентинович Курс «Математические основы теории прогнозирования» 4-й курс, III поток

Подробнее

Line fitting, или методы аппроксимации набора точек прямой

Line fitting, или методы аппроксимации набора точек прямой Line fitting, или методы аппроксимации набора точек прямой Анна Дегтярева anna_d_666@mail.ru Вежневец Владимир vvp@graphics.cs.msu.su Содержание Line fitting, или методы аппроксимации набора точек прямой

Подробнее

Лекция 5. Прицип частичной прецедентности, тестовый алгоритм, модель АВО. Лектор Сенько Олег Валентинович

Лекция 5. Прицип частичной прецедентности, тестовый алгоритм, модель АВО. Лектор Сенько Олег Валентинович Лекция 5 Прицип частичной прецедентности, тестовый алгоритм, модель АВО Лектор Сенько Олег Валентинович Курс «Математические основы теории прогнозирования» 4-й курс, III поток Сенько Олег Валентинович

Подробнее

Нелинейная регрессия Обобщёные линейные модели Нестандартные функции потерь

Нелинейная регрессия Обобщёные линейные модели Нестандартные функции потерь Обобщёные линейные модели Нестандартные функции потерь Воронцов Константин Вячеславович vokov@forecsys.ru http://www.machinelearning.ru/wiki?title=user:vokov Этот курс доступен на странице вики-ресурса

Подробнее

Машинное обучение: вводная лекция

Машинное обучение: вводная лекция Машинное обучение: вводная лекция К. В. Воронцов vokov@forecsys.ru Этот курс доступен на странице вики-ресурса http://www.machinelearning.ru/wiki «Машинное обучение (курс лекций, К.В.Воронцов)» февраль

Подробнее

Д. П. Ветров 1. Курс «Графические модели» ЕМ-алгоритм. Обучение скрытых. марковских моделей без учителя. Ветров. ЕМ-алгоритм в общем виде

Д. П. Ветров 1. Курс «Графические модели» ЕМ-алгоритм. Обучение скрытых. марковских моделей без учителя. Ветров. ЕМ-алгоритм в общем виде Д. П. 1 1 МГУ, ВМиК, каф. ММП Курс «Графические модели» План лекции 1 2 3 4 5 6 EM-алгоритм. Разложение логарифма Требуется найти максимум в вероятностной модели со скрытыми переменными: p(x Θ) = p(x,

Подробнее

Байесовский метод главных компонент

Байесовский метод главных компонент Курс: Байесовские методы машинного обучения, 211 Дата: 23 ноября 211 Байесовский метод главных компонент Задача уменьшения размерности в данных Рассмотрим задачу классификации изображений рукописных цифр

Подробнее

Задачи и методы обучения по прецедентам

Задачи и методы обучения по прецедентам Задачи и методы обучения по прецедентам чл.-корр. РАН К. В. Рудаков, к.ф.-м.н. К. В. Воронцов (http://www.ccas.ru/voron) 3 марта 2010 Содержание 1 Задачи обучения по прецедентам Основные понятия машинного

Подробнее

Учреждение образования МАТЕМАТИЧЕСКИЕ МЕТОДЫ ДИАГНОСТИКИ В МЕДИЦИНСКИХ ИНТЕЛЛЕКТУАЛЬНЫХ СИСТЕМАХ

Учреждение образования МАТЕМАТИЧЕСКИЕ МЕТОДЫ ДИАГНОСТИКИ В МЕДИЦИНСКИХ ИНТЕЛЛЕКТУАЛЬНЫХ СИСТЕМАХ Министерство образования Республики Беларусь Учреждение образования БЕЛОРУССКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ ИНФОРМАТИКИ И РАДИОЭЛЕКТРОНИКИ Кафедра интеллектуальных информационных технологий М. Д. СТЕПАНОВА,

Подробнее

Лекция 8. Решающие деревья. Лектор Сенько Олег Валентинович. Курс «Математические основы теории прогнозирования» 4-й курс, III поток

Лекция 8. Решающие деревья. Лектор Сенько Олег Валентинович. Курс «Математические основы теории прогнозирования» 4-й курс, III поток Лекция 8 Решающие деревья Лектор Сенько Олег Валентинович Курс «Математические основы теории прогнозирования» 4-й курс, III поток Сенько Олег Валентинович () МОТП, лекция 2 1 / 15 Содержание лекции 1 Решающие

Подробнее

ОБРАБОТКА ИНФОРМАЦИИ

ОБРАБОТКА ИНФОРМАЦИИ СБОРНИК НАУЧНЫХ ТРУДОВ НГТУ. 008. (5) 35 40 УДК 519.4 ОБРАБОТКА ИНФОРМАЦИИ ОПРЕДЕЛЕНИЕ ПАРАМЕТРОВ АЛГОРИТМА ОПОРНЫХ ВЕКТОРОВ ПРИ РЕШЕНИИ ЗАДАЧИ ПОСТРОЕНИЯ РЕГРЕССИИ А.А. ПОПОВ, А.С. САУТИН Сравниваются

Подробнее

Лекция 11. Методы кластерного анализа проектирование данных на плоскость, метод главных компонент. Лектор Сенько Олег Валентинович

Лекция 11. Методы кластерного анализа проектирование данных на плоскость, метод главных компонент. Лектор Сенько Олег Валентинович Лекция 11 Методы кластерного анализа проектирование данных на плоскость, метод главных компонент Лектор Сенько Олег Валентинович Курс «Математические основы теории прогнозирования» 4-й курс, III поток

Подробнее

Факультет Компьютерных наук Департамент больших данных и информационного поиска Базовая кафедра Яндекс

Факультет Компьютерных наук Департамент больших данных и информационного поиска Базовая кафедра Яндекс Федеральное государственное автономное образовательное учреждение высшего образования "Национальный исследовательский университет "Высшая школа экономики" Факультет Компьютерных наук Департамент больших

Подробнее

Метод опорных векторов (Support Vector Machine)

Метод опорных векторов (Support Vector Machine) Метод опорных векторов (Support Vector Machne) и его применения в вычислительной биологии Пятницкий Михаил Институт Биомедицинской Химии РАМН Задача: научиться распознавать объекты. Machne Learnng, Pattern

Подробнее

Linear and Quadratic Discriminant Analysis.

Linear and Quadratic Discriminant Analysis. Алгоритмы, Модели, Алгебры 19 ноября 2015 года Методы используются для решения задач классификация. В этих методах строятся поверхности первого и второго порядка соответственно. Имеют крайне мало параметров.

Подробнее

Матричные вычисления и нормальное распределение

Матричные вычисления и нормальное распределение Курс: Байесовские методы машинного обучения, Дата: 9 октября Матричные вычисления и нормальное распределение Дивергенция Кульбака-Лейблера 5 p(x) (x) 5 p(x) (x) 5 5 5 5 5 5-5 5 KL( p) min -5 5 KL(p ) min

Подробнее

Машинное обучение (Machine Learning)

Машинное обучение (Machine Learning) Деревья решений (Decision trees) Содержание 1 Определения и основные понятия и элементы деревьев решений 2 Алгоритм конструирования деревьев на примере алгоритма CART 3 Процедуры расщепления, остановки,

Подробнее

Семинары по композиционным методам

Семинары по композиционным методам Семинары по композиционным методам Евгений Соколов soolov.evg@gmail.com 30 марта 2014 г. 3 Композиционные методы машинного обучения Ранее мы изучили различные вариации бустинга, которые жадно строили линейную

Подробнее

Линейные методы классификации и регрессии: метод опорных векторов

Линейные методы классификации и регрессии: метод опорных векторов Линейные методы классификации и регрессии: метод опорных векторов Воронцов Константин Вячеславович vokov@forecsys.ru http://www.machinelearning.ru/wiki?title=user:vokov Этот курс доступен на странице вики-ресурса

Подробнее

Лекции по статистическим (байесовским) алгоритмам классификации

Лекции по статистическим (байесовским) алгоритмам классификации Лекции по статистическим (байесовским) алгоритмам классификации К. В. Воронцов 16 апреля 2008 г. Материал находится в стадии разработки, может содержать ошибки и неточности. Автор будет благодарен за любые

Подробнее

Применение нейронных сетей для кластеризации данных

Применение нейронных сетей для кластеризации данных Кукса П.П., Шмаков В.В., Панюшкин М.А. Московский Государственный Технический Университет им. Н.Э. Баумана E-mail: kouxa@online.ru WWW: http://www.geocities.com/pkouxa Применение нейронных сетей для кластеризации

Подробнее

Д. П. Ветров 1. Курс «Графические модели», 2012г. Лекция 3. Скрытые марковские модели. Ветров. Ликбез. Основы применения СММ.

Д. П. Ветров 1. Курс «Графические модели», 2012г. Лекция 3. Скрытые марковские модели. Ветров. Ликбез. Основы применения СММ. Д. П. 1 1 МГУ, ВМиК, каф. ММП Курс «Графические модели», 2012г. План 1 Метод динамического программирования 2 Определение Обучение с учителем Алгоритм Витерби 3 Графические модели с неполными данными Разделение

Подробнее

Линейные методы классификации

Линейные методы классификации Линейные методы классификации К. В. Воронцов vokov@forecsys.ru Этот курс доступен на странице вики-ресурса http://www.machinelearning.ru/wiki «Машинное обучение (курс лекций, К.В.Воронцов)» март апрель

Подробнее

Обработка и анализ данных для распознавания человеческих действий Курсовая работа

Обработка и анализ данных для распознавания человеческих действий Курсовая работа САНКТ-ПЕТЕРБУРГСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ Математико-механический факультет Кафедра информационно-аналитических систем Виноградова Анастасия Александровна Обработка и анализ данных для распознавания

Подробнее

Байесовская классификация. Непараметрические методы

Байесовская классификация. Непараметрические методы Байесовская классификация. Непараметрические методы К. В. Воронцов 23 февраля 2010 г. Материал находится в стадии разработки, может содержать ошибки и неточности. Автор будет благодарен за любые замечания

Подробнее

Введение в машинное обучение. Часть 2.

Введение в машинное обучение. Часть 2. Введение в машинное обучение. Часть 2. Антон Конушин, Ольга Баринова, Вадим Конушин, Антон Якубенко, Александр Велижев МГУ ВМК, Graphics & Media Lab, Весна 2008 4/8/2009 http://graphics.cs.msu.ru 1 FAQ

Подробнее

АЛГОРИТМ ДВУХЭТАПНОГО РАСПОЗНАВАНИЯ ФОНЕМ РУССКОГО ЯЗЫКА. А. М. Сорока. Белорусский государственный университет, Минск, Беларусь

АЛГОРИТМ ДВУХЭТАПНОГО РАСПОЗНАВАНИЯ ФОНЕМ РУССКОГО ЯЗЫКА. А. М. Сорока. Белорусский государственный университет, Минск, Беларусь АЛГОРИТМ ДВУХЭТАПНОГО РАСПОЗНАВАНИЯ ФОНЕМ РУССКОГО ЯЗЫКА А. М. Сорока Белорусский государственный университет, Минск, Беларусь ВВЕДЕНИЕ Одним из основных подходов к решению задачи распознавания слитной

Подробнее

Фильтрация и тематическое моделирование коллекции научных документов

Фильтрация и тематическое моделирование коллекции научных документов Фильтрация и тематическое моделирование коллекции научных документов Сергей Воронов Научный руководитель: д.ф.-м.н. К.В.Воронцов Московский физико-технический институт (государственный университет) Факультет

Подробнее

Управление селективностью аномальных наблюдений в обучении одноклассовому распознаванию образов по методу опорных векторов

Управление селективностью аномальных наблюдений в обучении одноклассовому распознаванию образов по методу опорных векторов Управление селективностью аномальных наблюдений в обучении одноклассовому распознаванию образов по методу опорных векторов Ларин А.О., Середин О.С., Моттль В.В. Московский физико-технический институт (ГУ),

Подробнее

Исследование алгоритма SVM SMO для задач классификации и сравнение его с другими методами машинного обучения

Исследование алгоритма SVM SMO для задач классификации и сравнение его с другими методами машинного обучения САНКТ-ПЕТЕРБУРГСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ Математико-механический факультет Кафедра Системного Программирования Кутькин Никита Андреевич Исследование алгоритма SVM SMO для задач классификации и сравнение

Подробнее

Д.П. Ветров 1 Д.А. Кропотов 2

Д.П. Ветров 1 Д.А. Кропотов 2 регрессии Д.П. Ветров 1 Д.А. 2 1 МГУ, ВМиК, каф. ММП 2 ВЦ РАН Спецкурс «Байесовские методы машинного обучения» План лекции регрессии 1 2 регрессии 3 Матричные тождества регрессии Тождество Шермана-Моррисона-Вудбери

Подробнее

Линейная регрессия Линейная классификация. Линейные модели. Сергей Николенко. Computer Science Club, Казань, 2014

Линейная регрессия Линейная классификация. Линейные модели. Сергей Николенко. Computer Science Club, Казань, 2014 Computer Science Club, Казань, 2014 Outline 1 2 Классификация по-байесовски Логистическая регрессия В предыдущей серии... Теорема Байеса: p(θ D) = p(θ)p(d θ). p(d) Две основные задачи байесовского вывода:

Подробнее

Оценка параметров моделей

Оценка параметров моделей Оценка параметров моделей Антон Конушин, Ольга Баринова, Вадим Конушин, Антон Якубенко, Александр Велижев, Алексей Чернявский МГУ ВМК, Graphcs & Meda Lab, Весна 2009 4/8/2009 http://graphcs.cs.msu.ru 1

Подробнее

ЕМ-алгоритм и метод релевантных векторов для классификации

ЕМ-алгоритм и метод релевантных векторов для классификации Курс: Байесовские методы машинного обучения, ЕМ-алгоритм и метод релевантных векторов для классификации Дата: ноября Метод оптимизации Ньютона g(x) f(x) x x Рис. : Иллюстрация одной итерации метода Ньютона

Подробнее

Профиль пользователя u вектор вероятностей

Профиль пользователя u вектор вероятностей Московский Физико-Технический Институт Вычислительный Центр РАН Анализ клиентских сред: выявление скрытых профилей и оценивание сходства клиентов и ресурсов Лексин В.А. vleksin@mail.u Воронцов К.В. voon@ccas.u

Подробнее

6 Методы приближения функций. Наилучшее приближение.

6 Методы приближения функций. Наилучшее приближение. 6 Методы приближения функций. Наилучшее приближение. Рассмотренные в прошлой главе методы приближения требуют строгой принадлежности узлов сеточной функции результирующему интерполянту. Если не требовать

Подробнее

Задача классификации Предположим, что мы наблюдаем качественный отклик Y, и p разных предикторов X 1,X 2,...,X p. Предположим, что взаимосвязь между

Задача классификации Предположим, что мы наблюдаем качественный отклик Y, и p разных предикторов X 1,X 2,...,X p. Предположим, что взаимосвязь между Классификация "Some of the figures in this presentation are taken from "An Introduction to Statistical Learning, with applications in R" (Springer, 2013) with permission from the authors: G. James, D.

Подробнее

Логашенко И.Б. Современные методы обработки экспериментальных данных. Обратная свертка (unfolding)

Логашенко И.Б. Современные методы обработки экспериментальных данных. Обратная свертка (unfolding) Обратная свертка (unfoldng) Что такое обратная свертка Обратная свертка (деконволюция, противосвертка, развертка, unfoldng) это задача восстановления истинного распределения (спектра) по измеренному, которое

Подробнее

Behind LDA. Часть 1. Кольцов С.Н.

Behind LDA. Часть 1. Кольцов С.Н. Behind LDA Часть 1 Кольцов С.Н. Различия в подходах к теории вероятностей Случайная величина это величина, которая принимает в результате опыта одно из множества значений, причём появление того или иного

Подробнее

Метод кластеризации пространственно-временных последовательностей спутниковой РСА-интерферометрии

Метод кластеризации пространственно-временных последовательностей спутниковой РСА-интерферометрии Метод кластеризации пространственно-временных последовательностей спутниковой РСА-интерферометрии Лихачев Виталий студент 6 курса МФТИ vtaly.lkhachev@phytech.eu Аннотация Рассматривается задача выделения

Подробнее

А. С. Конушин 1 Д. П. Ветров 2 Д. А. Кропотов 3 В. С. Конушин 1 О. В. Баринова 1. Спецкурс «Структурные методы анализа изображений и сигналов»

А. С. Конушин 1 Д. П. Ветров 2 Д. А. Кропотов 3 В. С. Конушин 1 О. В. Баринова 1. Спецкурс «Структурные методы анализа изображений и сигналов» А. С. Конушин 1 Д. П. 2 Д. А. Кропотов 3 В. С. Конушин 1 О. В. Баринова 1 1 МГУ, ВМиК, лаб. КГ 2 МГУ, ВМиК, каф. ММП 3 ВЦ РАН Спецкурс «Структурные методы анализа изображений и сигналов» План 1 2 3 Задачи

Подробнее

Верхняя оценка сложности параллельного мультиплексора в классе схем из функциональных элементов

Верхняя оценка сложности параллельного мультиплексора в классе схем из функциональных элементов Верхняя оценка сложности параллельного мультиплексора в классе схем из функциональных элементов Основные определения и обозначения Рассматриваются схемы из функциональных элементов в некотором полном базисе.

Подробнее

Теория статистического обучения

Теория статистического обучения Теория статистического обучения Н. К. Животовский nikita.zhivotovskiy@phystech.edu 2 марта 2016 г. Материал находится в стадии разработки, может содержать ошибки и неточности. Автор будет благодарен за

Подробнее

Методы оптимизации в машинном обучении, ВМК+Физтех, осень 2017 Практическое задание 4: Композитная оптимизация.

Методы оптимизации в машинном обучении, ВМК+Физтех, осень 2017 Практическое задание 4: Композитная оптимизация. Методы оптимизации в машинном обучении, ВМК+Физтех, осень 2017 Практическое задание 4: Композитная оптимизация. 1 Алгоритмы 1.1 Субградиентный метод Срок сдачи: 7 декабря 2017 (четверг), 23:59 для ВМК

Подробнее

ЛАБОРАТОРНАЯ РАБОТА 2 МНОГОСЛОЙНЫЕ СИГМОИДАЛЬНЫЕ СЕТИ

ЛАБОРАТОРНАЯ РАБОТА 2 МНОГОСЛОЙНЫЕ СИГМОИДАЛЬНЫЕ СЕТИ ЛАБОРАТОРНАЯ РАБОТА МНОГОСЛОЙНЫЕ СИГМОИДАЛЬНЫЕ СЕТИ Многослойный персептрон В многослойном персептроне нейроны расположены в несколько слоев Нейроны первого слоя получают входные сигналы преобразуют их

Подробнее

Факультет Компьютерных наук Департамент больших данных и информационного поиска Базовая кафедра Яндекс

Факультет Компьютерных наук Департамент больших данных и информационного поиска Базовая кафедра Яндекс Федеральное государственное автономное образовательное учреждение высшего образования "Национальный исследовательский университет "Высшая школа экономики" Факультет Компьютерных наук Департамент больших

Подробнее

В.П. Пяткин, Г.И. Салов ОБНАРУЖЕНИЕ ПОЯВЛЕНИЯ ОБЪЕКТА В ПОСЛЕДОВАТЕЛЬНОСТИ ЗАШУМЛЕННЫХ ИЗОБРАЖЕНИЙ С ИСПОЛЬЗОВАНИЕМ СТОХАСТИЧЕСКОЙ АППРОКСИМАЦИИ

В.П. Пяткин, Г.И. Салов ОБНАРУЖЕНИЕ ПОЯВЛЕНИЯ ОБЪЕКТА В ПОСЛЕДОВАТЕЛЬНОСТИ ЗАШУМЛЕННЫХ ИЗОБРАЖЕНИЙ С ИСПОЛЬЗОВАНИЕМ СТОХАСТИЧЕСКОЙ АППРОКСИМАЦИИ В.П. Пяткин, Г.И. Салов ОБНАРУЖЕНИЕ ПОЯВЛЕНИЯ ОБЪЕКТА В ПОСЛЕДОВАТЕЛЬНОСТИ ЗАШУМЛЕННЫХ ИЗОБРАЖЕНИЙ С ИСПОЛЬЗОВАНИЕМ СТОХАСТИЧЕСКОЙ АППРОКСИМАЦИИ Введение. Обратимся к проблеме скорейшего обнаружения появления

Подробнее

Д. П. Ветров 1 Д. А. Кропотов 2

Д. П. Ветров 1 Д. А. Кропотов 2 выбора Д. П. Ветров 1 Д. А. 2 1 МГУ, ВМиК, каф. ММП 2 ВЦ РАН Спецкурс «Байесовские методы машинного обучения» План лекции 1 выбора 2 Общий характер проблемы выбора Примеры задач выбора 3 выбора Кросс-валидация

Подробнее

МОДИФИКАЦИЯ, РАЗРАБОТКА И РЕАЛИЗАЦИЯ МЕТОДОВ КЛАССИФИКАЦИИ НОВОСТНЫХ ТЕКСТОВ

МОДИФИКАЦИЯ, РАЗРАБОТКА И РЕАЛИЗАЦИЯ МЕТОДОВ КЛАССИФИКАЦИИ НОВОСТНЫХ ТЕКСТОВ ФЕДЕРАЛЬНОЕ ГОСУДАРСТВЕННОЕ ОБРАЗОВАТЕЛЬНОЕ УЧРЕЖДЕНИЕ ВЫСШЕГО ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ НАЦИОНАЛЬНЫЙ ИССЛЕДОВАТЕЛЬСКИЙ УНИВЕРСИТЕТ «МЭИ» Шаграев Алексей Галимович На правах рукописи УДК 004.852 МОДИФИКАЦИЯ,

Подробнее

Машинное обучение Тематическое моделирование. https://yandexdataschool.ru/edu-process/courses/machine-learning

Машинное обучение Тематическое моделирование. https://yandexdataschool.ru/edu-process/courses/machine-learning Машинное обучение Тематическое моделирование https://yandexdataschool.ru/edu-process/courses/machine-learning 1 Содержание лекции Постановка задачи Предыстория Латентный семантический анализ (LSA) Вероятностный

Подробнее

Устойчивые интегральные индикаторы с выбором опорного множества описаний объектов 1

Устойчивые интегральные индикаторы с выбором опорного множества описаний объектов 1 УДК 519.584 Устойчивые интегральные индикаторы с выбором опорного множества описаний объектов 1 В. В. Стрижов, Т. В. Казакова, Вычислительный центр РАН Аннотация Исследуется задача построения интегрального

Подробнее

План лекции. 1 Смесь Гауссовских распределений. 2 EM-алгоритм. 3 Информационные методы

План лекции. 1 Смесь Гауссовских распределений. 2 EM-алгоритм. 3 Информационные методы План лекции 1 Смесь Гауссовских распределений 2 EM-алгоритм 3 Информационные методы А. А. Бояров, А. А. Сенов (СПбГУ) стохастическое программирование весна 2014 1 / 21 Смешанные модели Пусть W подмножество

Подробнее

Алгоритм определения относительных координат фазового центра антенны навигационного приемника

Алгоритм определения относительных координат фазового центра антенны навигационного приемника УДК 69.78 Алгоритм определения относительных координат фазового центра антенны навигационного приемника Смоляков И.Д., студент Россия, 55, г. Москва, МГТУ им. Н.Э. Баумана, кафедра «Радиоэлектронные системы»

Подробнее