Обзор алгоритмов машинного обучения. Воронов Александр Video Group CS MSU Graphics & Media Lab

Save this PDF as:
 WORD  PNG  TXT  JPG

Размер: px
Начинать показ со страницы:

Download "Обзор алгоритмов машинного обучения. Воронов Александр Video Group CS MSU Graphics & Media Lab"

Транскрипт

1 Обзор алгоритмов машинного обучения Воронов Александр Vdeo Group CS MSU Graphcs & Meda Lab

2 On for Maxus Содержание Введение Дерево решений Статистические алгоритмы Метрические алгоритмы SVM AdaBoost CS MSU Graphcs & Meda Lab (Vdeo Group 2

3 On for Maxus Постановка задачи Терминология Множество объектов: X Конечное множество классов: Y Любой объект x X соответствует хотя бы одному классу Y CS MSU Graphcs & Meda Lab (Vdeo Group 3

4 On for Maxus Постановка задачи По конечной выборке прецедентовx :(x, = построить отображение a: X Y, удовлетворяющее следующим условиям: Эффективная программная реализация Воспроизведение заданных ответов на обучающей выборке Обобщающая способность для всего множества X Априорные ограничения (соответствие модели CS MSU Graphcs & Meda Lab (Vdeo Group 4

5 On for Maxus Постановка задачи Оценка обобщающей способности Функционал качества: Q( a, X ( a, x a - тестируемый алгоритм ( a, x - функция, определяющая величину ошибки алгоритма ( X arg mn Q( a, X aa CS MSU Graphcs & Meda Lab (Vdeo Group 5

6 On for Maxus Постановка задачи Оценка обобщающей способности Дана выборка L L X ( x, Разобьѐм еѐ N способами на обучающую k и контрольную подвыборки (k = L X n Оценка скользящего контроля (cross-vadaton: CV(, X L N n CV совпадает с матожиданием потерь N Q( ( X n, X k n X n CS MSU Graphcs & Meda Lab (Vdeo Group 6

7 On for Maxus Примеры прикладных задач Медицинская диагностика Распознавание спама Рубрикация текста Распознавание рукописных символов Оценивание заѐмщиков Прогнозирование потребительского спроса и т.д. CS MSU Graphcs & Meda Lab (Vdeo Group 7

8 On for Maxus Эвристические принципы обучения по прецедентам сходства минимизации эмпирического риска регуляризации (штраф на сложность алгоритма разделимости (можно описать некоторую поверхность, разделяющую классы отделимости и закономерности (можно описать область, которая включает объекты только одного класса самоорганизации моделей (структура модели алгоритма заранее не известна композиции CS MSU Graphcs & Meda Lab (Vdeo Group 8

9 On for Maxus Содержание Введение Дерево решений Статистические алгоритмы Метрические алгоритмы SVM AdaBoost CS MSU Graphcs & Meda Lab (Vdeo Group 9

10 On for Maxus Дерево решений Пример CS MSU Graphcs & Meda Lab (Vdeo Group 0

11 On for Maxus Дерево решений Автоматическое построение X = {x,, x n }, p вероятность события x H( X n p og 2 p - энтропия множества X C = {c,, c m } множество классов F признак с возможными значениями {f,, f d } Количество информации класса C относительно признака F: I( C, F m d P( C c, F fog 2 j P( C c P( F P( C c, F f f CS MSU Graphcs & Meda Lab (Vdeo Group

12 On for Maxus Дерево решений Автоматическое построение. Признак с наибольшим количеством информации выбирается в качестве корневого узла 2. Если подмножество событий ветви не совпадает с одним из классов, то алгоритм запускается рекурсивно для этой ветви CS MSU Graphcs & Meda Lab (Vdeo Group 2

13 On for Maxus Содержание Введение Дерево решений Статистические алгоритмы Метрические алгоритмы SVM AdaBoost CS MSU Graphcs & Meda Lab (Vdeo Group 3

14 On for Maxus Статистические алгоритмы Обозначения P = P( априорная вероятность класса p (x = p(x функция правдоподобия класса p(x, плотность распределения λ s величина потери при отнесении объекта класса к классу s A = {x X a(x = }, Y CS MSU Graphcs & Meda Lab (Vdeo Group 4

15 On for Maxus Статистические алгоритмы Обозначения Функционал среднего риска: R ( a P ( A Y sy s Формула Байеса s P( x p( x, p( x p s Y ( x P p s ( x P s CS MSU Graphcs & Meda Lab (Vdeo Group 5

16 On for Maxus Статистические алгоритмы Схема работы. Задаются штрафы ошибочной классификации λ s. 2. По обучающей выборке вычисляются функции, характеризующие классы. 3. На основе этих функций строится алгоритм, который минимизирует функционал среднего риска. CS MSU Graphcs & Meda Lab (Vdeo Group 6

17 On for Maxus Статистические алгоритмы Обозначения Оптимальный алгоритм классификации a ( x arg mn P p ( x sy Y При условии, что Разделяющая поверхность: s s a( x arg max P p ( x arg max P( x Y Y t P t p t ( x P p ( x s s s CS MSU Graphcs & Meda Lab (Vdeo Group 7

18 On for Maxus Статистические алгоритмы Восстановление плотности Оценка априорной вероятности класса : Pˆ, X, Y Чтобы восстановить функции правдоподобия p (x, рассмотрим общую задачу: Для выборки X m = {x,, x m } построить эмпирическую оценку плотности, приближающую p(x на всѐм X. CS MSU Graphcs & Meda Lab (Vdeo Group 8

19 On for Maxus Статистические алгоритмы Предположим, что p(x = φ(x,θ φ фиксированная функция θ параметр, значение которого выбирается из принципа максимума правдоподобия: L( X m, G m, G m = (g,,g m m g n( x, max CS MSU Graphcs & Meda Lab (Vdeo Group 9

20 On for Maxus Статистические алгоритмы Предположим, что ( x, N( x,, (2 2 2 exp( ( x ( x 2 n то есть n-мерное нормальное распределение с матожиданием μ R n, Σ R nxn CS MSU Graphcs & Meda Lab (Vdeo Group 20

21 On for Maxus Статистические алгоритмы Вычисление: m ˆ g m g ˆ Можно положить g m Несмещѐнная оценка ков.матрицы: ˆ CS MSU Graphcs & Meda Lab (Vdeo Group x ; m m x m ( x ˆ( x g ( x ˆ ˆ( x ˆ 2

22 On for Maxus Статистические алгоритмы Квадратичный дискриминант Если классы имеют нормальные функции правдоподобия, то решающее правило задает квадратичную разделяющую поверхность. Поверхность вырождается в линейную, если ков.матрицы классов равны. CS MSU Graphcs & Meda Lab (Vdeo Group 22

23 CS MSU Graphcs & Meda Lab (Vdeo Group On for Maxus Статистические алгоритмы Линейный дискриминант Фишера Фишер предложил считать ковариационные матрицы равными, даже если они на самом деле не равны. 23 arg max( ˆ ˆ ˆ ˆ ˆ 2 arg max(n( ( arg max( ( Y Y Y x x P x p P x a

24 On for Maxus Статистические алгоритмы Линейный дискриминант Фишера Обучение сводится к оцениванию матожидания и общей ковариационной матрицы для всей выборки. CS MSU Graphcs & Meda Lab (Vdeo Group 24

25 On for Maxus Статистические алгоритмы Наивный байесовский классификатор Если предположить, что признаки объекта независимы и нормально распределены, то общая плотность вычисляется как произведение плотностей характеристик Плотность каждой характеристики внутри класса вычисляется значительно проще В реальности такая ситуация встречается редко, на большинстве задач качество классификации будет относительно низким CS MSU Graphcs & Meda Lab (Vdeo Group 25

26 CS MSU Graphcs & Meda Lab (Vdeo Group On for Maxus Статистические алгоритмы Наивный байесовский классификатор - признаки Итоговый алгоритм: 26 n j j j Y n n n n p x a p p x p x f x f ( ˆ n n arg max ( (... ( ( (,..., (

27 On for Maxus Статистические алгоритмы Выводы Преимущества: Байесовское решающее правило оптимально, имеет простую формулу, легко реализуется программно Имеет широкую область применения, часто используется в качестве эталона при тестировании других алгоритмов Недостатки: При неправильном подходе к восстановлению функций правдоподобия качество работы алгоритма может быть очень низким CS MSU Graphcs & Meda Lab (Vdeo Group 27

28 On for Maxus Содержание Введение Дерево решений Статистические алгоритмы Метрические алгоритмы SVM AdaBoost CS MSU Graphcs & Meda Lab (Vdeo Group 28

29 On for Maxus Метрические алгоритмы Метрические алгоритмы: основанные на анализе сходства объектов. Гипотеза компактности: Классы образуют компактно локализованные множества в пространстве объектов. Вводится метрика ρ(x, x в пространстве объектов X CS MSU Graphcs & Meda Lab (Vdeo Group 29

30 On for Maxus Метрические алгоритмы u рассматриваемый объект X обучающая выборка (, u оценка степени важности -го соседа ( u, X ближайших обучающих объектов Метрический алгоритм: a( u, X [ ( u ] (, u arg max Y - суммарный вес ( u, X CS MSU Graphcs & Meda Lab (Vdeo Group 30

31 On for Maxus Метрические алгоритмы Схема работы Обучение:. Выбор метрики сходства между объектами 2. Удаление из обучающей выборки неинформативных и шумовых объектов Классификация: Объект относится к тому классу, для которого максимален вес ближайших объектов из обучающей выборки. CS MSU Graphcs & Meda Lab (Vdeo Group 3

32 On for Maxus Метрические алгоритмы Весовые функции Метод ближайшего соседа (NN: (, u = [ = ] Метод k ближайших соседей (knn: (, u = [ k] Метод взвешенных ближайших соседей: (, u = [ k]q CS MSU Graphcs & Meda Lab (Vdeo Group 32

33 On for Maxus Метрические алгоритмы Метод парзеновского окна K(z функция ядра, невозрастающая на [0, ( ( u, x u (, u K h При неравномерном распределении объектов можно использовать окно переменной ширины: h( u ( u, ( k x u Доп.ограничение на K: z >, K(z=0 CS MSU Graphcs & Meda Lab (Vdeo Group 33

34 On for Maxus Метрические алгоритмы Отбор эталонных объектов Эталоны типичные представители классов При исключении из выборки шумовые и неинформативные объекты повышается качество классификации и уменьшается объѐм хранимых данных CS MSU Graphcs & Meda Lab (Vdeo Group 34

35 On for Maxus Метрические алгоритмы Отбор эталонных объектов Отступ объекта x относительно алгоритма a(u M ( x Объекты: ( x max Эталонные (большой положительный отступ Неинформативные (положительный отступ Пограничные (отступ, близкий к нулю Ошибочные объекты (отрицательный отступ Шумовые объекты или выбросы (большой отрицательный отступ Из выборки удаляются неинформативные и шумовые объекты CS MSU Graphcs & Meda Lab (Vdeo Group Y \ ( x 35

36 On for Maxus Метрические алгоритмы Выводы Преимущества: Нет необходимости выделять признаки (прецедентная логика Простота реализации Недостатки: Необходимость хранить обучающую выборку Поиск ближайших соседей предполагает большой число сравнений CS MSU Graphcs & Meda Lab (Vdeo Group 36

37 On for Maxus Содержание Введение Дерево решений Статистические алгоритмы Метрические алгоритмы SVM AdaBoost CS MSU Graphcs & Meda Lab (Vdeo Group 37

38 On for Maxus SVM CS MSU Graphcs & Meda Lab (Vdeo Group 38

39 On for Maxus SVM CS MSU Graphcs & Meda Lab (Vdeo Group 39

40 On for Maxus SVM X = R n, Y = {-, +} n j a( x sgn x j 0 sgn, x j, 0 параметры алгоритма, x 0 - разделяющая гиперплоскость 0 CS MSU Graphcs & Meda Lab (Vdeo Group 40

41 On for Maxus SVM Схема работы Обучение:. Для поиска максимальной ширины разделяющей полосы при минимальной ошибке составляется функция Лагранжа 2. Ищется седловая точка функции Лагранжа. 3. Находятся опорные точки, на их основе вычисляются параметры алгоритма CS MSU Graphcs & Meda Lab (Vdeo Group 4

42 On for Maxus SVM Ширина разделяющей полосы x + и x - - произвольные точки классов, лежащие на границе полосы Тогда ширина полосы:, x, x x x, ( ( 0 0 ( 2 Для линейно разделимой выборки требуется найти параметры, 0, такие, что при выполнении условия, x 0 норма будет минимальна. CS MSU Graphcs & Meda Lab (Vdeo Group 42

43 CS MSU Graphcs & Meda Lab (Vdeo Group On for Maxus SVM Задача поиска седловой точки Необходимые условия седловой точки: 43 x либо x L,...,,, 0,,..., 0, mn max,, 2,, ( 0, L x x L

44 On for Maxus SVM Задача поиска седловой точки Из необходимых условий седловой точки следует : L( 0,,..., 0 2 j j j x, x j mn CS MSU Graphcs & Meda Lab (Vdeo Group 44

45 On for Maxus SVM После решения задачи вычисляем: 0 med x, Итоговый алгоритм: x : 0,,..., a( x sgn, x 0 CS MSU Graphcs & Meda Lab (Vdeo Group 45

46 On for Maxus SVM Линейно неразделимая выборка Добавим в исходную задачу минимизации нормы штраф за суммарную ошибку:, C mn 2, 0, x, 0,,..., 0,,..., CS MSU Graphcs & Meda Lab (Vdeo Group 46

47 On for Maxus SVM Линейно неразделимая выборка Введѐм понятие отступа: Рассмотрим функционал числа ошибок: Q( a, X [ m 0] Заменим пороговую функцию на еѐ верхнюю оценку: [ m 0] ( m Добавим к Q штрафное слагаемое, учитывающее норму m, x 0 2 CS MSU Graphcs & Meda Lab (Vdeo Group 47

48 On for Maxus SVM Линейно неразделимая выборка Задача минимизации полученного функционала Q( a, X эквивалентна исходной задаче при ( m CS MSU Graphcs & Meda Lab (Vdeo Group, C mn 2, 0, x, 0, 0,,..., 2C 2 mn, 0,..., 48

49 CS MSU Graphcs & Meda Lab (Vdeo Group On for Maxus SVM Линейно неразделимая выборка Соответствующая функция Лагранжа: 49 mn max (,, 2,,,, ( 0, 0 0 C x L

50 On for Maxus SVM Линейно неразделимая выборка Задача поиска седловой точки: L(, 0,,, mn, 0, 0, 0, 0, либо 0,, x 0, либо 0, max,...,, 0,...,,,..., CS MSU Graphcs & Meda Lab (Vdeo Group 50

51 On for Maxus SVM Спрямляющие пространства Ещѐ один способ решения проблемы линейной неразделимости: переход из пространства объектов X в пространство H с помощью преобразования ψ: X H Пространство H называется спрямляющим SVM строится так же, только на основе объектов ψ(x вместо x. K( x, x ( x, ( x - ядровая функция CS MSU Graphcs & Meda Lab (Vdeo Group 5

52 On for Maxus SVM Выводы Преимущества: Решение задачи хорошо оптимизируется: сводится к задаче квадратичного программирования Более уверенная классификация за счѐт максимизации ширины разделяющей полосы Недостатки: Неустойчивость к шуму, выбросы существенно учитываются Нет общих методов построения ядер или спрямляющих пространств CS MSU Graphcs & Meda Lab (Vdeo Group 52

53 On for Maxus Содержание Введение Дерево решений Статистические алгоритмы Метрические алгоритмы SVM AdaBoost CS MSU Graphcs & Meda Lab (Vdeo Group 53

54 On for Maxus AdaBoost Постановка задачи Классификация на два класса: Y = {-,+} b t (x некоторые базовые алгоритмы Искомый алгоритм взвешенная сумма базовых: a( x sgn( T t b t t ( x, x X Функционал качества композиции: Q T T t t b t t ( x 0 CS MSU Graphcs & Meda Lab (Vdeo Group 54

55 On for Maxus AdaBoost Упрощение задачи минимизации функционала Q t : Эвристика : при добавлении в композицию нового слагаемого оптимизировать только его, не трогая предыдущих Эвристика 2: аппроксимировать пороговую функцию потерь в Q t непрерывно дифференцируемой оценкой сверху. CS MSU Graphcs & Meda Lab (Vdeo Group 55

56 CS MSU Graphcs & Meda Lab (Vdeo Group On for Maxus AdaBoost Аппроксимация экспонентой: Введѐм нормированный вектор весов объектов: 56 T T T t t t T t t t t t x b x b x b Q Q ( exp( ( exp ( exp ~ j j W ~, ~,..., ( ~ ~

57 CS MSU Graphcs & Meda Lab (Vdeo Group On for Maxus AdaBoost Теорема : Тогда: 57 : 2, /, ( mn 0], ( [, ( b W W Q b u x b u U b Q ~, ( ~, ( n 2 ~, ( arg mn T T T b T W Q b W Q b W Q b b

58 On for Maxus AdaBoost Теорема 2: Если существует такое, что на ~ 0 каждом шаге Q( b 2 t, W /, то AdaBoost гарантирует построение корректного алгоритма a(x за конечное число шагов. CS MSU Graphcs & Meda Lab (Vdeo Group 58

59 On for Maxus AdaBoost Алгоритм обучения. инициализация весов объектов: := /, =,, 2. для всех =,,T, пока не выполнен критерий останова 3. b : t arg mn Q( b, W b 4. t Q( bt, W n 2 Q( b, W : t 5. пересчѐт весов объектов: := exp(-α t b t (x, =,, 6. нормировка весов объектов: 0 : j j CS MSU Graphcs & Meda Lab (Vdeo Group : / 0,,..., 59

60 On for Maxus AdaBoost Выводы Достоинства: Хорошая обобщающая способность Простота реализации Возможность идентификации выбросов по высокому значению Недостатки: Переобучение при значительном уровне шума Требует длинных выборок Может привести к построению громоздких композиций CS MSU Graphcs & Meda Lab (Vdeo Group 60

61 On for Maxus Литература. Курс лекций К.В. Воронцова по машинному обучений ( ние_(курс_лекций%2c_к.в.воронцов 2. Л.Шапиро, Дж.Стокман «Компьютерное зрение», глава 4, С CS MSU Graphcs & Meda Lab (Vdeo Group 6

Метрические методы классификации

Метрические методы классификации Метрические методы классификации К. В. Воронцов vokov@forecsys.ru Этот курс доступен на странице вики-ресурса http://www.machinelearning.ru/wiki «Машинное обучение (курс лекций, К.В.Воронцов)» март 2011

Подробнее

Машинное обучение Лекция 3. Метрические алгоритмы. https://yandexdataschool.ru/edu-process/courses/machine-learning

Машинное обучение Лекция 3. Метрические алгоритмы. https://yandexdataschool.ru/edu-process/courses/machine-learning Машинное обучение Лекция 3. Метрические алгоритмы https://yandexdataschool.ru/edu-process/courses/machine-learning 1 Содержание лекции Обобщенный алгоритм Примеры частных алгоритмов: метод ближайших соседей

Подробнее

ОСНОВЫ ТЕОРИИ ОЦЕНИВАНИЯ И ФИЛЬТРАЦИИ ПАРАМЕТРОВ СИГНАЛОВ

ОСНОВЫ ТЕОРИИ ОЦЕНИВАНИЯ И ФИЛЬТРАЦИИ ПАРАМЕТРОВ СИГНАЛОВ ЛЕКЦИЯ 1. Постановка задачи оценивания параметров сигналов. Байесовские оценки случайных параметров сигналов при различных функциях потерь. ОСНОВЫ ТЕОРИИ ОЦЕНИВАНИЯ И ФИЛЬТРАЦИИ ПАРАМЕТРОВ СИГНАЛОВ 3.1.

Подробнее

Линейные методы классификации II

Линейные методы классификации II 1/40 Виктор Китов v.v.kitov@yandex.ru МГУ им.ломоносова, ф-т ВМиК, кафедра ММП. I семестр 2015 г. 2/40 Линейный дискриминант Фишера Содержание 1 Линейный дискриминант Фишера 2 Логистическая регрессия 3

Подробнее

Л и н е й н ы е к л а с с и ф и к а т о р ы

Л и н е й н ы е к л а с с и ф и к а т о р ы МИНИСТЕРСТВО ОБРАЗОВАНИЯ И НАУКИ РФ ГОСУДАРСТВЕННОЕ ОБРАЗОВАТЕЛЬНОЕ УЧРЕЖДЕНИЕ ВЫСШЕГО ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ «САМАРСКИЙ ГОСУДАРСТВЕННЫЙ АЭРОКОСМИЧЕСКИЙ УНИВЕРСИТЕТ имени академика С.П.КОРОЛЕВА

Подробнее

МАТЕМАТИЧЕСКИЕ ОСНОВЫ ТЕОРИИ ПРОГНОЗИРОВАНИЯ. Лектор Сенько Олег Валентинович Лекция 2

МАТЕМАТИЧЕСКИЕ ОСНОВЫ ТЕОРИИ ПРОГНОЗИРОВАНИЯ. Лектор Сенько Олег Валентинович Лекция 2 МАТЕМАТИЧЕСКИЕ ОСНОВЫ ТЕОРИИ ПРОГНОЗИРОВАНИЯ Лектор Сенько Олег Валентинович Лекция 2 Методы прогнозирования (распознавания) Множество (модель) алгоритмов M { A: X Y} внутри которого производится поиск

Подробнее

Оценивание сходства пользователей и ресурсов путем выявления скрытых тематических профилей.

Оценивание сходства пользователей и ресурсов путем выявления скрытых тематических профилей. Анализ Клиентских Сред Оценивание сходства пользователей и ресурсов путем выявления скрытых тематических профилей Постановка задачи Исходными данными являются протоколы действий пользователей Каждая запись

Подробнее

Семинары по байесовским методам

Семинары по байесовским методам Семинары по байесовским методам Евгений Соколов sokolov.evg@gmail.com 5 декабря 2014 г. 2 Нормальный дискриминантный анализ Нормальный дискриминантный анализ это частный случай байесовской классификации,

Подробнее

Семинар 9. ММП, осень ноября

Семинар 9. ММП, осень ноября Семинар 9. ММП, осень 22 23 27 ноября Илья Толстихин iliya.tolstikhin@gmail.com Темы семинара: Линейные методы классификации; SVM; Ядровая функция, ядровой переход. Решения домашнего задания Задача. Покажите,

Подробнее

Статистические (байесовские) методы классификации

Статистические (байесовские) методы классификации Статистические (байесовские) методы классификации К. В. Воронцов vokov@forecsys.ru Этот курс доступен на странице вики-ресурса http://www.machinelearning.ru/wiki «Машинное обучение (курс лекций, К.В.Воронцов)»

Подробнее

ВЫБОР МИНИМАЛЬНОЙ КОНФИГУРАЦИИ НЕЙРОННЫХ СЕТЕЙ

ВЫБОР МИНИМАЛЬНОЙ КОНФИГУРАЦИИ НЕЙРОННЫХ СЕТЕЙ Вычислительные технологии Том 6, 1, 2001 ВЫБОР МИНИМАЛЬНОЙ КОНФИГУРАЦИИ НЕЙРОННЫХ СЕТЕЙ Н.А. Игнатьев Национальный университет Узбекистана, Ташкент e-mail: tin000@tashsu.silk.org A method for the selection

Подробнее

Метрические методы - продолжение

Метрические методы - продолжение 1/22 Виктор Владимирович Китов МГУ им.ломоносова, ф-т ВМиК, кафедра ММП. I семестр 2015 г. 2/22 Метод парзеновского окна Метод парзеновского окна: Выбор h(x): f(x) = arg max y Y N ( ) ρ(x, xn ) I[y n =

Подробнее

ОБРАБОТКА ИНФОРМАЦИИ

ОБРАБОТКА ИНФОРМАЦИИ СБОРНИК НАУЧНЫХ ТРУДОВ НГТУ. 2011. 3(65). 45 54 УДК 519.217.2 ОБРАБОТКА ИНФОРМАЦИИ ИССЛЕДОВАНИЕ ВОЗМОЖНОСТЕЙ ПРИМЕНЕНИЯ АЛГОРИТМА k-ближайших СОСЕДЕЙ И МЕТОДА ОПОРНЫХ ВЕКТОРОВ ДЛЯ КЛАССИФИКАЦИИ ПОСЛЕДОВАТЕЛЬНОСТЕЙ,

Подробнее

Некоторые вопросы оценивания качества методов построения решающих функций

Некоторые вопросы оценивания качества методов построения решающих функций Некоторые вопросы оценивания качества методов построения решающих функций Неделько В. М. Институт математики СО РАН, г. Новосибирск nedelko@math.nsc.ru «Интеллектуализация обработки информации» (ИОИ-10),

Подробнее

Машинное обучение: вводная лекция

Машинное обучение: вводная лекция Машинное обучение: вводная лекция К. В. Воронцов vokov@forecsys.ru Этот курс доступен на странице вики-ресурса http://www.machinelearning.ru/wiki «Машинное обучение (курс лекций, К.В.Воронцов)» февраль

Подробнее

Лекция 5. Прицип частичной прецедентности, тестовый алгоритм, модель АВО. Лектор Сенько Олег Валентинович

Лекция 5. Прицип частичной прецедентности, тестовый алгоритм, модель АВО. Лектор Сенько Олег Валентинович Лекция 5 Прицип частичной прецедентности, тестовый алгоритм, модель АВО Лектор Сенько Олег Валентинович Курс «Математические основы теории прогнозирования» 4-й курс, III поток Сенько Олег Валентинович

Подробнее

Д. П. Ветров 1 Д. А. Кропотов 2

Д. П. Ветров 1 Д. А. Кропотов 2 выбора Д. П. Ветров 1 Д. А. 2 1 МГУ, ВМиК, каф. ММП 2 ВЦ РАН Спецкурс «Байесовские методы машинного обучения» План лекции 1 выбора 2 Общий характер проблемы выбора Примеры задач выбора 3 выбора Кросс-валидация

Подробнее

Применение нейронных сетей для кластеризации данных

Применение нейронных сетей для кластеризации данных Кукса П.П., Шмаков В.В., Панюшкин М.А. Московский Государственный Технический Университет им. Н.Э. Баумана E-mail: kouxa@online.ru WWW: http://www.geocities.com/pkouxa Применение нейронных сетей для кластеризации

Подробнее

Д. П. Ветров 1. Курс «Графические модели» ЕМ-алгоритм. Обучение скрытых. марковских моделей без учителя. Ветров. ЕМ-алгоритм в общем виде

Д. П. Ветров 1. Курс «Графические модели» ЕМ-алгоритм. Обучение скрытых. марковских моделей без учителя. Ветров. ЕМ-алгоритм в общем виде Д. П. 1 1 МГУ, ВМиК, каф. ММП Курс «Графические модели» План лекции 1 2 3 4 5 6 EM-алгоритм. Разложение логарифма Требуется найти максимум в вероятностной модели со скрытыми переменными: p(x Θ) = p(x,

Подробнее

Байесовский метод главных компонент

Байесовский метод главных компонент Курс: Байесовские методы машинного обучения, 211 Дата: 23 ноября 211 Байесовский метод главных компонент Задача уменьшения размерности в данных Рассмотрим задачу классификации изображений рукописных цифр

Подробнее

Факультет Компьютерных наук Департамент больших данных и информационного поиска Базовая кафедра Яндекс

Факультет Компьютерных наук Департамент больших данных и информационного поиска Базовая кафедра Яндекс Федеральное государственное автономное образовательное учреждение высшего образования "Национальный исследовательский университет "Высшая школа экономики" Факультет Компьютерных наук Департамент больших

Подробнее

Семинары по композиционным методам

Семинары по композиционным методам Семинары по композиционным методам Евгений Соколов soolov.evg@gmail.com 30 марта 2014 г. 3 Композиционные методы машинного обучения Ранее мы изучили различные вариации бустинга, которые жадно строили линейную

Подробнее

Матричные вычисления и нормальное распределение

Матричные вычисления и нормальное распределение Курс: Байесовские методы машинного обучения, Дата: 9 октября Матричные вычисления и нормальное распределение Дивергенция Кульбака-Лейблера 5 p(x) (x) 5 p(x) (x) 5 5 5 5 5 5-5 5 KL( p) min -5 5 KL(p ) min

Подробнее

Машинное обучение (Machine Learning)

Машинное обучение (Machine Learning) Деревья решений (Decision trees) Содержание 1 Определения и основные понятия и элементы деревьев решений 2 Алгоритм конструирования деревьев на примере алгоритма CART 3 Процедуры расщепления, остановки,

Подробнее

АЛГОРИТМ ДВУХЭТАПНОГО РАСПОЗНАВАНИЯ ФОНЕМ РУССКОГО ЯЗЫКА. А. М. Сорока. Белорусский государственный университет, Минск, Беларусь

АЛГОРИТМ ДВУХЭТАПНОГО РАСПОЗНАВАНИЯ ФОНЕМ РУССКОГО ЯЗЫКА. А. М. Сорока. Белорусский государственный университет, Минск, Беларусь АЛГОРИТМ ДВУХЭТАПНОГО РАСПОЗНАВАНИЯ ФОНЕМ РУССКОГО ЯЗЫКА А. М. Сорока Белорусский государственный университет, Минск, Беларусь ВВЕДЕНИЕ Одним из основных подходов к решению задачи распознавания слитной

Подробнее

ЛАБОРАТОРНАЯ РАБОТА 2 МНОГОСЛОЙНЫЕ СИГМОИДАЛЬНЫЕ СЕТИ

ЛАБОРАТОРНАЯ РАБОТА 2 МНОГОСЛОЙНЫЕ СИГМОИДАЛЬНЫЕ СЕТИ ЛАБОРАТОРНАЯ РАБОТА МНОГОСЛОЙНЫЕ СИГМОИДАЛЬНЫЕ СЕТИ Многослойный персептрон В многослойном персептроне нейроны расположены в несколько слоев Нейроны первого слоя получают входные сигналы преобразуют их

Подробнее

ЕМ-алгоритм и метод релевантных векторов для классификации

ЕМ-алгоритм и метод релевантных векторов для классификации Курс: Байесовские методы машинного обучения, ЕМ-алгоритм и метод релевантных векторов для классификации Дата: ноября Метод оптимизации Ньютона g(x) f(x) x x Рис. : Иллюстрация одной итерации метода Ньютона

Подробнее

Фильтрация и тематическое моделирование коллекции научных документов

Фильтрация и тематическое моделирование коллекции научных документов Фильтрация и тематическое моделирование коллекции научных документов Сергей Воронов Научный руководитель: д.ф.-м.н. К.В.Воронцов Московский физико-технический институт (государственный университет) Факультет

Подробнее

Верхняя оценка сложности параллельного мультиплексора в классе схем из функциональных элементов

Верхняя оценка сложности параллельного мультиплексора в классе схем из функциональных элементов Верхняя оценка сложности параллельного мультиплексора в классе схем из функциональных элементов Основные определения и обозначения Рассматриваются схемы из функциональных элементов в некотором полном базисе.

Подробнее

Behind LDA. Часть 1. Кольцов С.Н.

Behind LDA. Часть 1. Кольцов С.Н. Behind LDA Часть 1 Кольцов С.Н. Различия в подходах к теории вероятностей Случайная величина это величина, которая принимает в результате опыта одно из множества значений, причём появление того или иного

Подробнее

Модель алгоритмов классификации. информационный подход

Модель алгоритмов классификации. информационный подход : информационный подход МГУ имени М.В. Ломоносова, Москва, Россия e-mail: sgur@cs.msu.ru XXII Международная конференция «Математика. Экономика. Образование» 27 мая 3 июня 2014 г. / Краснодарский край,

Подробнее

Теория статистического обучения

Теория статистического обучения Теория статистического обучения Н. К. Животовский nikita.zhivotovskiy@phystech.edu 2 марта 2016 г. Материал находится в стадии разработки, может содержать ошибки и неточности. Автор будет благодарен за

Подробнее

Локальные методы прогнозирования с выбором метрики 367

Локальные методы прогнозирования с выбором метрики 367 Локальные методы прогнозирования с выбором метрики 367 Локальные методы прогнозирования с выбором метрики А. А. Варфоломеева annette92@mail.ru Московский физико-технический институт, ФУПМ, каф. «Интеллектуальные

Подробнее

А. С. Конушин 1 Д. П. Ветров 2 Д. А. Кропотов 3 В. С. Конушин 1 О. В. Баринова 1. Спецкурс «Структурные методы анализа изображений и сигналов»

А. С. Конушин 1 Д. П. Ветров 2 Д. А. Кропотов 3 В. С. Конушин 1 О. В. Баринова 1. Спецкурс «Структурные методы анализа изображений и сигналов» А. С. Конушин 1 Д. П. 2 Д. А. Кропотов 3 В. С. Конушин 1 О. В. Баринова 1 1 МГУ, ВМиК, лаб. КГ 2 МГУ, ВМиК, каф. ММП 3 ВЦ РАН Спецкурс «Структурные методы анализа изображений и сигналов» План 1 2 3 Задачи

Подробнее

Линейная регрессия Линейная классификация. Линейные модели. Сергей Николенко. Computer Science Club, Казань, 2014

Линейная регрессия Линейная классификация. Линейные модели. Сергей Николенко. Computer Science Club, Казань, 2014 Computer Science Club, Казань, 2014 Outline 1 2 Классификация по-байесовски Логистическая регрессия В предыдущей серии... Теорема Байеса: p(θ D) = p(θ)p(d θ). p(d) Две основные задачи байесовского вывода:

Подробнее

Байесовская классификация. Непараметрические методы

Байесовская классификация. Непараметрические методы Байесовская классификация. Непараметрические методы К. В. Воронцов 23 февраля 2010 г. Материал находится в стадии разработки, может содержать ошибки и неточности. Автор будет благодарен за любые замечания

Подробнее

КЛАССИФИКАЦИЯ. Содержание. Классификация и прогноз

КЛАССИФИКАЦИЯ. Содержание. Классификация и прогноз КЛАССИФИКАЦИЯ В человеческой сфере невозможна никакая линейная классификация. Э. Менье Содержание 2 Понятия классификации и прогноза Процесс классификации Классификация с помощью деревьев решений Классификация

Подробнее

Д. П. Ветров 1 Д. А. Кропотов 2

Д. П. Ветров 1 Д. А. Кропотов 2 выбора Д. П. Ветров 1 Д. А. 2 1 МГУ, ВМиК, каф. ММП 2 ВЦ РАН Спецкурс «Байесовские методы машинного обучения» План лекции 1 выбора 2 Общий характер проблемы выбора Примеры задач выбора 3 выбора Кросс-валидация

Подробнее

ЗАДАЧА МИНИМИЗАЦИИ ВЫПУКЛОГО ФУНКЦИОНАЛА ДЛЯ ЛИНЕЙНОЙ СИСТЕМЫ ДИФФЕРЕНЦИАЛЬНЫХ УРАВНЕНИЙ С ЗАПАЗДЫВАНИЕМ И ЗАКРЕПЛЕННЫМИ КОНЦАМИ 1)

ЗАДАЧА МИНИМИЗАЦИИ ВЫПУКЛОГО ФУНКЦИОНАЛА ДЛЯ ЛИНЕЙНОЙ СИСТЕМЫ ДИФФЕРЕНЦИАЛЬНЫХ УРАВНЕНИЙ С ЗАПАЗДЫВАНИЕМ И ЗАКРЕПЛЕННЫМИ КОНЦАМИ 1) ЖУРНАЛ ВЫЧИСЛИТЕЛЬНОЙ МАТЕМАТИКИ И МАТЕМАТИЧЕСКОЙ ФИЗИКИ, 3, том 53, 6, с. 867 877 УДК 59.658 ЗАДАЧА МИНИМИЗАЦИИ ВЫПУКЛОГО ФУНКЦИОНАЛА ДЛЯ ЛИНЕЙНОЙ СИСТЕМЫ ДИФФЕРЕНЦИАЛЬНЫХ УРАВНЕНИЙ С ЗАПАЗДЫВАНИЕМ И

Подробнее

ЧИСЛЕННОЕ СРАВНЕНИЕ ОЦЕНОК МАКСИМАЛЬНОГО ПРАВДОПОДОБИЯ С ОДНОШАГОВЫМИ И ВЛИЯНИЕ ТОЧНОСТИ ОЦЕНИВАНИЯ НА РАСПРЕДЕЛЕНИЯ СТАТИСТИК КРИТЕРИЕВ СОГЛАСИЯ [1]

ЧИСЛЕННОЕ СРАВНЕНИЕ ОЦЕНОК МАКСИМАЛЬНОГО ПРАВДОПОДОБИЯ С ОДНОШАГОВЫМИ И ВЛИЯНИЕ ТОЧНОСТИ ОЦЕНИВАНИЯ НА РАСПРЕДЕЛЕНИЯ СТАТИСТИК КРИТЕРИЕВ СОГЛАСИЯ [1] Заводская лаборатория. Диагностика материалов. 2003. Т. 69. С.62-68. УДК 519.2 ЧИСЛЕННОЕ СРАВНЕНИЕ ОЦЕНОК МАКСИМАЛЬНОГО ПРАВДОПОДОБИЯ С ОДНОШАГОВЫМИ И ВЛИЯНИЕ ТОЧНОСТИ ОЦЕНИВАНИЯ НА РАСПРЕДЕЛЕНИЯ СТАТИСТИК

Подробнее

Лекция 2. Вероятностная постановка задач классификации и регрессии.

Лекция 2. Вероятностная постановка задач классификации и регрессии. задач задач Д. П. Ветров 1 Д. А. 2 1 МГУ, ВМиК, каф. ММП 2 ВЦ РАН Спецкурс «методы» План лекции задач 1 Нормальное распределение Решение несовместных СЛАУ 2 Вероятностное описание правила 3 Классическая

Подробнее

Если существует предел y этой последовательности, она и будет решением исходной задачи, так как будет законен предельный переход.

Если существует предел y этой последовательности, она и будет решением исходной задачи, так как будет законен предельный переход. Метод Ритца Выделяют два основных типа методов решения вариационных задач. К первому типу относятся методы, сводящие исходную задачу к решению дифференциальных уравнений. Эти методы очень хорошо развиты

Подробнее

УДК , АНАЛИЗ ВОЗМОЖНОСТЕЙ МЕТОДА ПРОГНОЗИРОВАНИЯ ПО ПРЕЦЕДЕНТАМ

УДК , АНАЛИЗ ВОЗМОЖНОСТЕЙ МЕТОДА ПРОГНОЗИРОВАНИЯ ПО ПРЕЦЕДЕНТАМ УДК 519.81, 00.8 АНАЛИЗ ВОЗМОЖНОСТЕЙ МЕТОДА ПРОГНОЗИРОВАНИЯ ПО ПРЕЦЕДЕНТАМ Свитина А.С., Иващенко А.Б. Донецкий национальный технический университет. Кафедра компьютерных систем мониторинга. E mail: svitina@inbox.ru

Подробнее

АЛГОРИТМ ЛОКАЛИЗАЦИИ ДВИЖУЩИХСЯ ОБЪЕКТОВ В ВИДЕОПОТОКЕ НА ОСНОВЕ МОДЕЛИ СМЕСИ ГАУССОВЫХ РАСПРЕДЕЛЕНИЙ

АЛГОРИТМ ЛОКАЛИЗАЦИИ ДВИЖУЩИХСЯ ОБЪЕКТОВ В ВИДЕОПОТОКЕ НА ОСНОВЕ МОДЕЛИ СМЕСИ ГАУССОВЫХ РАСПРЕДЕЛЕНИЙ АЛГОРИТМ ЛОКАЛИЗАЦИИ ДВИЖУЩИХСЯ ОБЪЕКТОВ В ВИДЕОПОТОКЕ НА ОСНОВЕ МОДЕЛИ СМЕСИ ГАУССОВЫХ РАСПРЕДЕЛЕНИЙ В. А. Сазонов, С. Г. Тихоненко Белорусский государственный университет, Минск, Беларусь Нахождение

Подробнее

Линейные методы классификации

Линейные методы классификации Линейные методы классификации К. В. Воронцов vokov@forecsys.ru Этот курс доступен на странице вики-ресурса http://www.machinelearning.ru/wiki «Машинное обучение (курс лекций, К.В.Воронцов)» март апрель

Подробнее

Обучение и вывод в модели Ограниченной Машины Больцмана

Обучение и вывод в модели Ограниченной Машины Больцмана Обучение и вывод в модели Ограниченной Научная группа Байесовских методов ВМК МГУ им. М.В. Ломоносова 13 мая 2014 г. 1 / 37 Обзор 1 2 3 4 2 / 37 Ограниченная машина Restricted Boltzmann Machine марковское

Подробнее

Комбинаторная теория переобучения и поиск логических закономерностей

Комбинаторная теория переобучения и поиск логических закономерностей Комбинаторная теория переобучения и поиск логических закономерностей Воронцов Константин Вячеславович Вычислительный центр им. А. А. Дородницына РАН 15-я всероссийская научная конференция «Математические

Подробнее

КЛАССИФИКАЦИЯ НА ОСНОВЕ КОМПОНЕНТНЫХ СТРУКТУР ДАННЫХ В ПРИЗНАКОВОМ ПРОСТРАНСТВЕ Ильченко А. В.

КЛАССИФИКАЦИЯ НА ОСНОВЕ КОМПОНЕНТНЫХ СТРУКТУР ДАННЫХ В ПРИЗНАКОВОМ ПРОСТРАНСТВЕ Ильченко А. В. УДК 517 КЛАССИФИКАЦИЯ НА ОСНОВЕ КОМПОНЕНТНЫХ СТРУКТУР ДАННЫХ В ПРИЗНАКОВОМ ПРОСТРАНСТВЕ Ильченко А. В. Таврический национальный университет им. В. И. Вернадского, факультет математики и информатики пр-т

Подробнее

Решающие деревья. Решающие деревья. Виктор Владимирович Китов. МГУ им.ломоносова, ф-т ВМиК, кафедра ММП. I семестр 2015 г. 1/13

Решающие деревья. Решающие деревья. Виктор Владимирович Китов. МГУ им.ломоносова, ф-т ВМиК, кафедра ММП. I семестр 2015 г. 1/13 1/13 Виктор Владимирович Китов МГУ им.ломоносова, ф-т ВМиК, кафедра ММП. I семестр 2015 г. 2/13 Алгоритм ID3 ПАРАМЕТРЫ: Z подмножество обучающих объектов (x 1, y 1),...(x n, y n) F множество рассматриваемых

Подробнее

Тема 4. ЧИСЛЕННОЕ РЕШЕНИЕ НЕЛИНЕЙНЫХ УРАВНЕНИЙ

Тема 4. ЧИСЛЕННОЕ РЕШЕНИЕ НЕЛИНЕЙНЫХ УРАВНЕНИЙ Тема 4. ЧИСЛЕННОЕ РЕШЕНИЕ НЕЛИНЕЙНЫХ УРАВНЕНИЙ -1- Тема 4. ЧИСЛЕННОЕ РЕШЕНИЕ НЕЛИНЕЙНЫХ УРАВНЕНИЙ 4.0. Постановка задачи Задача нахождения корней нелинейного уравнения вида y=f() часто встречается в научных

Подробнее

Задачи о покрытии Дано: Найти: Обозначения: Переменные задачи: Лекция 12. Дискретные задачи размещения. Часть 1

Задачи о покрытии Дано: Найти: Обозначения: Переменные задачи: Лекция 12. Дискретные задачи размещения. Часть 1 Задачи о покрытии Дано: Сеть дорог и конечное множество пунктов для размещения постов ГАИ. Каждый пункт может контролировать дорогу на заданном расстоянии от него. Известно множество опасных участков на

Подробнее

Линейные динамические системы. Фильтр Калмана.

Линейные динамические системы. Фильтр Калмана. Линейные динамические системы. Фильтр Калмана. Ликбез: некоторые свойства нормального распределения Плотность распределения.4.3.. -4 x b.5 x b =.7 5 p(x a x b =.7) - x p(x a,x b) p(x a) 4 3 - - -3 x.5

Подробнее

Статистическое исследование алгоритма случайного поиска

Статистическое исследование алгоритма случайного поиска Статистическое исследование алгоритма случайного поиска В. Т. Кушербаева, Ю. А. Сушков Санкт-Петербургский государственный университет 1 В работе рассматривается статистическое исследование одного алгоритма

Подробнее

МЕТОДЫ И МАТЕМАТИЧЕСКИЕ МОДЕЛИ ОПТИМИЗАЦИИ ПРОЕКТНЫХ РЕШЕНИЙ

МЕТОДЫ И МАТЕМАТИЧЕСКИЕ МОДЕЛИ ОПТИМИЗАЦИИ ПРОЕКТНЫХ РЕШЕНИЙ МИНИСТЕРСТВО ОБРАЗОВАНИЯ И НАУКИ РФ ГОСУДАРСТВЕННОЕ ОБРАЗОВАТЕЛЬНОЕ УЧРЕЖДЕНИЕ ВЫСШЕГО ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ «САМАРСКИЙ ГОСУДАРСТВЕННЫЙ АЭРОКОСМИЧЕСКИЙ УНИВЕРСИТЕТ имени академика СП КОРОЛЕВА»

Подробнее

Машинное обучение. Косатый Дмитрий. 21 ноября 2015 г. Математико-механический факультет СПбГУ

Машинное обучение. Косатый Дмитрий. 21 ноября 2015 г. Математико-механический факультет СПбГУ Машинное обучение Косатый Дмитрий Математико-механический факультет СПбГУ 21 ноября 2015 г. Косатый Дмитрий Машинное обучение 1 / 31 Содержание Введение 1 Введение Пример Диаграмма машинного обучения 2

Подробнее

План лекции. с/к Эффективные алгоритмы Лекция 18: Задача полуопределённого программирования. План лекции. Положительно полуопределенные матрицы

План лекции. с/к Эффективные алгоритмы Лекция 18: Задача полуопределённого программирования. План лекции. Положительно полуопределенные матрицы План лекции с/к Эффективные алгоритмы Лекция 18: Задача полуопределённого А. Куликов 1 Задача полуопределённого Задача о максимальном разрезе Computer Science клуб при ПОМИ http://logic.pdmi.ras.ru/ infclub/

Подробнее

Линейная регрессия. Линейные модели. Сергей Николенко. Казанский Федеральный Университет, 2014

Линейная регрессия. Линейные модели. Сергей Николенко. Казанский Федеральный Университет, 2014 Казанский Федеральный Университет, 2014 Outline 1 В предыдущей серии... Теорема Байеса: p(θ D) = p(θ)p(d θ). p(d) Две основные задачи байесовского вывода: 1 найти апостериорное распределение на гипотезах/параметрах:

Подробнее

4. ЧИСЛЕННЫЕ МЕТОДЫ ПОИСКА БЕЗУСЛОВНОГО ЭКСТРЕМУМА

4. ЧИСЛЕННЫЕ МЕТОДЫ ПОИСКА БЕЗУСЛОВНОГО ЭКСТРЕМУМА Лекция 3 4. ЧИСЛЕННЫЕ МЕТОДЫ ПОИСКА БЕЗУСЛОВНОГО ЭКСТРЕМУМА Принципы построения численных методов. Применение необходимых и достаточных условий безусловного экстремума эффективно для решения ограниченного

Подробнее

Основные понятия теории разностных схем. Примеры построения разностных схем для начально-краевых задач.

Основные понятия теории разностных схем. Примеры построения разностных схем для начально-краевых задач. Основные понятия теории разностных схем. Примеры построения разностных схем для начально-краевых задач. Большое количество задач физики и техники приводит к краевым либо начальнокраевым задачам для линейных

Подробнее

Лабораторная работа 2. Методы минимизации функций одной переменной, использующие информацию о производных целевой функции

Лабораторная работа 2. Методы минимизации функций одной переменной, использующие информацию о производных целевой функции Лабораторная работа Методы минимизации функций одной переменной, использующие информацию о производных целевой функции Постановка задачи: Требуется найти безусловный минимум функции одной переменной (

Подробнее

Семинары по линейным классификаторам

Семинары по линейным классификаторам Семинары по линейным классификаторам Евгений Соколов 27 октября 2013 г. Пусть X R d пространство объектов, Y = { 1,+1} множество допустимых ответов, X l = (x i,y i ) l i=1 обучающая выборка. Каждый объект

Подробнее

Равновесие Нэша - определения

Равновесие Нэша - определения Равновесие Нэша Самый популярный принцип рационального поведения в теории некооперативных игр рекомендует в качестве рациональных исходов использовать ситуации равновесия Нэша. Они характеризуются тем,

Подробнее

Открытые и закрытые интервалы 29 Минимумы и максимумы 29. Преимущества нейронных сетей Человеческий мозг Модели нейронов 42

Открытые и закрытые интервалы 29 Минимумы и максимумы 29. Преимущества нейронных сетей Человеческий мозг Модели нейронов 42 Содержание Предисловие 22 Благодарности 25 Важные символы 27 Открытые и закрытые интервалы 29 Минимумы и максимумы 29 1. Введение 31 1.1. Что такое нейронные сети 31 Преимущества нейронных сетей 33 1.2.

Подробнее

Семинары по метрическим методам классификации

Семинары по метрическим методам классификации Семинары по метрическим методам классификации Евгений Соколов 1 октября 2013 г. 1 Метод k ближайших соседей 1.1 Описание алгоритма Пусть дана обучающая выборка X = (x i,y i ) l X и функция расстояния ρ

Подробнее

2.4. МЕТОД НАИМЕНЬШИХ КВАДРАТОВ К ОЦЕНКЕ КОЭФФИЦИЕНТОВ ТРЕНДОВЫХ МОДЕЛЕЙ

2.4. МЕТОД НАИМЕНЬШИХ КВАДРАТОВ К ОЦЕНКЕ КОЭФФИЦИЕНТОВ ТРЕНДОВЫХ МОДЕЛЕЙ .4. МЕТОД НАИМЕНЬШИХ КВАДРАТОВ К ОЦЕНКЕ КОЭФФИЦИЕНТОВ ТРЕНДОВЫХ МОДЕЛЕЙ Достаточно простые способы оценки коэффициентов линейного тренда, приведённые в предыдущее параграфе, обладают среди прочих одним

Подробнее

Эффективные методы классификации для больших баз мультимедийных данных

Эффективные методы классификации для больших баз мультимедийных данных Национальный исследовательский университет Высшая школа экономики Нижний Новгород Эффективные методы классификации для больших баз мультимедийных данных Савченко Андрей Владимирович Доктор технических

Подробнее

Методы оптимизации, ФКН ВШЭ, зима 2017 Практическое задание 3: Негладкая и условная оптимизация.

Методы оптимизации, ФКН ВШЭ, зима 2017 Практическое задание 3: Негладкая и условная оптимизация. Методы оптимизации, ФКН ВШЭ, зима 2017 Практическое задание 3: Негладкая и условная оптимизация. Срок сдачи: 7 апреля 2017 (23:59). Язык программирования: Python 3. 1 Алгоритмы 1.1 Субградиентный метод

Подробнее

Компьютерная алгебра. (курс лекций) Игорь Алексеевич Малышев

Компьютерная алгебра. (курс лекций) Игорь Алексеевич Малышев Компьютерная алгебра (курс лекций) Игорь Алексеевич Малышев Computer.Algebra@yandex.ru (С) Кафедра «Компьютерные системы и программные технологии», Санкт-Петербургский государственный политехнический университет

Подробнее

Система распознавания семиографических песнопений

Система распознавания семиографических песнопений Выломова ЕА, студентка группы ИУ5-8 Система распознавания семиографических песнопений Одной из важных и в высшей степени интересных задач в изучении музыкальной культуры древней Руси является раскрытие

Подробнее

Машинное обучение. Антон Конушин

Машинное обучение. Антон Конушин Машинное обучение Антон Конушин http://courses.graphicon.ru/main/vision Slides adapted from Fei-Fei Li, Rob Fergus, Antonio Torralba, Jean Ponce and Svetlana Lazebnik Спонсорская поддержка Этот курс подготовлен

Подробнее

x i Определение. Задача нахождения значения интерполяционной функции F x в точке не совпадающей ни с одной абсциссой интерполяционных узлов x,

x i Определение. Задача нахождения значения интерполяционной функции F x в точке не совпадающей ни с одной абсциссой интерполяционных узлов x, ИНТЕРПОЛИРОВАНИЕ ФУНКЦИЙ ПОСТАНОВКА ЗАДАЧИ Дано: точки наблюдения y (их количество + ) a b ; ; y y y y y Найти функцию : F F : y Определение Точки y называются узлами интерполяции Графическая интерпретация

Подробнее

Экономико-математическое моделирование

Экономико-математическое моделирование 0 (75) 0 Экономико-математическое моделирование УДК 59.853.3 РЕШЕНИЕ РЯДА ЭКОНОМИЧЕСКИХ ЗАДАЧ АЛГОРИТМАМИ МЕТОДА ШТРАФНЫХ ФУНКЦИЙ С НЕПОЛНОЙ МИНИМИЗАЦИЕЙ ВСПОМОГАТЕЛЬНЫХ ФУНКЦИЙ А. Г. ИСАВНИН, доктор физико-математических

Подробнее

Машинное обучение в компьютерном зрении

Машинное обучение в компьютерном зрении Машинное обучение в компьютерном зрении Содержание Постановка задачи МО Подходы к решению задачи МО в компьютерном зрении 19741980 зима для Искусственного интеллекта Наивный оптимизм: 1954 через 3 5 лет

Подробнее

Статистическая теория принятия решений

Статистическая теория принятия решений Казанский Федеральный Университет, 2014 Outline 1 2 Метод ближайших соседей Линейная модель очень сильные предположения, много точек не нужно. Совсем другой подход давайте вообще никаких предположений

Подробнее

Лекция 5. Доверительные интервалы

Лекция 5. Доверительные интервалы Лекция 5. Доверительные интервалы Грауэр Л.В., Архипова О.А. CS Center Санкт-Петербург, 2014 Грауэр Л.В., Архипова О.А. (CSC) Лекция 5. Доверительные интервалы Санкт-Петербург, 2014 1 / 31 Cодержание Содержание

Подробнее

Лекция 2. Статистики первого типа. Точеченые оценки и их свойства

Лекция 2. Статистики первого типа. Точеченые оценки и их свойства Лекция 2. Статистики первого типа. Точеченые оценки и их свойства Буре В.М., Грауэр Л.В. ШАД Санкт-Петербург, 2013 Буре В.М., Грауэр Л.В. (ШАД) Лекция 2. Статистики первого типа. Точеченые Санкт-Петербург,

Подробнее

Институт радиоэлектроники и информационных технологий. Методические рекомендации по выполнению лабораторных работ по дисциплине «Теория вероятностей»

Институт радиоэлектроники и информационных технологий. Методические рекомендации по выполнению лабораторных работ по дисциплине «Теория вероятностей» Министерство образования и науки Российской Федерации Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования Нижегородский государственный технический университет

Подробнее

Сглаживающие алгоритмы прогнозирования

Сглаживающие алгоритмы прогнозирования 104 М. П. Кузнецов, А. А. Мафусалов, Н. К. Животовский, Е. Ю. Зайцев, Д. С. Сунгуров Сглаживающие алгоритмы прогнозирования М. П. Кузнецов, А. А. Мафусалов, Н. К. Животовский, Е. Ю. Зайцев, Д.С. Сунгуров

Подробнее

Примеры работы с пакетом "LiblineaR"в системе R

Примеры работы с пакетом LiblineaRв системе R Примеры работы с пакетом "LiblineaR"в системе R Малышева Екатерина 18 апреля 2012 г. Краткое описание пакета "LiblineaR" LiblineaR (интерфейс liblinear C/C++) библиотека для машинного обучения линейного

Подробнее

Эконометрическое моделирование

Эконометрическое моделирование Эконометрическое моделирование Лабораторная работа 3 Парная регрессия Оглавление Парная регрессия... 3 Метод наименьших квадратов (МНК)... 3 Интерпретация уравнения регрессии... 4 Оценка качества построенной

Подробнее

Применение численных методов для оценки надежности конструкций

Применение численных методов для оценки надежности конструкций С.А. Пименов Применение численных методов для оценки надежности конструкций Приведенный в [] аналитический метод оценки вероятности безотказной работы или надежности предполагает знание законов распределения

Подробнее

Электронный журнал «Труды МАИ». Выпуск 72 www.mai.ru/science/trudy/ УДК 519.2 О коррекции положения стохастической системы по квантильному критерию Кибзун А.И.*, Хромова О.М.** Московский авиационный институт

Подробнее

ИГРЫ С НЕПОЛНОЙ ИНФОРМИРОВАННОСТЬЮ

ИГРЫ С НЕПОЛНОЙ ИНФОРМИРОВАННОСТЬЮ ИГРЫ С НЕПОЛНОЙ ИНФОРМИРОВАННОСТЬЮ -й игрок y y -й игрок y y y y -й игрок r y y y r y y r y y y -й игрок y y r y y r y y y r y y y Принцип максимального гарантированного результата Принцип максимального

Подробнее

Лекция 24. Регрессионный анализ. Функциональная, статистическая и корреляционная зависимости

Лекция 24. Регрессионный анализ. Функциональная, статистическая и корреляционная зависимости МВДубатовская Теория вероятностей и математическая статистика Лекция 4 Регрессионный анализ Функциональная статистическая и корреляционная зависимости Во многих прикладных (в том числе экономических) задачах

Подробнее

Лекция 9. Приближенные способы вывода. Вариационный подход.

Лекция 9. Приближенные способы вывода. Вариационный подход. способы вывода. Д. П. Ветров 1 Д. А. 2 1 МГУ, ВМиК, каф. ММП 2 ВЦ РАН Спецкурс «Байесовские ы машинного обучения», 2009 План лекции 1 2 Вариационная линейная регрессия 3 Пример использования Дивергенция

Подробнее

Лекция 4 ПРОСТРАНСТВА ОСНОВНЫХ И ОБОБЩЕННЫХ ФУНКЦИЙ. 1. Пространство функций D(K)

Лекция 4 ПРОСТРАНСТВА ОСНОВНЫХ И ОБОБЩЕННЫХ ФУНКЦИЙ. 1. Пространство функций D(K) Лекция 4 ПРОСТРАНСТВА ОСНОВНЫХ И ОБОБЩЕННЫХ ФУНКЦИЙ 1. Пространство функций D(K) Символом α будем обозначать длину мультииндекса α: α α 1 + α 2 + + α N, α Z N + Z + Z }{{ +. } N Символом α k k обозначаем

Подробнее

О некорректных задачах линейной алгебры и устойчивом методе их решения

О некорректных задачах линейной алгебры и устойчивом методе их решения Доклады Академии наук СССР965 Том 63 3 А Н Тихонов О некорректных задачах линейной алгебры и устойчивом методе их решения Рассмотрим систему линейных алгебраических уравнений i m; j a ij Подобная система

Подробнее

Лекция 8. Скрытые марковские модели. Часть 2.

Лекция 8. Скрытые марковские модели. Часть 2. для модели. Часть 2. А. С. Конушин 1 Д. П. Ветров 2 3 В. С. Конушин 1 О. В. Баринова 1 1 МГУ, ВМиК, лаб. КГ 2 МГУ, ВМиК, каф. ММП 3 ВЦ РАН Спецкурс «Структурные методы анализа изображений и сигналов» Скрытая

Подробнее

ВАРИАЦИОННОЕ ИСЧИСЛЕНИЕ

ВАРИАЦИОННОЕ ИСЧИСЛЕНИЕ Глава ВАРИАЦИОННОЕ ИСЧИСЛЕНИЕ Лекция 9 Введение В этой главе мы будем рассматривать задачи отыскания экстремумов (максимумов или минимумов) функционалов Сразу отметим, что такие задачи относятся к числу

Подробнее

Дорогие студенты, данная презентация служит лишь наглядной иллюстрацией к одной из лекций по теории вероятностей для II курса факультета биоинженерии

Дорогие студенты, данная презентация служит лишь наглядной иллюстрацией к одной из лекций по теории вероятностей для II курса факультета биоинженерии Дорогие студенты, данная презентация служит лишь наглядной иллюстрацией к одной из лекций по теории вероятностей для II курса факультета биоинженерии и биоинформатики. ЗАКОНЫ РАСПРЕДЕЛЕНИЯ ВЕРОЯТНОСТЕЙ

Подробнее

СИСТЕМЫ ЛИНЕЙНЫХ УРАВНЕНИЙ

СИСТЕМЫ ЛИНЕЙНЫХ УРАВНЕНИЙ СИСТЕМЫ ЛИНЕЙНЫХ УРАВНЕНИЙ После изучения данной темы вы сможете: проводить численное решение задач линейной алгебры. К решению систем линейных уравнений сводятся многочисленные практические задачи, решение

Подробнее

Лекция 13. Основы теории оптимального управления 13.1 Общие положения

Лекция 13. Основы теории оптимального управления 13.1 Общие положения Лекция 3. Основы теории оптимального управления 3. Общие положения В общем случае система автоматического управления состоит из объекта управления (управляемой системы) ОУ регулятора Р и программатора

Подробнее

Фонд оценочных средств для проведения промежуточной аттестации обучающихся по дисциплине (модулю):

Фонд оценочных средств для проведения промежуточной аттестации обучающихся по дисциплине (модулю): Б..ДВ.. Статистический анализ данных Фонд оценочных средств для проведения промежуточной аттестации обучающихся по дисциплине (модулю): Общие сведения. Кафедра Математики и математических методов в экономике.

Подробнее

Введение в обработку текстов

Введение в обработку текстов Введение в обработку текстов Лекция 4 Марковские модели Андрей Андреевич Марков Старший 14.06.1856-20.07.1922 Статистика, Модели Маркова Младший 22.09.1903-11.10.1979 Нормальные алгоритмы Предположения

Подробнее

СЛУЧАЙНЫЙ СПРОС В ЗАДАЧАХ ФОРМИРОВАНИЯ СТРАТЕГИИ РАЗВИТИЯ ПРЕДПРИЯТИЯ С АЛГОРИТМИЧЕСКИМИ И АНАЛИТИЧИСКИМИ ЦЕЛЕВЫМИ ФУНКЦИЯМИ И ОГРАНИЧЕНИЯМИ

СЛУЧАЙНЫЙ СПРОС В ЗАДАЧАХ ФОРМИРОВАНИЯ СТРАТЕГИИ РАЗВИТИЯ ПРЕДПРИЯТИЯ С АЛГОРИТМИЧЕСКИМИ И АНАЛИТИЧИСКИМИ ЦЕЛЕВЫМИ ФУНКЦИЯМИ И ОГРАНИЧЕНИЯМИ УДК 59.6 Н.В. ШАТОХИНА СЛУЧАЙНЫЙ СПРОС В ЗАДАЧАХ ФОРМИРОВАНИЯ СТРАТЕГИИ РАЗВИТИЯ ПРЕДПРИЯТИЯ С АЛГОРИТМИЧЕСКИМИ И АНАЛИТИЧИСКИМИ ЦЕЛЕВЫМИ ФУНКЦИЯМИ И ОГРАНИЧЕНИЯМИ У даній статті запропоновано модель багатокритеріальної

Подробнее

Николаев, пр. Героев Сталинграда 9, 54025

Николаев, пр. Героев Сталинграда 9, 54025 SWorld 1-12 October 2013 http://www.sworld.com.ua/index.php/ru/conference/the-content-of-conferences/archives-of-individual-conferences/oct-2013 SCIENTIFIC RESEARCH AND THEIR PRACTICAL APPLICATION. MODERN

Подробнее

1 Элеметарная теория погрешностей. 2

1 Элеметарная теория погрешностей. 2 Содержание Элеметарная теория погрешностей. Решение СЛАУ. 4. Нормы в конечномерных пространствах... 4. Обусловленность СЛАУ............ 5.3 Итерационные методы решения линейных систем......................

Подробнее

Приложение 8 КРАЕВЫЕ КОНТАКТНЫЕ ЗАДАЧИ О НАПРЯЖЕННО- ДЕФОРМИРОВАННОМ СОСТОЯНИИ ТВЕРДЫХ ТЕЛ (теория)

Приложение 8 КРАЕВЫЕ КОНТАКТНЫЕ ЗАДАЧИ О НАПРЯЖЕННО- ДЕФОРМИРОВАННОМ СОСТОЯНИИ ТВЕРДЫХ ТЕЛ (теория) Приложение 8. Краевые контактные задачи о НДС твердых тел (теория Приложение 8 КРАЕВЫЕ КОНТАКТНЫЕ ЗАДАЧИ О НАПРЯЖЕННО- ДЕФОРМИРОВАННОМ СОСТОЯНИИ ТВЕРДЫХ ТЕЛ (теория П8.1 Особенности постановки краевых

Подробнее

Численные методы Тема 2. Интерполяция

Численные методы Тема 2. Интерполяция Численные методы Тема 2 Интерполяция В И Великодный 2011 2012 уч год 1 Понятие интерполяции Интерполяция это способ приближенного или точного нахождения какой-либо величины по известным отдельным значениям

Подробнее

Методы структурного обучения для построения прогностических моделей

Методы структурного обучения для построения прогностических моделей Методы структурного обучения для построения прогностических моделей Варфоломеева А. А. Московский физико-технический институт Факультет управления и прикладной математики Кафедра «Интеллектуальные системы»

Подробнее