Кластеризация и алгоритм EM

Save this PDF as:
 WORD  PNG  TXT  JPG

Размер: px
Начинать показ со страницы:

Download "Кластеризация и алгоритм EM"

Транскрипт

1 Академический Университет, 2012

2 Outline Иерархическая кластеризация методами теории графов 1 Иерархическая кластеризация методами теории графов 2

3 Суть лекции Иерархическая кластеризация методами теории графов типичная задача статистического анализа: задача классификации объектов одной природы в несколько групп так, чтобы объекты в одной группе обладали одним и тем же свойством. Под свойством обычно понимается близость друг к другу относительно выбранной метрики.

4 Чуть более формально Иерархическая кластеризация методами теории графов Есть набор тестовых примеров X = {x 1,..., x n } и функция расстояния между примерами ρ. Требуется разбить X на непересекающиеся подмножества (кластеры) так, чтобы каждое подмножество состояло из похожих объектов, а объекты разных подмножеств существенно различались.

5 Идея Иерархическая кластеризация методами теории графов Есть точки x 1, x 2,..., x n в пространстве. Нужно кластеризовать. Считаем каждую точку кластером. Затем ближайшие точки объединяем, далее считаем единым кластером. Затем повторяем. Получается дерево.

6 Алгоритм Иерархическая кластеризация методами теории графов HierarchyCluster(X = {x 1,..., x n }) Инициализируем C = X, G = X. Пока в C больше одного элемента: Выбираем два элемента C c 1 и c 2, расстояние между которыми минимально. Добавляем в G вершину c 1 c 2, соединяем её с вершинами c 1 и c 2. C := C {c 1 c 2 } \ {c 1, c 2 }. Выдаём G.

7 Результат Иерархическая кластеризация методами теории графов В итоге получается дерево кластеров, из которого потом можно выбрать кластеризацию с требуемой степенью детализации (обрезать на том или ином максимальном расстоянии). Всё ли понятно?

8 Результат Иерархическая кластеризация методами теории графов В итоге получается дерево кластеров, из которого потом можно выбрать кластеризацию с требуемой степенью детализации (обрезать на том или ином максимальном расстоянии). Всё ли понятно? Остаётся вопрос: как подсчитывать расстояние между кластерами?

9 Single-link vs. complete-link Иерархическая кластеризация методами теории графов Single-link алгоритмы считают минимум из возможных расстояний между парами объектов, находящихся в кластере. Complete-link алгоритмы считают максимум из этих расстояний Какие особенности будут у single-link и complete-link алгоритмов? Чем они будут отличаться?

10 Упражнение Иерархическая кластеризация методами теории графов Упражнение. Реализовать single-link и complete-link алгоритмы агломеративной кластеризации для точек из евклидова пространства размерности n.

11 Очевидный алгоритм Иерархическая кластеризация методами теории графов Нарисуем полный граф с весами, равными расстоянию между объектами. Выберем лимит расстояния r и выбросим все рёбра длиннее r. Компоненты связности полученного графа это наши кластеры.

12 Минимальное остовное дерево Иерархическая кластеризация методами теории графов Минимальное остовное дерево дерево, содержащее все вершины (связного) графа и имеющее минимальный суммарный вес своих рёбер. Алгоритм Краскала (Kruskal): выбираем на каждом шаге ребро с минимальным весом, если оно соединяет два дерева, добавляем, если нет, пропускаем. Алгоритм Борувки (Boruvka).

13 Иерархическая кластеризация методами теории графов Как использовать минимальное остовное дерево для кластеризации?

14 Иерархическая кластеризация методами теории графов Как использовать минимальное остовное дерево для кластеризации? Построить минимальное остовное дерево, а потом выкидывать из него рёбра максимального веса. Сколько рёбер выбросим, столько кластеров получим.

15 Outline 1 Иерархическая кластеризация методами теории графов 2

16 Постановка задачи Часто возникает ситуация, когда в имеющихся данных некоторые переменные присутствуют, а некоторые отсутствуют. Даны результаты сэмплирования распределения вероятностей с несколькими параметрами, из которых известны не все.

17 Постановка задачи Эти неизвестные параметры тоже расцениваются как случайные величины. Задача найти наиболее вероятную гипотезу, то есть ту гипотезу h, которая максимизирует E[ln p(d h)].

18 Частный случай Построим один из простейших примеров применения алгоритма EM. Пусть случайная переменная x сэмплируется из суммы двух нормальных распределений. Дисперсии даны (одинаковые), нужно найти только средние µ 1, µ 2.

19 Два распределения Теперь нельзя понять, какие x i были порождены каким распределением классический пример скрытых переменных. Один тестовый пример полностью описывается как тройка x i, z i1, z i2, где z ij = 1 iff x i был сгенерирован j-м распределением.

20 Суть алгоритма EM Сгенерировать какую-нибудь гипотезу h = (µ 1, µ 2 ). Пока не дойдем до локального максимума: Вычислить ожидание E(z ij ) в предположении текущей гипотезы (E шаг). Вычислить новую гипотезу h = (µ 1, µ 2 ), предполагая, что z ij принимают значения E(z ij ) (M шаг).

21 В примере с гауссианами В примере с гауссианами: E(z ij ) = p(x = x i µ = µ j ) p(x = x i µ = µ 1 ) + p(x = x i µ = µ 2 ) = = e 1 2σ 2 (x i µ j ) 2 e 1 2σ 2 (x i µ 1 ) 2 + e 1 2σ 2 (x i µ 2 ) 2. Мы подсчитываем эти ожидания, а потом подправляем гипотезу: µ j 1 m E(z ij )x i. m i=1

22 Обоснование алгоритма EM Дадим формальное обоснование алгоритма EM. Мы решаем задачу максимизации правдоподобия по данным X = {x 1,..., x N }. L(θ X ) = p(x θ) = p(x i θ) или, что то же самое, максимизации l(θ X ) = log L(θ X ). EM может помочь, если этот максимум трудно найти аналитически.

23 Обоснование алгоритма EM Давайте предположим, что в данных есть скрытые компоненты, такие, что если бы мы их знали, задача была бы проще. Замечание: совершенно не обязательно эти компоненты должны иметь какой-то физический смысл. :) Может быть, так просто удобнее. В любом случае, получается набор данных Z = (X, Y) с совместной плотностью p(z θ) = p(x, y θ) = p(y x, θ)p(x θ). Получается полное правдоподобие L(θ Z) = p(x, Y θ). Это случайная величина (т.к. Y неизвестно).

24 Обоснование алгоритма EM Заметим, что настоящее правдоподобие L(θ) = E Y [p(x, Y θ) X, θ]. E-шаг алгоритма EM вычисляет условное ожидание (логарифма) полного правдоподобия при условии X и текущих оценок параметров θ n : Q(θ, θ n ) = E [log p(x, Y θ) X, θ n ]. Здесь θ n текущие оценки, а θ неизвестные значения (которые мы хотим получить в конечном счёте); т.е. Q(θ, θ n ) это функция от θ.

25 Обоснование алгоритма EM E-шаг алгоритма EM вычисляет условное ожидание (логарифма) полного правдоподобия при условии X и текущих оценок параметров θ: Q(θ, θ n ) = E [log p(x, Y θ) X, θ n ]. Условное ожидание это E [log p(x, Y θ) X, θ n ] = y log p(x, y θ)p(y X, θ n )dy, где p(y X, θ n ) маргинальное распределение скрытых компонентов данных. EM лучше всего применять, когда это выражение легко подсчитать, может быть, даже аналитически. Вместо p(y X, θ n ) можно подставить p(y, X θ n ) = p(y X, θ n )p(x θ n ), от этого ничего не изменится.

26 Обоснование алгоритма EM В итоге после E-шага алгоритма EM мы получаем функцию Q(θ, θ n ). На M-шаге мы максимизируем θ n+1 = arg max θ Q(θ, θ n ). Затем повторяем процедуру до сходимости. В принципе, достаточно просто находить θ n+1, для которого Q(θ n+1, θ n ) > Q(θ n, θ n ) Generalized EM. Осталось понять, что значит Q(θ, θ n ) и почему всё это работает.

27 Обоснование алгоритма EM Мы хотели перейти от θ n к θ, для которого l(θ) > l(θ n ). l(θ) l(θ n ) = ( ) = log p(x y, θ)p(y θ)dy log p(x θ n ) = ( = log y y p(x y, θ)p(y θ) p(y X, θ n ) y p(y X, θ n ) ( p(x y, θ)p(y θ) p(y X, θ n ) log p(y X, θ n ) = p(y X, θ n ) log y ) dy log p(x θ n ) ) dy log p(x θ n ) = ( p(x y, θ)p(y θ) p(x θ n )p(y X, θ n ) ) dy.

28 Обоснование алгоритма EM Получили l(θ) l(θ, θ n ) = ( ) p(x y, θ)p(y θ) = l(θ n ) + p(y X, θ n ) log dy. p(x θ n )p(y X, θ n ) y Упражнение. Докажите, что l(θ n, θ n) = l(θ n).

29 Обоснование алгоритма EM Иначе говоря, мы нашли нижнюю оценку на l(θ) везде, касание происходит в точке θ n. Т.е. мы нашли нижнюю оценку для правдоподобия и смещаемся в точку, где она максимальна (или хотя бы больше текущей). Такая общая схема называется MM-алгоритм (minorization-maximization). Мы к ним, возможно, ещё вернёмся.

30 Обоснование алгоритма EM

31 Обоснование алгоритма EM Осталось только понять, что максимизировать можно Q. θ n+1 = arg max θ l(θ, θ n ) = arg max θ {l(θ n )+ ( ) } p(x y, θ)f (y θ) + f (y X, θ n ) log dy = y p(x θ n )f (y X, θ n ) { } = arg max θ p(y X, θ n ) log (p(x y, θ)p(y θ)) dy y = arg max θ { y } p(y X, θ n ) log p(x, y θ)dy = = arg max θ {Q(θ, θ n )}, а остальное от θ не зависит. Вот и получился EM. =

32 Мысли? Какие есть мысли о применении алгоритма EM к задачам кластеризации?

33 Гипотезы Чтобы воспользоваться статистическим алгоритмом, нужно сформулировать гипотезы о распределении данных. Гипотеза о природе данных: тестовые примеры появляются случайно и независимо, согласно вероятностному распределению, равному смеси распределений кластеров p(x) = w c p c (x), w c = 1, c C c C где w c вероятность появления объектов из кластера c, p c плотность распределения кластера c.

34 Гипотезы cont d Остается вопрос: какими предположить распределения p c?

35 Гипотезы cont d Остается вопрос: какими предположить распределения p c? Часто берут сферические гауссианы, но это не слишком гибкий вариант: кластер может быть вытянут в ту или иную сторону.

36 Гипотезы cont d Остается вопрос: какими предположить распределения p c? Часто берут сферические гауссианы, но это не слишком гибкий вариант: кластер может быть вытянут в ту или иную сторону. Мы будем брать эллиптические гауссианы. Гипотеза 2: Каждый кластер c описывается d мерной гауссовской плотностью с центром µ c = {µ c1,..., µ cd } и диагональной матрицей ковариаций Σ c = diag(σ 2 c1,..., σ2 c2 ) (т.е. по каждой координате своя дисперсия).

37 Постановка задачи и общий вид алгоритма В этих предположениях получается в точности задача разделения смеси вероятностных распределений. Для этого и нужен EM алгоритм. Каждый тестовый пример описывается своими координатами (f 1 (x),..., f n (x)). Скрытые переменные в данном случае вероятности g ic того, что объект x i принадлежит кластеру c C.

38 Идея алгоритма E шаг: по формуле Байеса вычисляются скрытые переменные g ic :

39 Идея алгоритма E шаг: по формуле Байеса вычисляются скрытые переменные g ic : g ic = w c p c (x i ) c C w c p c (x i).

40 Идея алгоритма E шаг: по формуле Байеса вычисляются скрытые переменные g ic : g ic = w c p c (x i ) c C w c p c (x i). M шаг: с использованием g ic уточняются параметры кластеров w, µ, σ:

41 Идея алгоритма E шаг: по формуле Байеса вычисляются скрытые переменные g ic : g ic = w c p c (x i ) c C w c p c (x i). M шаг: с использованием g ic уточняются параметры кластеров w, µ, σ: w c = 1 n n g ic, i=1

42 Идея алгоритма E шаг: по формуле Байеса вычисляются скрытые переменные g ic : g ic = w c p c (x i ) c C w c p c (x i). M шаг: с использованием g ic уточняются параметры кластеров w, µ, σ: w c = 1 n n i=1 g ic, µ cj = 1 nw c n g ic f j (x i ), i=1

43 Идея алгоритма E шаг: по формуле Байеса вычисляются скрытые переменные g ic : g ic = w c p c (x i ) c C w c p c (x i). M шаг: с использованием g ic уточняются параметры кластеров w, µ, σ: w c = 1 n n i=1 g ic, µ cj = 1 nw c n g ic f j (x i ), i=1 σ 2 cj = 1 nw c n g ic (f j (x i ) µ cj ) 2. i=1

44 Алгоритм EMCluster(X, C ): Инициализировать C кластеров; начальное приближение: w c := 1/ C, µ c := случайный x i, σ 2 cj := 1 n n C i=1 (f j(x i ) µ cj ) 2. Пока принадлежность кластерам не перестанет изменяться: E шаг: g ic := w c p c (x i ) c C w c p c (x i ). M шаг: w c = 1 n n i=1 g ic, µ cj = 1 nw c n i=1 g icf j (x i ), σ 2 cj = 1 nw c n g ic (f j (x i ) µ cj ) 2. i=1 Определить принадлежность x i к кластерам: clust i := arg max c C g ic.

45 Упражнение Упражнение. Докажите, что E-шаг и M-шаг действительно в данном случае так выглядят.

46 Проблема Остается проблема: нужно задавать количество кластеров.

47 Суть алгоритма k средних Один из самых известных алгоритмов кластеризации алгоритм k-средних это фактически упрощение алгоритма EM. Разница в том, что мы не считаем вероятности принадлежности кластерам, а жестко приписываем каждый объект одному кластеру. Кроме того, в алгоритме k средних форма кластеров не настраивается (но это не так важно).

48 Цель Цель алгоритма k средних минимизировать меру ошибки n E(X, C) = x i µ i 2, i=1 где µ i ближайший к x i центр кластера. Т.е. мы не относим точки к кластерам, а двигаем центры, а принадлежность точек определяется автоматически.

49 Алгоритм неформально Идея та же, что в EM: Проинициализировать. Классифицировать точки по ближайшему к ним центру кластера. Перевычислить каждый из центров. Если ничего не изменилось, остановиться, если изменилось повторить.

50 Алгоритм kmeans(x, C ): Инициализировать центры C кластеров µ 1,..., µ C. Пока принадлежность кластерам не перестанет изменяться: Определить принадлежность x i к кластерам: clust i := arg min c C ρ(x i, µ c ). Определить новое положение центров кластеров: clust µ c := i =c f j(x i ) clust i =c 1.

51 Semi supervised clustering И EM, и k means хорошо обобщаются на случай частично обученных кластеров. То есть про часть точек уже известно, какому кластеру они принадлежат. Как это учесть?

52 Semi supervised clustering Чтобы учесть информацию о точке x i, достаточно для EM положить скрытую переменную g ic равной тому кластеру, которому нужно, с вероятностью 1, а остальным с вероятностью 0, и не пересчитывать. Для k means то же самое, но для clust i.

53 Thank you! Спасибо за внимание!

Алгоритм EM и его применения

Алгоритм EM и его применения Computer Science Club, Екатеринбург, 2011 Outline Алгоритм EM Смесь двух гауссианов Общий случай и обоснование 1 Алгоритм EM Смесь двух гауссианов Общий случай и обоснование 2 Введение Алгоритм EM Смесь

Подробнее

Линейная регрессия: метод наименьших квадратов

Линейная регрессия: метод наименьших квадратов Линейная регрессия: метод наименьших квадратов Академический Университет, 2012 Outline Наименьшие квадраты и ближайшие соседи Метод наименьших квадратов Метод ближайших соседей 1 Наименьшие квадраты и

Подробнее

Методы кластеризации

Методы кластеризации Методы кластеризации К. В. Воронцов vokov@forecsys.ru Этот курс доступен на странице вики-ресурса http://www.machinelearning.ru/wiki «Машинное обучение (курс лекций, К.В.Воронцов)» май 2013 К. В. Воронцов

Подробнее

Классификаторы II: логит и naive Bayes

Классификаторы II: логит и naive Bayes Академический Университет, 2012 Outline И снова о разделяющих поверхностях 1 И снова о разделяющих поверхностях 2 Наивный байесовский классификатор Multinomial vs. multivariate В прошлый раз В прошлый

Подробнее

Д. П. Ветров 1. Курс «Графические модели», 2012г. Лекция 3. Скрытые марковские модели. Ветров. Ликбез. Основы применения СММ.

Д. П. Ветров 1. Курс «Графические модели», 2012г. Лекция 3. Скрытые марковские модели. Ветров. Ликбез. Основы применения СММ. Д. П. 1 1 МГУ, ВМиК, каф. ММП Курс «Графические модели», 2012г. План 1 Метод динамического программирования 2 Определение Обучение с учителем Алгоритм Витерби 3 Графические модели с неполными данными Разделение

Подробнее

Скрытые марковские модели

Скрытые марковские модели : основное Академический Университет, весенний семестр 2011 Outline : основное 1 : основное 2 Смеси выпуклых распределений Продолжительность состояния : основное Марковская цепь задаётся начальным распределением

Подробнее

Байесовское декодирование

Байесовское декодирование Академический Университет, весенний семестр 2011 Outline Коды, исправляющие ошибки 1 Коды, исправляющие ошибки 2 Определения Декодирование алгоритмом min-sum Декодирование алгоритмом min-product Суть Коды,

Подробнее

Д. П. Ветров 1. Курс «Графические модели» ЕМ-алгоритм. Обучение скрытых. марковских моделей без учителя. Ветров. ЕМ-алгоритм в общем виде

Д. П. Ветров 1. Курс «Графические модели» ЕМ-алгоритм. Обучение скрытых. марковских моделей без учителя. Ветров. ЕМ-алгоритм в общем виде Д. П. 1 1 МГУ, ВМиК, каф. ММП Курс «Графические модели» План лекции 1 2 3 4 5 6 EM-алгоритм. Разложение логарифма Требуется найти максимум в вероятностной модели со скрытыми переменными: p(x Θ) = p(x,

Подробнее

Линейная регрессия: метод наименьших квадратов

Линейная регрессия: метод наименьших квадратов Линейная регрессия: метод наименьших квадратов Центр Речевых Технологий, 2012 Outline Метод наименьших квадратов Метод ближайших соседей 1 Наименьшие квадраты и ближайшие соседи Метод наименьших квадратов

Подробнее

Линейная регрессия Линейная классификация. Линейные модели. Сергей Николенко. Computer Science Club, Казань, 2014

Линейная регрессия Линейная классификация. Линейные модели. Сергей Николенко. Computer Science Club, Казань, 2014 Computer Science Club, Казань, 2014 Outline 1 2 Классификация по-байесовски Логистическая регрессия В предыдущей серии... Теорема Байеса: p(θ D) = p(θ)p(d θ). p(d) Две основные задачи байесовского вывода:

Подробнее

Статистическая теория принятия решений

Статистическая теория принятия решений Казанский Федеральный Университет, 2014 Outline 1 2 Метод ближайших соседей Линейная модель очень сильные предположения, много точек не нужно. Совсем другой подход давайте вообще никаких предположений

Подробнее

Байесовские рейтинг-системы

Байесовские рейтинг-системы Центр Речевых Технологий, 2012 Outline 1 Рейтинг-системы 2 Частичные сравнения Рейтинг-система это модель, которая ранжирует участников (игроков) в единый линейный порядок по данным сравнений небольших

Подробнее

Алгоритм передачи сообщений

Алгоритм передачи сообщений Академический Университет, 2012 Outline 1 2 Сложная структура графа Сложные факторы Важная для вывода модификация фактор-граф (можно построить и по направленной модели, и по ненаправленной). Фактор-граф

Подробнее

Категоризация текстов и модель LDA

Категоризация текстов и модель LDA Центр Речевых Технологий, 2012 Outline Категоризация текстов 1 Категоризация текстов Категоризация текстов Классическая задача машинного обучения и information retrieval категоризация текстов. Дан набор

Подробнее

Семинары по EM-алгоритму

Семинары по EM-алгоритму Семинары по EM-алгоритму Евгений Соколов sokolov.evg@gmail.com 21 февраля 2014 г. 1 EM-алгоритм 1.1 Смеси распределений Говорят, что распределение p(x) является смесью распределений, если его плотность

Подробнее

Байесовские классификаторы

Байесовские классификаторы Академический Университет, весенний семестр 2011 Outline 1 2 Multivariate Naive Bayes Multinomial Naive Bayes Применяем теорему Байеса Итак, нам нужно найти наиболее вероятную гипотезу h H при условии

Подробнее

Графические модели и байесовский вывод на них

Графические модели и байесовский вывод на них Академический Университет, 2012 Outline Алгоритм передачи сообщений 1 Алгоритм передачи сообщений В чём же проблема В предыдущих лекциях мы рассмотрели задачу байесовского вывода, ввели понятие сопряжённого

Подробнее

Как объединять модели

Как объединять модели Академический Университет, 2012 Outline Усреднение Bagging 1 Усреднение Bagging 2 Усреднение Bagging До сих пор мы разрабатывали (и потом ещё будем разрабатывать) модели, которые делают предсказания (в

Подробнее

Линейная регрессия. Линейные модели. Сергей Николенко. Казанский Федеральный Университет, 2014

Линейная регрессия. Линейные модели. Сергей Николенко. Казанский Федеральный Университет, 2014 Казанский Федеральный Университет, 2014 Outline 1 В предыдущей серии... Теорема Байеса: p(θ D) = p(θ)p(d θ). p(d) Две основные задачи байесовского вывода: 1 найти апостериорное распределение на гипотезах/параметрах:

Подробнее

Кластеризация. Каждый кластер состоит из похожих объектов Объекты из разных кластеров существенно отличаются

Кластеризация. Каждый кластер состоит из похожих объектов Объекты из разных кластеров существенно отличаются Кластеризация Дано: матрица «объекты-признаки» X Найти: 1. Множество кластеров Y 2. Алгоритм кластеризации a(x), который приписывает каждый объект к одному из кластеров Каждый кластер состоит из похожих

Подробнее

Априорные распределения

Априорные распределения Казанский Федеральный Университет, 2014 Outline 1 2 О гауссианах ML vs. MAP Мы остановились на том, что в статистике обычно ищут гипотезу максимального правдоподобия (maximum likelihood): θ ML = arg max

Подробнее

что делать со сложными фактор-графами

что делать со сложными фактор-графами что делать со сложными фактор-графами Сергей Николенко НИУ ВШЭ Санкт-Петербург 15 сентября 2017 г. Random facts: 15 сентября 1917 г. Временное правительство выпустило из тюрьмы Троцкого и провозгласило

Подробнее

План лекции. 1 Смесь Гауссовских распределений. 2 EM-алгоритм. 3 Информационные методы

План лекции. 1 Смесь Гауссовских распределений. 2 EM-алгоритм. 3 Информационные методы План лекции 1 Смесь Гауссовских распределений 2 EM-алгоритм 3 Информационные методы А. А. Бояров, А. А. Сенов (СПбГУ) стохастическое программирование весна 2014 1 / 21 Смешанные модели Пусть W подмножество

Подробнее

Регуляризация и начала классификации

Регуляризация и начала классификации Казанский Федеральный Университет, 2014 Outline О регрессии 1 О регрессии 2 Полиномиальная аппроксимация Напоминаю, что в прошлый раз мы говорили о регрессии с базисными функциями: f (x, w) = w 0 + M w

Подробнее

Лекция 8. Скрытые марковские модели. Часть 2.

Лекция 8. Скрытые марковские модели. Часть 2. для модели. Часть 2. А. С. Конушин 1 Д. П. Ветров 2 3 В. С. Конушин 1 О. В. Баринова 1 1 МГУ, ВМиК, лаб. КГ 2 МГУ, ВМиК, каф. ММП 3 ВЦ РАН Спецкурс «Структурные методы анализа изображений и сигналов» Скрытая

Подробнее

Графические модели и байесовский вывод на них

Графические модели и байесовский вывод на них Центр Речевых Технологий, 2012 Outline 1 Алгоритм передачи сообщений 2 Сложная структура графа Сложные факторы В чём же проблема В предыдущих лекциях мы рассмотрели задачу байесовского вывода, ввели понятие

Подробнее

Машинное обучение (Machine Learning)

Машинное обучение (Machine Learning) Машинное обучение (Machine Learning) Методы обучения без учителя (Unsupervised Learning) Уткин Л.В. Содержание 1 Кластеризация 2 Метод k средних 3 Иерархическая кластеризация (таксономия) 4 Метод главных

Подробнее

Дискриминантные функции Перцептрон И снова о разделяющих поверхностях. Классификаторы. Сергей Николенко. Центр Речевых Технологий, 2012

Дискриминантные функции Перцептрон И снова о разделяющих поверхностях. Классификаторы. Сергей Николенко. Центр Речевых Технологий, 2012 Центр Речевых Технологий, 2012 Outline Наименьшие квадраты Линейный дискриминант Фишера 1 Дискриминантные функции Наименьшие квадраты Линейный дискриминант Фишера 2 Доказательство сходимости 3 LDA и QDA

Подробнее

Оценивание сходства пользователей и ресурсов путем выявления скрытых тематических профилей.

Оценивание сходства пользователей и ресурсов путем выявления скрытых тематических профилей. Анализ Клиентских Сред Оценивание сходства пользователей и ресурсов путем выявления скрытых тематических профилей Постановка задачи Исходными данными являются протоколы действий пользователей Каждая запись

Подробнее

Янгель Б.К. Спецкурс Байесовские методы машинного обучения. МГУ ВМК, Яндекс. Байесовский подход и Акинатор. Янгель Б.К. Введение.

Янгель Б.К. Спецкурс Байесовские методы машинного обучения. МГУ ВМК, Яндекс. Байесовский подход и Акинатор. Янгель Б.К. Введение. МГУ ВМК, Яндекс Спецкурс Байесовские методы машинного обучения Что такое (кто такой)? Можно найти по адресу http://akinator.com; Расширенный вариант игры 20 ; Специализируется на персонажах; Как правило,

Подробнее

Линейная регрессия: регуляризация, предсказания, выб

Линейная регрессия: регуляризация, предсказания, выб Линейная регрессия: регуляризация, предсказания, выбор модели Академический Университет, 2012 Outline Регуляризация и предсказания 1 Регуляризация и предсказания 2 Эквивалентное ядро Байесовское сравнение

Подробнее

Д. П. Ветров 1. Спецкурс «Графические модели» Лекция 5. Обучение без учителя. скрытых марковских моделей и. линейных динамических систем.

Д. П. Ветров 1. Спецкурс «Графические модели» Лекция 5. Обучение без учителя. скрытых марковских моделей и. линейных динамических систем. для Д. П. 1 1 МГУ, ВМиК, каф. ММП Спецкурс «Графические модели» Скрытая Марковская модель () для Скрытая Марковская модель [первого порядка] это вероятностная модель последовательности, которая Состоит

Подробнее

Линейная регрессия: bias-variance и регуляризация

Линейная регрессия: bias-variance и регуляризация Линейная регрессия: bias-variance и регуляризация Академический Университет, 2012 Outline О регрессии 1 О регрессии 2 В предыдущих сериях... Теорема Байеса: p(θ D) = p(θ)p(d θ). p(d) Две основные задачи

Подробнее

План лекции. с/к Эффективные алгоритмы Лекция 18: Задача полуопределённого программирования. План лекции. Положительно полуопределенные матрицы

План лекции. с/к Эффективные алгоритмы Лекция 18: Задача полуопределённого программирования. План лекции. Положительно полуопределенные матрицы План лекции с/к Эффективные алгоритмы Лекция 18: Задача полуопределённого А. Куликов 1 Задача полуопределённого Задача о максимальном разрезе Computer Science клуб при ПОМИ http://logic.pdmi.ras.ru/ infclub/

Подробнее

Алгоритмы для NP-трудных задач Лекция 9: Приближенные алгоритмы

Алгоритмы для NP-трудных задач Лекция 9: Приближенные алгоритмы Алгоритмы для NP-трудных задач Лекция 9: Приближенные алгоритмы А. Куликов Computer Science клуб при ПОМИ http://logic.pdmi.ras.ru/ infclub/ А. Куликов (Computer Science клуб) 9. Приближенные алгоритмы

Подробнее

Методы частичного обучения (semi-supervised learning)

Методы частичного обучения (semi-supervised learning) Методы частичного обучения (semi-supervised learning) К. В. Воронцов vokov@forecsys.ru Этот курс доступен на странице вики-ресурса http://www.machinelearning.ru/wiki «Машинное обучение (курс лекций, К.В.Воронцов)»

Подробнее

Выборки с отклонением и весами Марковские методы Монте Карло. Сэмплинг. Сергей Николенко. Академический Университет, 2012

Выборки с отклонением и весами Марковские методы Монте Карло. Сэмплинг. Сергей Николенко. Академический Университет, 2012 Академический Университет, 2012 Outline Выборка по значимости и выборка с отклонением 1 Выборка по значимости и выборка с отклонением 2 Алгоритм Метрополиса Гастингса и сэмплирование по Гиббсу Почему проблема

Подробнее

Clustering stability: an overview

Clustering stability: an overview Clustering stability: an overview Ulrike von Luxburg Докладчик: Токмакова Лада План Определение стабильности кластеризации The idealized K-means algorithm The actual K-means algorithm General clustering

Подробнее

ОСНОВЫ ТЕОРИИ ОЦЕНИВАНИЯ И ФИЛЬТРАЦИИ ПАРАМЕТРОВ СИГНАЛОВ

ОСНОВЫ ТЕОРИИ ОЦЕНИВАНИЯ И ФИЛЬТРАЦИИ ПАРАМЕТРОВ СИГНАЛОВ ЛЕКЦИЯ 1. Постановка задачи оценивания параметров сигналов. Байесовские оценки случайных параметров сигналов при различных функциях потерь. ОСНОВЫ ТЕОРИИ ОЦЕНИВАНИЯ И ФИЛЬТРАЦИИ ПАРАМЕТРОВ СИГНАЛОВ 3.1.

Подробнее

Уменьшение размерности

Уменьшение размерности Академический Университет, 2012 Outline 1 2 PCA Обзор курса Задача PCA Рассмотрим данные, лежащие в пространстве очень большой размерности. Как с ними работать? Часто оказывается, что «на самом деле» данные

Подробнее

ДНК-микрочипы и анализ данных по экспрессии генов

ДНК-микрочипы и анализ данных по экспрессии генов ДНК-микрочипы и анализ данных по экспрессии генов ДНК-микрочипы Способ измерения уровня экспрессии РНК для каждого гена. Принцип действия: гибридизация мрнк с зондом - комплиментарной ДНК последовательностью

Подробнее

Дискриминантные функции Перцептрон. Классификаторы. Сергей Николенко. Академический Университет, 2012

Дискриминантные функции Перцептрон. Классификаторы. Сергей Николенко. Академический Университет, 2012 Академический Университет, 2012 Outline Дискриминантные функции 1 Дискриминантные функции 2 Доказательство сходимости Задача классификации Теперь классификация: определить вектор x в один из K классов

Подробнее

Методы кластеризации

Методы кластеризации Методы кластеризации К. В. Воронцов vokov@forecsys.ru Этот курс доступен на странице вики-ресурса http://www.machinelearning.ru/wiki «Машинное обучение (курс лекций, К.В.Воронцов)» 28 апреля 2010 Постановка

Подробнее

Матричные вычисления и нормальное распределение

Матричные вычисления и нормальное распределение Курс: Байесовские методы машинного обучения, Дата: 9 октября Матричные вычисления и нормальное распределение Дивергенция Кульбака-Лейблера 5 p(x) (x) 5 p(x) (x) 5 5 5 5 5 5-5 5 KL( p) min -5 5 KL(p ) min

Подробнее

Машинное обучение Тематическое моделирование. https://yandexdataschool.ru/edu-process/courses/machine-learning

Машинное обучение Тематическое моделирование. https://yandexdataschool.ru/edu-process/courses/machine-learning Машинное обучение Тематическое моделирование https://yandexdataschool.ru/edu-process/courses/machine-learning 1 Содержание лекции Постановка задачи Предыстория Латентный семантический анализ (LSA) Вероятностный

Подробнее

А. С. Конушин 1 Д. П. Ветров 2 Д. А. Кропотов 3 В. С. Конушин 1 О. В. Баринова 1. Спецкурс «Структурные методы анализа изображений и сигналов»

А. С. Конушин 1 Д. П. Ветров 2 Д. А. Кропотов 3 В. С. Конушин 1 О. В. Баринова 1. Спецкурс «Структурные методы анализа изображений и сигналов» . Фильтр. Фильтр А. С. Конушин 1 Д. П. Ветров 2 Д. А. 3 В. С. Конушин 1 О. В. Баринова 1 1 МГУ, ВМиК, лаб. КГ 2 МГУ, ВМиК, каф. ММП 3 ВЦ РАН Спецкурс «Структурные методы анализа изображений и сигналов»

Подробнее

SVM и kernel methods

SVM и kernel methods Академический Университет, 2012 Outline 1 SVM и задача линейной классификации 2 Схема работы SVM Функциональный анализ. Ядра Резюме Постановка задачи Метод опорных векторов решает задачу классификации.

Подробнее

Лекция 9. Приближенные способы вывода. Вариационный подход.

Лекция 9. Приближенные способы вывода. Вариационный подход. способы вывода. Д. П. Ветров 1 Д. А. 2 1 МГУ, ВМиК, каф. ММП 2 ВЦ РАН Спецкурс «Байесовские ы машинного обучения», 2009 План лекции 1 2 Вариационная линейная регрессия 3 Пример использования Дивергенция

Подробнее

План лекции. Статистики, свойства оценок. Методы оценки параметров. Доверительные интервалы, оценка статистических ошибок

План лекции. Статистики, свойства оценок. Методы оценки параметров. Доверительные интервалы, оценка статистических ошибок План лекции Статистики, свойства оценок. Методы оценки параметров метод моментов метод максимума правдоподобия метод наименьших квадратов Доверительные интервалы, оценка статистических ошибок Функция результатов

Подробнее

линейная регрессия Сергей Николенко СПбГУ Санкт-Петербург 08 сентября 2017 г.

линейная регрессия Сергей Николенко СПбГУ Санкт-Петербург 08 сентября 2017 г. линейная регрессия Сергей Николенко СПбГУ Санкт-Петербург 08 сентября 2017 г. Random facts: 8 сентября --- Международный день грамотности, установленный ООН, а также День финансиста России 8 сентября 1636

Подробнее

Лекция 4. Статистические методы распознавания, Распознавание при заданной точности для некоторых классов, ROC-анализ. Лектор Сенько Олег Валентинович

Лекция 4. Статистические методы распознавания, Распознавание при заданной точности для некоторых классов, ROC-анализ. Лектор Сенько Олег Валентинович Лекция 4 Статистические методы распознавания, Распознавание при заданной точности для некоторых классов, ROC-анализ Лектор Сенько Олег Валентинович Курс «Математические основы теории прогнозирования» 4-й

Подробнее

Выборки с отклонением и весами Марковские методы Монте Карло. Сэмплинг. Сергей Николенко. Казанский Федеральный Университет, 2014

Выборки с отклонением и весами Марковские методы Монте Карло. Сэмплинг. Сергей Николенко. Казанский Федеральный Университет, 2014 Казанский Федеральный Университет, 2014 Outline Выборка по значимости и выборка с отклонением 1 Выборка по значимости и выборка с отклонением 2 Алгоритм Метрополиса Гастингса и сэмплирование по Гиббсу

Подробнее

Алгоритм передачи сообщений

Алгоритм передачи сообщений Академический Университет, весенний семестр 2011 Outline Суть и постановка задачи Sum product и min-sum 1 Суть и постановка задачи Sum product и min-sum 2 Введение Суть и постановка задачи Sum product

Подробнее

Подход распространения ожидания (Expectation Propagation) для приближенного байесовского вывода

Подход распространения ожидания (Expectation Propagation) для приближенного байесовского вывода Курс: Байесовские методы машинного обучения, 20 Подход распространения ожидания (Expectation Propagation) для приближенного байесовского вывода Дата: 7 декабря 20 Достаточные статистики Рассмотрим задачу

Подробнее

Конспект к лекции 4. (Санкт-Петербург, 9 апреля

Конспект к лекции 4. (Санкт-Петербург, 9 апреля Конспект к лекции 4. (Санкт-Петербург, 9 апреля 2017 г.) 9 Матрица графа. Граф c n вершинами описывается матрицей смежности M размерности n ˆ n, в которой элемент m ij равно числу рёбер, соединяющих i-ую

Подробнее

ЕМ-алгоритм и метод релевантных векторов для классификации

ЕМ-алгоритм и метод релевантных векторов для классификации Курс: Байесовские методы машинного обучения, ЕМ-алгоритм и метод релевантных векторов для классификации Дата: ноября Метод оптимизации Ньютона g(x) f(x) x x Рис. : Иллюстрация одной итерации метода Ньютона

Подробнее

Разрезы графов. Д. П. Ветров 1 Д. А. Кропотов 2 А. А. Осокин 1. Спецкурс «Структурные методы анализа изображений и сигналов» Разрезы графов.

Разрезы графов. Д. П. Ветров 1 Д. А. Кропотов 2 А. А. Осокин 1. Спецкурс «Структурные методы анализа изображений и сигналов» Разрезы графов. Д. П. 1 Д. А. Кропотов 2 А. А. Осокин 1 1 МГУ, ВМиК, каф. ММП 2 ВЦ РАН Спецкурс «Структурные методы анализа изображений и сигналов» План 1 2 3 4 5 Альфа-расширение Потоки в сетях Рассмотрим неориентированный

Подробнее

Фильтр частиц. Д. П. Ветров 1. Спецкурс «Структурные методы анализа изображений и сигналов» Лекция 11. Методы Монте-Карло. Фильтр частиц.

Фильтр частиц. Д. П. Ветров 1. Спецкурс «Структурные методы анализа изображений и сигналов» Лекция 11. Методы Монте-Карло. Фильтр частиц. .. Д. П. 1 1 МГУ, ВМиК, каф. ММП Спецкурс «Структурные ы анализа изображений и сигналов» План. 1 ы 2 План. ы 1 ы 2 Идея а. ы Метод применяется для решения задач численного моделирования, в частности взятия

Подробнее

Выполнил: Варламов Максим Игоревич, 427 группа. Научный руководитель: Майоров Владимир Дмитриевич

Выполнил: Варламов Максим Игоревич, 427 группа. Научный руководитель: Майоров Владимир Дмитриевич Сравнение алгоритма кластеризации на основе отношения α-квазиэквивалентности с классическими иерархическими алгоритмами на синтетических наборах данных Выполнил: Варламов Максим Игоревич, 427 группа Научный

Подробнее

Категоризация текстов и модель LDA

Категоризация текстов и модель LDA Казанский Федеральный Университет, 2014 Outline Категоризация текстов 1 Категоризация текстов Категоризация текстов Классическая задача машинного обучения и information retrieval категоризация текстов.

Подробнее

Домашнее задание по вариационному выводу Задачи для подготовки к контрольной по вариационному выводу Дата: 5 мая 2013 Дата контрольной: 7 ноября 2014

Домашнее задание по вариационному выводу Задачи для подготовки к контрольной по вариационному выводу Дата: 5 мая 2013 Дата контрольной: 7 ноября 2014 Курс: Графические модели, 2013 Курс: Байесовские методы машинного обучения, осень 2014 Домашнее задание по вариационному выводу Задачи для подготовки к контрольной по вариационному выводу Дата: 5 мая 2013

Подробнее

Методы кластеризации

Методы кластеризации Методы кластеризации Воронцов Константин Вячеславович vokov@forecsys.ru http://www.machinelearning.ru/wiki?title=user:vokov Этот курс доступен на странице вики-ресурса http://www.machinelearning.ru/wiki

Подробнее

Деревья сочленений. Вывод в общем случае

Деревья сочленений. Вывод в общем случае Академический Университет, весенний семестр 2011 Outline BBN и MRF Марковские случайные поля Триангуляция 1 BBN и MRF Марковские случайные поля Триангуляция 2 Ненаправленные циклы Марковские случайные

Подробнее

Методы Монте Карло по схеме марковской цепи (Markov Chain Monte Carlo, MCMC)

Методы Монте Карло по схеме марковской цепи (Markov Chain Monte Carlo, MCMC) Методы Монте Карло по схеме марковской цепи (Markov Chain Monte Carlo, MCMC) Идея MCMC Рассмотрим вероятностное распределение p(t ). Методы Монте Карло (методы статистических испытаний) предполагают генерацию

Подробнее

Переборные методы: сэмплирование

Переборные методы: сэмплирование Переборные методы: сэмплирование И. Куралёнок, Н. Поваров Яндекс СПб, 2013 И. Кураленок, Н. Поваров, Яндекс Санкт-Петербург, 2013 Стр. 1 из 29 Содержание 1 Понятие сэмплирования Процесс сэмплирования Основные

Подробнее

ЛЕКЦИЯ 15 ЧИСЛО РАМСЕЯ ДЛЯ ГИПЕРГРАФА. ДВУДОЛЬНЫЕ ЧИСЛА РАМСЕЯ

ЛЕКЦИЯ 15 ЧИСЛО РАМСЕЯ ДЛЯ ГИПЕРГРАФА. ДВУДОЛЬНЫЕ ЧИСЛА РАМСЕЯ ЛЕКЦИЯ 15 ЧИСЛО РАМСЕЯ ДЛЯ ГИПЕРГРАФА. ДВУДОЛЬНЫЕ ЧИСЛА РАМСЕЯ 1. Доказательство теоремы Франкла-Уилсона Продолжим доказательство теоремы 50. Док-во: На прошлой лекции были доказаны леммы 7 и 8, и рассуждение

Подробнее

Переборные методы: сэмплирование

Переборные методы: сэмплирование Переборные методы: сэмплирование И. Куралёнок, Н. Поваров Яндекс СПб, 2015 И. Кураленок, Н. Поваров, Яндекс Санкт-Петербург, 2015 Стр. 1 из 34 Понятие сэмплирования Сэмплирование метод исследования множества

Подробнее

Вероятностные классификаторы

Вероятностные классификаторы Казанский Федеральный Университет, 2014 Outline И снова о разделяющих поверхностях LDA и QDA QDA и прочие замечания 1 И снова о разделяющих поверхностях LDA и QDA QDA и прочие замечания 2 Два класса IRLS

Подробнее

Лекция 11. Приближенные способы вывода. Методы Монте Карло с. процессы. Д. П. Ветров 1 Д. А. Кропотов 2

Лекция 11. Приближенные способы вывода. Методы Монте Карло с. процессы. Д. П. Ветров 1 Д. А. Кропотов 2 способы вывода. Д. П. Ветров 1 Д. А. 2 1 МГУ, ВМиК, каф. ММП 2 ВЦ РАН Спецкурс «Байесовские методы машинного обучения» План лекции 1 Случайные процессы 2 -Карло Простейшие методы цепями 3 регрессии классификации

Подробнее

ЛЕКЦИЯ 1 ОБХОДЫ ГРАФОВ

ЛЕКЦИЯ 1 ОБХОДЫ ГРАФОВ ЛЕКЦИЯ 1 ОБХОДЫ ГРАФОВ Существуют два классических понятия, связанных с обходами графов: эйлеров цикл и гамильтонов цикл. Определение 1: Эйлеров цикл (в графе) цикл, который содержит все ребра этого графа.

Подробнее

Машинное обучение (Machine Learning)

Машинное обучение (Machine Learning) Машинное обучение (Machine Learning) Уткин Л.В. Содержание 1 Наивный байесовский классификатор 2 1 Метод k ближайших соседей 2 Метод окна Парзена 3 Метод потенциальных функций Презентация является компиляцией

Подробнее

Исследование методов сегментации изображений

Исследование методов сегментации изображений Исследование методов сегментации изображений Артем Скребков, Владислав Виноградов, Дмитрий Кручинин, Евгений Долотов Руководитель: Козинов Е.А. Сегментация изображения Сегментация процесс разделения изображения

Подробнее

Априорные распределения

Априорные распределения Computer Science Club, Екатеринбург, 2011 Outline Задача байесовского вывода Сопряжённые априорные распределения 1 Задача байесовского вывода Сопряжённые априорные распределения 2 о Напоминание Задача

Подробнее

Уменьшение размерности: представление

Уменьшение размерности: представление Уменьшение размерности: представление И. Куралёнок, Н. Поваров Яндекс СПб, 2016 И. Кураленок, Н. Поваров, Яндекс Санкт-Петербург, 2016 Стр. 1 из 21 SOM Самоорганизующиеся сети Кохоненна Идея: отобразить

Подробнее

А. С. Конушин 1 Д. П. Ветров 2 Д. А. Кропотов 3 В. С. Конушин 1 О. В. Баринова 1. Спецкурс «Структурные методы анализа изображений и сигналов»

А. С. Конушин 1 Д. П. Ветров 2 Д. А. Кропотов 3 В. С. Конушин 1 О. В. Баринова 1. Спецкурс «Структурные методы анализа изображений и сигналов» А. С. Конушин 1 Д. П. 2 Д. А. Кропотов 3 В. С. Конушин 1 О. В. Баринова 1 1 МГУ, ВМиК, лаб. КГ 2 МГУ, ВМиК, каф. ММП 3 ВЦ РАН Спецкурс «Структурные методы анализа изображений и сигналов» План 1 2 3 Задачи

Подробнее

Лекция 3. Доверительные интервалы

Лекция 3. Доверительные интервалы Лекция 3. Доверительные интервалы Грауэр Л.В., Архипова О.А. CS Center Санкт-Петербург, 2015 Грауэр Л.В., Архипова О.А. (CSC) Лекция 3. Доверительные интервалы Санкт-Петербург, 2015 1 / 41 Cодержание Содержание

Подробнее

Shape prior на основе упрощенного циркулярного графа

Shape prior на основе упрощенного циркулярного графа Shape prior на основе упрощенного циркулярного графа Борис Янгель ВМиК МГУ 24 марта 2011 г. Содержание 1 Введение 2 Некоторые известные методы введения shape prior Жестко заданная форма Star shape prior

Подробнее

EM-алгоритм. Д. П. Ветров 1 Д. А. Кропотов 2 А. А. Осокин 1. Спецкурс «Байесовские методы машинного обучения» EM-алгоритм. Ветров, Кропотов, Осокин

EM-алгоритм. Д. П. Ветров 1 Д. А. Кропотов 2 А. А. Осокин 1. Спецкурс «Байесовские методы машинного обучения» EM-алгоритм. Ветров, Кропотов, Осокин Д. П. Ветров 1 Д. А. Кропотов 2 А. А. 1 1 МГУ, ВМиК, каф. ММП 2 ВЦ РАН Спецкурс «Байесовские методы машинного обучения» План лекции 1 Дифференцирование матриц 2 Нормальное распределение Постановка задачи

Подробнее

Информационный поиск Архитектура поисковых систем PageRank. Юрий Лифшиц. Осень 2006

Информационный поиск Архитектура поисковых систем PageRank. Юрий Лифшиц. Осень 2006 Информационный поиск Архитектура поисковых систем PageRank Лекция N 3 курса Алгоритмы для Интернета Юрий Лифшиц ПОМИ РАН - СПбГУ ИТМО Осень 2006 1 / 29 Авторы алгоритмов ссылочной популярности В ноябре

Подробнее

Behind LDA. Часть 1. Кольцов С.Н.

Behind LDA. Часть 1. Кольцов С.Н. Behind LDA Часть 1 Кольцов С.Н. Различия в подходах к теории вероятностей Случайная величина это величина, которая принимает в результате опыта одно из множества значений, причём появление того или иного

Подробнее

План лекции. с/к Эффективные алгоритмы Лекция 19: Дерандомизация. Методы. План лекции. Методы. А. Куликов

План лекции. с/к Эффективные алгоритмы Лекция 19: Дерандомизация. Методы. План лекции. Методы. А. Куликов с/к Эффективные алгоритмы Лекция 19: Дерандомизация А. Куликов Computer Science клуб при ПОМИ http://logic.pdmi.ras.ru/ infclub/ А. Куликов (CS клуб при ПОМИ) 19. Дерандомизация 1 / 41 А. Куликов (CS клуб

Подробнее

Методы Монте Карло в байесовском подходе

Методы Монте Карло в байесовском подходе Курс: Байесовские методы машинного обучения, 20 Методы Монте Карло по схеме марковских цепей (Markov Chain Monte Carlo, MCMC) Дата: 9 ноября 20 Методы Монте Карло в байесовском подходе Рассмотрим вероятностное

Подробнее

Лекция 8: Алгоритмы для задач о паросочетаниях

Лекция 8: Алгоритмы для задач о паросочетаниях Лекция 8: Алгоритмы для задач о паросочетаниях Уральский федеральный университет, Институт математики и компьютерных наук, кафедра алгебры и дискретной математики Задача о назначениях В этой лекции мы

Подробнее

Анализ сообществ в социальных сетях. Николай Скворцов

Анализ сообществ в социальных сетях. Николай Скворцов Анализ сообществ в социальных сетях Николай Скворцов Социальные сети как области с интенсивным использованием данных Телекоммуникационные связи (звонки, адресные книги и др.) Информационные сети (медиа,

Подробнее

Вспоминаем теорию чисел

Вспоминаем теорию чисел Computer Science Club, 2015 Outline 1 по модулю n Z + n это группа по сложению. Z n это группа по умножению. Сколько элементов в Z n? по модулю n Z + n это группа по сложению. Z n это группа по умножению.

Подробнее

Статистическое исследование алгоритма случайного поиска

Статистическое исследование алгоритма случайного поиска Статистическое исследование алгоритма случайного поиска В. Т. Кушербаева, Ю. А. Сушков Санкт-Петербургский государственный университет 1 В работе рассматривается статистическое исследование одного алгоритма

Подробнее

ЛЕКЦИЯ 5 СВЯЗНОСТЬ СЛУЧАЙНОГО ГРАФА. ТЕОРЕМА О ГИГАНТСКОЙ КОМПОНЕНТЕ. РАСКРАСКИ СЛУЧАЙНЫХ ГРАФОВ

ЛЕКЦИЯ 5 СВЯЗНОСТЬ СЛУЧАЙНОГО ГРАФА. ТЕОРЕМА О ГИГАНТСКОЙ КОМПОНЕНТЕ. РАСКРАСКИ СЛУЧАЙНЫХ ГРАФОВ ЛЕКЦИЯ 5 СВЯЗНОСТЬ СЛУЧАЙНОГО ГРАФА. ТЕОРЕМА О ГИГАНТСКОЙ КОМПОНЕНТЕ. РАСКРАСКИ СЛУЧАЙНЫХ ГРАФОВ 1. Связность случайного графа (доказательство). Продолжим доказательство теоремы 11, начатое на прошлой

Подробнее

Байесовский метод главных компонент

Байесовский метод главных компонент Курс: Байесовские методы машинного обучения, 211 Дата: 23 ноября 211 Байесовский метод главных компонент Задача уменьшения размерности в данных Рассмотрим задачу классификации изображений рукописных цифр

Подробнее

Лекция 3. Линейная регрессия, Оценки регрессионых параметров, Лектор Сенько Олег Валентинович

Лекция 3. Линейная регрессия, Оценки регрессионых параметров, Лектор Сенько Олег Валентинович Лекция 3 Линейная регрессия, Оценки регрессионых параметров, Лектор Сенько Олег Валентинович Курс «Математические основы теории прогнозирования» 4-й курс, III поток Сенько Олег Валентинович () МОТП, лекция

Подробнее

статистическая теория принятия решений

статистическая теория принятия решений статистическая теория принятия решений Сергей Николенко СПбГУ Санкт-Петербург 22 сентября 2017 г. Random facts: 22 сентября -- День защиты слонов, а также Всемирный день без автомобиля 22 сентября 1692

Подробнее

Симметризация точек изображения, заданных статистическими выборками

Симметризация точек изображения, заданных статистическими выборками Симметризация точек изображения, заданных статистическими выборками Каркищенко А.Н., Мнухин В.Б., karkishalex@gmail.com mnukhin.valeriy@mail.ru Южный федеральный университет, Таганрог Крит 4-11 октября

Подробнее

Задача классификации Предположим, что мы наблюдаем качественный отклик Y, и p разных предикторов X 1,X 2,...,X p. Предположим, что взаимосвязь между

Задача классификации Предположим, что мы наблюдаем качественный отклик Y, и p разных предикторов X 1,X 2,...,X p. Предположим, что взаимосвязь между Классификация "Some of the figures in this presentation are taken from "An Introduction to Statistical Learning, with applications in R" (Springer, 2013) with permission from the authors: G. James, D.

Подробнее

А. С. Конушин 1 Д. П. Ветров 2 Д. А. Кропотов 3 В. С. Конушин 1 О. В. Баринова 1. Спецкурс «Структурные методы анализа изображений и сигналов»

А. С. Конушин 1 Д. П. Ветров 2 Д. А. Кропотов 3 В. С. Конушин 1 О. В. Баринова 1. Спецкурс «Структурные методы анализа изображений и сигналов» . Метод (PCA) метод. А. С. Конушин 1 Д. П. Ветров 2 Д. А. 3 В. С. Конушин 1 О. В. Баринова 1 1 МГУ, ВМиК, лаб. КГ 2 МГУ, ВМиК, каф. ММП 3 ВЦ РАН Спецкурс «Структурные методы анализа изображений и сигналов»

Подробнее

1 / 29

1 / 29 Статистические методы распознавания образов Лекция N 7 курса Современные задачи теоретической информатики Юрий Лифшиц yura@logic.pdmi.ras.ru ИТМО Осень 2005 1 / 29 Чем более подходящими шаблонами вы пользуетесь,

Подробнее

Кластеризация. Обзор алгоритмов. Агаев Нурлан, 428

Кластеризация. Обзор алгоритмов. Агаев Нурлан, 428 Кластеризация. Обзор алгоритмов. Агаев Нурлан, 428 План Понятие кластеризации Меры близости Классификация алгоритмов Неиерархические алгоритмы кластеризации Иерархические алгоритмы кластеризации План Понятие

Подробнее

Лекция 4. Задача коммивояжера

Лекция 4. Задача коммивояжера Лекция 4. Задача коммивояжера Екатерина Алексеева Новосибирский Государственный Университет Механико-математический факультет http://math.nsc.ru/ alekseeva/ 30 сентября, 2012 Содержание лекции Постановка

Подробнее

Обучение с подкреплением III

Обучение с подкреплением III Академический Университет, 2012 Outline Стратегии, минимизирующие regret Теорема Гиттинса 1 Стратегии, минимизирующие regret Теорема Гиттинса 2 Динамическое программирование Теорема Гиттинса Предположим,

Подробнее

Задача коммивояжера Лекция 8. Задача коммивояжера. Часть 1

Задача коммивояжера Лекция 8. Задача коммивояжера. Часть 1 Задача коммивояжера Дана матрица (c ij ) попарных расстояний между городами, i, j n. Найти контур минимальной длины, то есть цикл, проходящий через каждую вершину ровно один раз и имеющий минимальный вес.

Подробнее

Лекция 8. Задача коммивояжера. Часть 1-1-

Лекция 8. Задача коммивояжера. Часть 1-1- Задача коммивояжера Дана матрица (c ij ) попарных расстояний между городами, 1 i, j n. Найти контур минимальной длины, то есть цикл, проходящий через каждую вершину ровно один раз и имеющий минимальный

Подробнее