Вероятностные тематические модели

Размер: px
Начинать показ со страницы:

Download "Вероятностные тематические модели"

Транскрипт

1 Вероятностные тематические модели Докладчик: Андрей Гомзин (528 гр.) Руководители: А. Коршунов, И. Белобородов 4 декабря 2012 г. Андрей Гомзин (528 гр.) Вероятностные тематические модели 4 декабря 2012 г. 1 / 30

2 План 1 Введение 2 Вероятностные тематические модели 1 LDA Скрытое размещение Дирихле 2 HLDA Иерархическое скрытое размещение Дирихле 3 Заключение Андрей Гомзин (528 гр.) Вероятностные тематические модели 4 декабря 2012 г. 2 / 30

3 Введение. Постановка задачи Дано: набор текстовых документов Каждый документ затрагивает одну или несколько тем Задача: 1 Выделить темы, встречающиеся в наборе 2 Для каждого документа определить, какие из найденных тем он затрагивает Андрей Гомзин (528 гр.) Вероятностные тематические модели 4 декабря 2012 г. 3 / 30

4 Введение. Где используется тематическое моделирование Тематический поиск Классификация Кластеризация Реферирование коллекции документов и новостных потоков Фильтрация спама Системы рекомендаций Поиск тематических сообществ в социальных сетях... Андрей Гомзин (528 гр.) Вероятностные тематические модели 4 декабря 2012 г. 4 / 30

5 Введение. Тематические модели Использование кластеризации для поиска тем Векторное представление документа Кластер - тема Латентно-семантическое индексирование (LSI) Идея: проецирование документов и терминов в пространство более низкой размерности SVD разложение (A = TSD T ) NMF разложение (A = BC, A R m,n, B R m,k, C R k,n ) - множество алгоритмов Андрей Гомзин (528 гр.) Вероятностные тематические модели 4 декабря 2012 г. 5 / 30

6 Вероятностные тематические модели Вероятностные модели являются порождающими (генеративными) Документ неупорядоченный набор слов (BOW, Bag Of Words) Тема распределение слов из словаря Каждое слово документа взято из определённой темы Андрей Гомзин (528 гр.) Вероятностные тематические модели 4 декабря 2012 г. 6 / 30

7 Распределение Дирихле (1) Распределение Дирихле Dir(α) это семейство непрерывных многомерных вероятностных распределений Параметр α вектор неотрицательных вещественных чисел Функция плотности вероятности f (x 1, x 2,..., x K α 1, α 2,...α K ) = 1 B(α) x i 0, K x i = 1, α i 0 i=1 K i=1 x α i 1 i Андрей Гомзин (528 гр.) Вероятностные тематические модели 4 декабря 2012 г. 7 / 30

8 Распределение Дирихле (2) Андрей Гомзин (528 гр.) Вероятностные тематические модели 4 декабря 2012 г. 8 / 30

9 Скрытое размещение Дирихле (LDA) Схема модели LDA K количество тем, D -количество документов, Nd количество слов в документе d w d,n n-е слово в документе d z d,n номер темы, из которой взято слово w d,n ϕk тема k, распределение по словам θd распределение по темам для документа d α, β гиперпараметры распределения Дирихле Андрей Гомзин (528 гр.) Вероятностные тематические модели 4 декабря 2012 г. 9 / 30

10 Скрытое размещение Дирихле (LDA). Генеративный процесс Для каждого документа: 1 Случайно выбрать распределение по темам θ d 2 Для каждого слова в документе: 1 Случайно выбрать тему из распределения θ d, полученного на 1-м шаге 2 Случайно выбрать слово из распределения слов в выбранной теме ϕ k В модели LDA θ d Dir(α), ϕ k Dir(β) Андрей Гомзин (528 гр.) Вероятностные тематические модели 4 декабря 2012 г. 10 / 30

11 Скрытое размещение Дирихле (LDA). Вывод скрытых параметров (1) Совместная вероятность переменных модели: = K D P(ϕ i β) i=1 P(ϕ 1:K, θ 1:D, z 1:D, w 1:D α, β) = d=1 ( N P(θ d α) n=1 ) P(z d,n θ d )P(w d,n ϕ 1:K, z d,n ) Андрей Гомзин (528 гр.) Вероятностные тематические модели 4 декабря 2012 г. 11 / 30

12 Скрытое размещение Дирихле (LDA). Вывод скрытых параметров (2) Нужно найти: P(ϕ 1:K, θ 1:D, z 1:D w 1:D ) = P(ϕ 1:K, θ 1:D, z 1:D, w 1:D ) P(w 1:D ) = P(ϕ 1:K, θ 1:D, z 1:D, w 1:D ) P(w θ, ϕ, z)p(θ, ϕ, z)dθdϕdz P(ϕ, θ, z, w) Задача найти наилучшие параметры: arg max θ,ϕ,z P(ϕ, θ, z w) = arg max P(ϕ, θ, z, w) θ,ϕ,z = Андрей Гомзин (528 гр.) Вероятностные тематические модели 4 декабря 2012 г. 12 / 30

13 Скрытое размещение Дирихле (LDA). Вывод скрытых параметров (3) Методы оценки оптимальных скрытых параметров: Сэмплирование Собирается конечная выборка переменных, P(ϕ, θ, z, w) приближается дискретным распределением на полученной выборке, ищется максимум P Класс методов Монте-Карло для марковских цепей (Markov Chain Monte Carlo, MCMC). Например, сэмплирование по Гиббсу Вариационные методы Задается параметризованное семейство распределений, которое приближается к P(ϕ, θ, z, w) Андрей Гомзин (528 гр.) Вероятностные тематические модели 4 декабря 2012 г. 13 / 30

14 Cэмплирование по Гиббсу Пусть нам надо сделать выборку из p(x 1, x 2,..., x n ) = p(x) p(x i x ( i) ) = - одномерное распределение Алгоритм p(x) p(x ( i) ) 1 Инициализация x 0 2 Для каждого j 1, N 1 x j = x j 1 2 Для каждого i 1, n x j i p(x i x j ( i) ) Андрей Гомзин (528 гр.) Вероятностные тематические модели 4 декабря 2012 г. 14 / 30

15 Скрытое размещение Дирихле (LDA). Cэмплирование по Гиббсу p(θ, ϕ, z w) - распределение, из которого нужно сделать выборку (θ, ϕ, z) i p(θ, ϕ, z w) i 1, N При достаточно большом N выборка хорошо приблизит апостериорное распределение p(θ, ϕ, z w) arg max θ,ϕ,z p(θ, ϕ, z w) arg max p(θ i, ϕ i, z i w) (θ,ϕ,z) i Но сделать выборку из p(θ, ϕ, z w) достаточно сложно, из-за высокой размерности (θ, ϕ, z) Андрей Гомзин (528 гр.) Вероятностные тематические модели 4 декабря 2012 г. 15 / 30

16 Скрытое размещение Дирихле (LDA). Свёрнутое сэмплирование по Гиббсу (1) θ и ϕ могут быть оценены с помощью z и w Будем искать arg max z p(z w) вместо arg max θ,ϕ,z p(θ, ϕ, z w) Согласно схеме Гиббса нас будут интересовать По определению: p(z i z ( i), w) = p(z i, z ( i), w) p(z ( i), w) p(z, w) = p(z, w) p(z, w, θ, ϕ)dθdϕ Андрей Гомзин (528 гр.) Вероятностные тематические модели 4 декабря 2012 г. 16 / 30

17 Скрытое размещение Дирихле (LDA). Свёрнутое сэмплирование по Гиббсу (2) Распишем совместное распределение: p(z, w) = p(ϕ β)p(θ α)p(z θ)p(w ϕ, z)dθdϕ Сгруппируем по зависимости от θ и ϕ: Categorial Categorial Dir {}}{{}}{ { }} Dir {{}}{ p(z, w) = p(z θ) p(θ α) dθ p(w ϕ, z) p(ϕ β) dϕ } {{ }} {{ } (1) (2) Андрей Гомзин (528 гр.) Вероятностные тематические модели 4 декабря 2012 г. 17 / 30

18 Скрытое размещение Дирихле (LDA). Свёрнутое сэмплирование по Гиббсу (3) Распишем (1): Categorial {}}{ p(z θ) }{{} Dir {}}{ p(θ α) }{{} правдоподобие априорное dθ = D d 1 B(α) K k θ α k 1 d,k N d θ d,zd,i dθ d = i = D В результате получим: d Dir(α+N d, ) {}}{ 1 K θ α k+n d,k 1 B(α) d,k dθ d = k D d B(α + N d, ) B(α) p(z i z ( i), w) p(z, w) D B(α + N d, ) d K B(β + N,k ) k Андрей Гомзин (528 гр.) Вероятностные тематические модели 4 декабря 2012 г. 18 / 30

19 Применимость LDA LDA применимо только к исходным данным, удовлетворяющим ограничениям: Порядок слов в документе неважен Последовательность документов не имеет значения Количество тем известно и не меняется Если какое-либо из ограничений не выполняется для задачи, то применять LDA нельзя Андрей Гомзин (528 гр.) Вероятностные тематические модели 4 декабря 2012 г. 19 / 30

20 Процесс китайского ресторана (CRP) Интуитивное определение: Пусть в китайском ресторане счетное количество столов счетной вместимости В ресторан по очереди заходят посетители Первый посетитель садится за стол с номером 1 m-й посетитель: Садится за занятый стол i с вероятностью p(стол = i клиенты 1, m 1) = m i γ + m 1 Садится за первый незанятый стол с вероятностью p(новый стол клиенты 1, m 1) = γ γ + m 1 m i количество посетителей, сидящих за столом i, γ концентрационный параметр Андрей Гомзин (528 гр.) Вероятностные тематические модели 4 декабря 2012 г. 20 / 30

21 Процесс китайского ресторана (CRP). Пример (1) γ = 1 Итерация 0: Итерация 1: Итерация 2: Андрей Гомзин (528 гр.) Вероятностные тематические модели 4 декабря 2012 г. 21 / 30

22 Процесс китайского ресторана (CRP). Пример (2) γ = 1 Итерация 3: Итерация 4: Итерация 5: Андрей Гомзин (528 гр.) Вероятностные тематические модели 4 декабря 2012 г. 22 / 30

23 Процесс китайского ресторана (CRP). Пример (3) γ = 1 Итерация 15: Итерация 99: Андрей Гомзин (528 гр.) Вероятностные тематические модели 4 декабря 2012 г. 23 / 30

24 Вложенный процесс китайских ресторанов (ncrp) (1) Пусть в городе бесконечное число китайских ресторанов Каждый стол содержит ссылку на другой ресторан Имеется корневой ресторан В каждый ресторан ведет только одна ссылка получается дерево китайских ресторанов Андрей Гомзин (528 гр.) Вероятностные тематические модели 4 декабря 2012 г. 24 / 30

25 Вложенный процесс китайских ресторанов (ncrp) (2) M туристов прибывают в город на L дней Каждый турист: В первый день посещает корневой ресторан, выбирая стол согласно CRP В очередной день он посещает ресторан, на который ссылается стол, за который он сидел день назад В итоге получится конечное поддерево глубины L Андрей Гомзин (528 гр.) Вероятностные тематические модели 4 декабря 2012 г. 25 / 30

26 Иерархическое скрытое размещение Дирихле (HLDA) (1) Генеративный процесс 1 Пусть c 1 корневой ресторан 2 Для каждого уровня дерева l {2,..., L}: 1 Выбрать стол в ресторане c l 1 согласно CRP 2 Установить c l ресторан, на который ссылается выбранный стол 3 Случайно выбрать для документа распределение по L темам θ d Dir(α) 4 Для каждого слова в документе: 1 Случайно выбрать z {1,..., L} согласно распределению θ d 2 Случайно выбрать слово из распределения слов в теме, соответствующему ресторану c z Андрей Гомзин (528 гр.) Вероятностные тематические модели 4 декабря 2012 г. 26 / 30

27 Иерархическое скрытое размещение Дирихле (HLDA) (2) Количество тем не задано и выводится из модели Документ содержит как общие темы, так и узкие Минус: Каждый докмент описывает ровно L тем Андрей Гомзин (528 гр.) Вероятностные тематические модели 4 декабря 2012 г. 27 / 30

28 Оценка качества Методом пристального взгляда in vivo - использовать LDA в приложении, например, к классификации текстов in vitro - измерять обобщающую способность Разбить корпус документов на обучающую и тестовую выборку Выделить темы на обучающей выборке Посчитать правдоподобие на тестовой выборке perplexity(d test ) = exp{ 1 W D N d K log( θ d,k p(ϕ k = w d,n )} d=1 n=1 Чем выше правдоподобие, тем ниже perplexity k=1 Андрей Гомзин (528 гр.) Вероятностные тематические модели 4 декабря 2012 г. 28 / 30

29 Заключение. Преимущество вероятностных моделей Результаты работы представляются в терминах теории вероятностей и поэтому могут быть встроены в другие вероятностные модели Использование Байесовского непараметрического моделирования позволяет избежать подбора входных параметров Вероятностные модели могут быть с лёгкостью расширены путём добавления переменных, а также новых связей между ними Андрей Гомзин (528 гр.) Вероятностные тематические модели 4 декабря 2012 г. 29 / 30

30 Вопросы Андрей Гомзин (528 гр.) Вероятностные тематические модели 4 декабря 2012 г. 30 / 30

Категоризация текстов и модель LDA

Категоризация текстов и модель LDA Центр Речевых Технологий, 2012 Outline Категоризация текстов 1 Категоризация текстов Категоризация текстов Классическая задача машинного обучения и information retrieval категоризация текстов. Дан набор

Подробнее

Домашнее задание по вариационному выводу Задачи для подготовки к контрольной по вариационному выводу Дата: 5 мая 2013 Дата контрольной: 7 ноября 2014

Домашнее задание по вариационному выводу Задачи для подготовки к контрольной по вариационному выводу Дата: 5 мая 2013 Дата контрольной: 7 ноября 2014 Курс: Графические модели, 2013 Курс: Байесовские методы машинного обучения, осень 2014 Домашнее задание по вариационному выводу Задачи для подготовки к контрольной по вариационному выводу Дата: 5 мая 2013

Подробнее

Категоризация текстов и модель LDA

Категоризация текстов и модель LDA Казанский Федеральный Университет, 2014 Outline Категоризация текстов 1 Категоризация текстов Категоризация текстов Классическая задача машинного обучения и information retrieval категоризация текстов.

Подробнее

Д. П. Ветров 1. Курс «Графические модели» ЕМ-алгоритм. Обучение скрытых. марковских моделей без учителя. Ветров. ЕМ-алгоритм в общем виде

Д. П. Ветров 1. Курс «Графические модели» ЕМ-алгоритм. Обучение скрытых. марковских моделей без учителя. Ветров. ЕМ-алгоритм в общем виде Д. П. 1 1 МГУ, ВМиК, каф. ММП Курс «Графические модели» План лекции 1 2 3 4 5 6 EM-алгоритм. Разложение логарифма Требуется найти максимум в вероятностной модели со скрытыми переменными: p(x Θ) = p(x,

Подробнее

Методы Монте Карло по схеме марковской цепи (Markov Chain Monte Carlo, MCMC)

Методы Монте Карло по схеме марковской цепи (Markov Chain Monte Carlo, MCMC) Методы Монте Карло по схеме марковской цепи (Markov Chain Monte Carlo, MCMC) Идея MCMC Рассмотрим вероятностное распределение p(t ). Методы Монте Карло (методы статистических испытаний) предполагают генерацию

Подробнее

Лекция 11. Приближенные способы вывода. Методы Монте Карло с. процессы. Д. П. Ветров 1 Д. А. Кропотов 2

Лекция 11. Приближенные способы вывода. Методы Монте Карло с. процессы. Д. П. Ветров 1 Д. А. Кропотов 2 способы вывода. Д. П. Ветров 1 Д. А. 2 1 МГУ, ВМиК, каф. ММП 2 ВЦ РАН Спецкурс «Байесовские методы машинного обучения» План лекции 1 Случайные процессы 2 -Карло Простейшие методы цепями 3 регрессии классификации

Подробнее

Методы Монте Карло в байесовском подходе

Методы Монте Карло в байесовском подходе Курс: Байесовские методы машинного обучения, 20 Методы Монте Карло по схеме марковских цепей (Markov Chain Monte Carlo, MCMC) Дата: 9 ноября 20 Методы Монте Карло в байесовском подходе Рассмотрим вероятностное

Подробнее

Тематическое моделирование текстов с учетом временного фактора

Тематическое моделирование текстов с учетом временного фактора Тематическое моделирование текстов с учетом временного фактора Введение Введение Тематическая модель Latent Drchlet Allocaton T число тем D число документов N D число слов в документе D (d распределение

Подробнее

ОСНОВЫ ТЕОРИИ ОЦЕНИВАНИЯ И ФИЛЬТРАЦИИ ПАРАМЕТРОВ СИГНАЛОВ

ОСНОВЫ ТЕОРИИ ОЦЕНИВАНИЯ И ФИЛЬТРАЦИИ ПАРАМЕТРОВ СИГНАЛОВ ЛЕКЦИЯ 1. Постановка задачи оценивания параметров сигналов. Байесовские оценки случайных параметров сигналов при различных функциях потерь. ОСНОВЫ ТЕОРИИ ОЦЕНИВАНИЯ И ФИЛЬТРАЦИИ ПАРАМЕТРОВ СИГНАЛОВ 3.1.

Подробнее

distance-dependent Chinese Restaurant Process Сергей Бартунов ВЦ РАН

distance-dependent Chinese Restaurant Process Сергей Бартунов ВЦ РАН distance-dependent Chinese Restaurant Process Сергей Бартунов ВЦ РАН Chinese Restaurant Process Априорное распределение над принадлежностью кластарам Посетители заходят в ресторан один за одним Первый

Подробнее

Классификаторы II: логит и naive Bayes

Классификаторы II: логит и naive Bayes Академический Университет, 2012 Outline И снова о разделяющих поверхностях 1 И снова о разделяющих поверхностях 2 Наивный байесовский классификатор Multinomial vs. multivariate В прошлый раз В прошлый

Подробнее

что делать со сложными фактор-графами

что делать со сложными фактор-графами что делать со сложными фактор-графами Сергей Николенко НИУ ВШЭ Санкт-Петербург 15 сентября 2017 г. Random facts: 15 сентября 1917 г. Временное правительство выпустило из тюрьмы Троцкого и провозгласило

Подробнее

Семинары по EM-алгоритму

Семинары по EM-алгоритму Семинары по EM-алгоритму Евгений Соколов sokolov.evg@gmail.com 21 февраля 2014 г. 1 EM-алгоритм 1.1 Смеси распределений Говорят, что распределение p(x) является смесью распределений, если его плотность

Подробнее

Методы Монте Карло по схеме марковских цепей (Markov Chain Monte Carlo, MCMC)

Методы Монте Карло по схеме марковских цепей (Markov Chain Monte Carlo, MCMC) Курс: Графические модели, 202 Дата: 8 апреля 202 Методы Монте Карло по схеме марковских цепей (Markov Chain Monte Carlo, MCMC) Методы Монте Карло в графических моделях Рассмотрим графическую модель p(x,

Подробнее

Методы Монте Карло по схеме марковских цепей (Markov Chain Monte Carlo, MCMC)

Методы Монте Карло по схеме марковских цепей (Markov Chain Monte Carlo, MCMC) Методы Монте Карло по схеме марковских цепей (Markov Chain Monte Carlo, MCMC) Методы Монте Карло в графических моделях Рассмотрим графическую модель p(x, T Θ), где X набор наблюдаемых переменных, T набор

Подробнее

Байесовские классификаторы

Байесовские классификаторы Академический Университет, весенний семестр 2011 Outline 1 2 Multivariate Naive Bayes Multinomial Naive Bayes Применяем теорему Байеса Итак, нам нужно найти наиболее вероятную гипотезу h H при условии

Подробнее

Машинное обучение Тематическое моделирование. https://yandexdataschool.ru/edu-process/courses/machine-learning

Машинное обучение Тематическое моделирование. https://yandexdataschool.ru/edu-process/courses/machine-learning Машинное обучение Тематическое моделирование https://yandexdataschool.ru/edu-process/courses/machine-learning 1 Содержание лекции Постановка задачи Предыстория Латентный семантический анализ (LSA) Вероятностный

Подробнее

Оценивание сходства пользователей и ресурсов путем выявления скрытых тематических профилей.

Оценивание сходства пользователей и ресурсов путем выявления скрытых тематических профилей. Анализ Клиентских Сред Оценивание сходства пользователей и ресурсов путем выявления скрытых тематических профилей Постановка задачи Исходными данными являются протоколы действий пользователей Каждая запись

Подробнее

Фильтр частиц. Д. П. Ветров 1. Спецкурс «Структурные методы анализа изображений и сигналов» Лекция 11. Методы Монте-Карло. Фильтр частиц.

Фильтр частиц. Д. П. Ветров 1. Спецкурс «Структурные методы анализа изображений и сигналов» Лекция 11. Методы Монте-Карло. Фильтр частиц. .. Д. П. 1 1 МГУ, ВМиК, каф. ММП Спецкурс «Структурные ы анализа изображений и сигналов» План. 1 ы 2 План. ы 1 ы 2 Идея а. ы Метод применяется для решения задач численного моделирования, в частности взятия

Подробнее

Применение Байесовской статистики для анализа наблюдательных данных

Применение Байесовской статистики для анализа наблюдательных данных Применение Байесовской статистики для анализа наблюдательных данных Сергей Анфиногентов 1,2 1 Институт Солнечно-земной физики СО РАН, Иркутск, Россия 2 University of Warwick, UK Онлайн семинар 5 октября

Подробнее

Д. П. Ветров 1. Курс «Графические модели», 2012г. Лекция 3. Скрытые марковские модели. Ветров. Ликбез. Основы применения СММ.

Д. П. Ветров 1. Курс «Графические модели», 2012г. Лекция 3. Скрытые марковские модели. Ветров. Ликбез. Основы применения СММ. Д. П. 1 1 МГУ, ВМиК, каф. ММП Курс «Графические модели», 2012г. План 1 Метод динамического программирования 2 Определение Обучение с учителем Алгоритм Витерби 3 Графические модели с неполными данными Разделение

Подробнее

Тематические модели для коллекций текстов

Тематические модели для коллекций текстов Курс: Байесовские методы машинного обучения, 2011 Тематические модели для коллекций текстов Дата: 14 декабря 2011 Распределение Дирихле Случайная величина θ R K, определенная на симплексе (θ k 0, K k=1

Подробнее

Лекция 8. Скрытые марковские модели. Часть 2.

Лекция 8. Скрытые марковские модели. Часть 2. для модели. Часть 2. А. С. Конушин 1 Д. П. Ветров 2 3 В. С. Конушин 1 О. В. Баринова 1 1 МГУ, ВМиК, лаб. КГ 2 МГУ, ВМиК, каф. ММП 3 ВЦ РАН Спецкурс «Структурные методы анализа изображений и сигналов» Скрытая

Подробнее

Обучение и вывод в модели Ограниченной Машины Больцмана

Обучение и вывод в модели Ограниченной Машины Больцмана Обучение и вывод в модели Ограниченной Научная группа Байесовских методов ВМК МГУ им. М.В. Ломоносова 13 мая 2014 г. 1 / 37 Обзор 1 2 3 4 2 / 37 Ограниченная машина Restricted Boltzmann Machine марковское

Подробнее

EM-алгоритм. Д. П. Ветров 1 Д. А. Кропотов 2 А. А. Осокин 1. Спецкурс «Байесовские методы машинного обучения» EM-алгоритм. Ветров, Кропотов, Осокин

EM-алгоритм. Д. П. Ветров 1 Д. А. Кропотов 2 А. А. Осокин 1. Спецкурс «Байесовские методы машинного обучения» EM-алгоритм. Ветров, Кропотов, Осокин Д. П. Ветров 1 Д. А. Кропотов 2 А. А. 1 1 МГУ, ВМиК, каф. ММП 2 ВЦ РАН Спецкурс «Байесовские методы машинного обучения» План лекции 1 Дифференцирование матриц 2 Нормальное распределение Постановка задачи

Подробнее

Уменьшение размерности

Уменьшение размерности Академический Университет, 2012 Outline 1 2 PCA Обзор курса Задача PCA Рассмотрим данные, лежащие в пространстве очень большой размерности. Как с ними работать? Часто оказывается, что «на самом деле» данные

Подробнее

Основы обработки текстов

Основы обработки текстов Основы обработки текстов Лекция 11 Тематическое моделирование Тематическое моделирование (Topic Modelling) Тематическая модель коллекции текстовых документов определяет к каким темам относится каждый документ

Подробнее

Переборные методы: сэмплирование

Переборные методы: сэмплирование Переборные методы: сэмплирование И. Куралёнок, Н. Поваров Яндекс СПб, 2013 И. Кураленок, Н. Поваров, Яндекс Санкт-Петербург, 2013 Стр. 1 из 29 Содержание 1 Понятие сэмплирования Процесс сэмплирования Основные

Подробнее

Behind LDA. Часть 1. Кольцов С.Н.

Behind LDA. Часть 1. Кольцов С.Н. Behind LDA Часть 1 Кольцов С.Н. Различия в подходах к теории вероятностей Случайная величина это величина, которая принимает в результате опыта одно из множества значений, причём появление того или иного

Подробнее

Машинное обучение: Сэмплирование

Машинное обучение: Сэмплирование Машинное обучение: Сэмплирование Кураленок И.Е. Яндекс 22 марта 2012 г. Содержание 1 Процесс сэмплирования Основные методы сэмплирования 2 Полный перебор 3 4 Metropolis-Hastings алгоритм Алгоритм Гиббса

Подробнее

Кластеризация и алгоритм EM

Кластеризация и алгоритм EM Академический Университет, 2012 Outline Иерархическая кластеризация методами теории графов 1 Иерархическая кластеризация методами теории графов 2 Суть лекции Иерархическая кластеризация методами теории

Подробнее

Переборные методы: сэмплирование

Переборные методы: сэмплирование Переборные методы: сэмплирование И. Куралёнок, Н. Поваров Яндекс СПб, 2015 И. Кураленок, Н. Поваров, Яндекс Санкт-Петербург, 2015 Стр. 1 из 34 Понятие сэмплирования Сэмплирование метод исследования множества

Подробнее

ЕМ-алгоритм и метод релевантных векторов для классификации

ЕМ-алгоритм и метод релевантных векторов для классификации Курс: Байесовские методы машинного обучения, ЕМ-алгоритм и метод релевантных векторов для классификации Дата: ноября Метод оптимизации Ньютона g(x) f(x) x x Рис. : Иллюстрация одной итерации метода Ньютона

Подробнее

Основы обработки текстов

Основы обработки текстов Основы обработки текстов Лекция 11 Тематическое моделирование Тематическое моделирование (Topic Modelling) Тематическая модель коллекции текстовых документов определяет к каким темам относится каждый документ

Подробнее

Тематическое моделирование

Тематическое моделирование AI Ukraine, 12 сентября 2015 г. Outline Наивный байесовский классификатор Naive Bayes Обобщаем наивный байес: кластеризация 1 Наивный байесовский классификатор Naive Bayes Обобщаем наивный байес: кластеризация

Подробнее

Д. П. Ветров 1. Спецкурс «Графические модели» Лекция 5. Обучение без учителя. скрытых марковских моделей и. линейных динамических систем.

Д. П. Ветров 1. Спецкурс «Графические модели» Лекция 5. Обучение без учителя. скрытых марковских моделей и. линейных динамических систем. для Д. П. 1 1 МГУ, ВМиК, каф. ММП Спецкурс «Графические модели» Скрытая Марковская модель () для Скрытая Марковская модель [первого порядка] это вероятностная модель последовательности, которая Состоит

Подробнее

Векторные представления слов. word2vec

Векторные представления слов. word2vec Математические методы анализа текстов Векторные представления слов. word2vec Мурат Апишев 10 апреля, 2017 Векторные представления слов Векторное представление слова (word embedding) вещественный вектор

Подробнее

Лекция 3. Линейная регрессия, Оценки регрессионых параметров, Лектор Сенько Олег Валентинович

Лекция 3. Линейная регрессия, Оценки регрессионых параметров, Лектор Сенько Олег Валентинович Лекция 3 Линейная регрессия, Оценки регрессионых параметров, Лектор Сенько Олег Валентинович Курс «Математические основы теории прогнозирования» 4-й курс, III поток Сенько Олег Валентинович () МОТП, лекция

Подробнее

Выборки с отклонением и весами Марковские методы Монте Карло. Сэмплинг. Сергей Николенко. Академический Университет, 2012

Выборки с отклонением и весами Марковские методы Монте Карло. Сэмплинг. Сергей Николенко. Академический Университет, 2012 Академический Университет, 2012 Outline Выборка по значимости и выборка с отклонением 1 Выборка по значимости и выборка с отклонением 2 Алгоритм Метрополиса Гастингса и сэмплирование по Гиббсу Почему проблема

Подробнее

Графические модели и байесовский вывод на них

Графические модели и байесовский вывод на них Академический Университет, 2012 Outline Алгоритм передачи сообщений 1 Алгоритм передачи сообщений В чём же проблема В предыдущих лекциях мы рассмотрели задачу байесовского вывода, ввели понятие сопряжённого

Подробнее

Графические модели и байесовский вывод на них

Графические модели и байесовский вывод на них Казанский Федеральный Университет, 2014 Outline Алгоритм передачи сообщений 1 Алгоритм передачи сообщений В чём же проблема В предыдущих лекциях мы рассмотрели задачу байесовского вывода, ввели понятие

Подробнее

Байесовские рейтинг-системы

Байесовские рейтинг-системы Центр Речевых Технологий, 2012 Outline 1 Рейтинг-системы 2 Частичные сравнения Рейтинг-система это модель, которая ранжирует участников (игроков) в единый линейный порядок по данным сравнений небольших

Подробнее

Алгоритм EM и его применения

Алгоритм EM и его применения Computer Science Club, Екатеринбург, 2011 Outline Алгоритм EM Смесь двух гауссианов Общий случай и обоснование 1 Алгоритм EM Смесь двух гауссианов Общий случай и обоснование 2 Введение Алгоритм EM Смесь

Подробнее

Лекция 1. Задачи прогнозирования, обобщающая способность, байесовский классификатор, скользящий контроль. Лектор Сенько Олег Валентинович

Лекция 1. Задачи прогнозирования, обобщающая способность, байесовский классификатор, скользящий контроль. Лектор Сенько Олег Валентинович Лекция 1 Задачи прогнозирования, обобщающая способность, байесовский классификатор, скользящий контроль Лектор Сенько Олег Валентинович Курс «Математические основы теории прогнозирования» 4-й курс, III

Подробнее

Байесовский метод главных компонент

Байесовский метод главных компонент Курс: Байесовские методы машинного обучения, 211 Дата: 23 ноября 211 Байесовский метод главных компонент Задача уменьшения размерности в данных Рассмотрим задачу классификации изображений рукописных цифр

Подробнее

Графическая вероятностная модель со скрытыми состояниями на основе главных многообразий

Графическая вероятностная модель со скрытыми состояниями на основе главных многообразий Международная конференция ИОИ-10 Графическая вероятностная модель со скрытыми состояниями на основе главных многообразий Юлин Сергей Сергеевич Рыбинский государственный авиационный технический университет

Подробнее

МАТЕМАТИЧЕСКИЕ ОСНОВЫ ТЕОРИИ ПРОГНОЗИРОВАНИЯ. Лектор Сенько Олег Валентинович Лекция I

МАТЕМАТИЧЕСКИЕ ОСНОВЫ ТЕОРИИ ПРОГНОЗИРОВАНИЯ. Лектор Сенько Олег Валентинович Лекция I МАТЕМАТИЧЕСКИЕ ОСНОВЫ ТЕОРИИ ПРОГНОЗИРОВАНИЯ Лектор Сенько Олег Валентинович Лекция I Задачи диагностики и прогнозирования некоторой величины по доступным значениям переменных X,, 1 Xn часто возникают

Подробнее

Машинное обучение (Machine Learning)

Машинное обучение (Machine Learning) Машинное обучение (Machine Learning) Уткин Л.В. Содержание 1 Наивный байесовский классификатор 2 1 Метод k ближайших соседей 2 Метод окна Парзена 3 Метод потенциальных функций Презентация является компиляцией

Подробнее

Вариационный вывод в графических моделях

Вариационный вывод в графических моделях Вариационный вывод в графических моделях Задача приближённого вывода в вероятностных моделях Рассмотрим задачу вывода в вероятностных моделях в следующей постановке. Пусть имеется некоторое вероятностное

Подробнее

Нейронные сети. Краткий курс

Нейронные сети. Краткий курс Нейронные сети Краткий курс Лекция 7 Модели на основе теории информации Рассмотрим информационно теоретические модели, которые приводят к самоорганизации В этих моделях синаптические связи многослойной

Подробнее

Графические модели и байесовский вывод на них

Графические модели и байесовский вывод на них Центр Речевых Технологий, 2012 Outline 1 Алгоритм передачи сообщений 2 Сложная структура графа Сложные факторы В чём же проблема В предыдущих лекциях мы рассмотрели задачу байесовского вывода, ввели понятие

Подробнее

Выборки с отклонением и весами Марковские методы Монте Карло. Сэмплинг. Сергей Николенко. Казанский Федеральный Университет, 2014

Выборки с отклонением и весами Марковские методы Монте Карло. Сэмплинг. Сергей Николенко. Казанский Федеральный Университет, 2014 Казанский Федеральный Университет, 2014 Outline Выборка по значимости и выборка с отклонением 1 Выборка по значимости и выборка с отклонением 2 Алгоритм Метрополиса Гастингса и сэмплирование по Гиббсу

Подробнее

План лекции. 1 Смесь Гауссовских распределений. 2 EM-алгоритм. 3 Информационные методы

План лекции. 1 Смесь Гауссовских распределений. 2 EM-алгоритм. 3 Информационные методы План лекции 1 Смесь Гауссовских распределений 2 EM-алгоритм 3 Информационные методы А. А. Бояров, А. А. Сенов (СПбГУ) стохастическое программирование весна 2014 1 / 21 Смешанные модели Пусть W подмножество

Подробнее

Янгель Б.К. Спецкурс Байесовские методы машинного обучения. МГУ ВМК, Яндекс. Байесовский подход и Акинатор. Янгель Б.К. Введение.

Янгель Б.К. Спецкурс Байесовские методы машинного обучения. МГУ ВМК, Яндекс. Байесовский подход и Акинатор. Янгель Б.К. Введение. МГУ ВМК, Яндекс Спецкурс Байесовские методы машинного обучения Что такое (кто такой)? Можно найти по адресу http://akinator.com; Расширенный вариант игры 20 ; Специализируется на персонажах; Как правило,

Подробнее

Матричные вычисления и нормальное распределение

Матричные вычисления и нормальное распределение Курс: Байесовские методы машинного обучения, Дата: 9 октября Матричные вычисления и нормальное распределение Дивергенция Кульбака-Лейблера 5 p(x) (x) 5 p(x) (x) 5 5 5 5 5 5-5 5 KL( p) min -5 5 KL(p ) min

Подробнее

АДАПТИВНАЯ ПРОЦЕДУРА ОБОЩЕННОГО СГЛАЖИВАНИЯ ИЗОБРАЖЕНИЙ НА ОСНОВЕ СТАТИСТИЧЕСКОГО ПОДХОДА

АДАПТИВНАЯ ПРОЦЕДУРА ОБОЩЕННОГО СГЛАЖИВАНИЯ ИЗОБРАЖЕНИЙ НА ОСНОВЕ СТАТИСТИЧЕСКОГО ПОДХОДА АДАПТИВНАЯ ПРОЦЕДУРА ОБОЩЕННОГО СГЛАЖИВАНИЯ ИЗОБРАЖЕНИЙ НА ОСНОВЕ СТАТИСТИЧЕСКОГО ПОДХОДА Грачева Инесса Александровна, gia1509@mail.ru, Россия, Тула, Тульский государственный университет, Копылов Андрей

Подробнее

Теоретические основы синтеза радиотехнических систем

Теоретические основы синтеза радиотехнических систем Теоретические основы синтеза радиотехнических систем Лекция 7. Статистическое описание событий и процессов Практическое понятие вероятности Если имеется N результатов экспериментов, среди которых событие

Подробнее

План лекции. Статистики, свойства оценок. Методы оценки параметров. Доверительные интервалы, оценка статистических ошибок

План лекции. Статистики, свойства оценок. Методы оценки параметров. Доверительные интервалы, оценка статистических ошибок План лекции Статистики, свойства оценок. Методы оценки параметров метод моментов метод максимума правдоподобия метод наименьших квадратов Доверительные интервалы, оценка статистических ошибок Функция результатов

Подробнее

БАЙЕСОВСКИЙ ПОДХОД К ЗАДАЧЕ ОБУЧЕНИЯ РАСПОЗНАВАНИЮ ОБРАЗОВ В НЕСТАЦИОНАРНОЙ ГЕНЕРАЛЬНОЙ СОВОКУПНОСТИ

БАЙЕСОВСКИЙ ПОДХОД К ЗАДАЧЕ ОБУЧЕНИЯ РАСПОЗНАВАНИЮ ОБРАЗОВ В НЕСТАЦИОНАРНОЙ ГЕНЕРАЛЬНОЙ СОВОКУПНОСТИ 2-я Международная молодежная научная школа «Приборы и методы экспериментальной ядерной физики. Электроника и автоматика экспериментальных установок» ОИЯИ, Дубна, 2011 БАЙЕСОВСКИЙ ПОДХОД К ЗАДАЧЕ ОБУЧЕНИЯ

Подробнее

Topic Modeling Кольцов С.Н.

Topic Modeling Кольцов С.Н. http://linis.hse.ru/ Topic Modeling Кольцов С.Н. Введение в тематическое моделирование Тематическое моделирование в это способ построения модели коллекции текстовых документов, которая определяет, к каким

Подробнее

Semi-supervised Learning with Deep Generative Models

Semi-supervised Learning with Deep Generative Models Semi-supervised Learning with Deep Generative Models Хайруллин Ринат Московский физико-технический институт Хайруллин Ринат Page Rank 1 / 28 План доклада Вариационный вывод и SVGB. Deep Generative Models

Подробнее

Линейная регрессия Линейная классификация. Линейные модели. Сергей Николенко. Computer Science Club, Казань, 2014

Линейная регрессия Линейная классификация. Линейные модели. Сергей Николенко. Computer Science Club, Казань, 2014 Computer Science Club, Казань, 2014 Outline 1 2 Классификация по-байесовски Логистическая регрессия В предыдущей серии... Теорема Байеса: p(θ D) = p(θ)p(d θ). p(d) Две основные задачи байесовского вывода:

Подробнее

Алгоритм передачи сообщений

Алгоритм передачи сообщений Академический Университет, 2012 Outline 1 2 Сложная структура графа Сложные факторы Важная для вывода модификация фактор-граф (можно построить и по направленной модели, и по ненаправленной). Фактор-граф

Подробнее

Лекция 5. Решение задачи выбора модели по Байесу. Обоснованность модели

Лекция 5. Решение задачи выбора модели по Байесу. Обоснованность модели выбора выбора Д. П. Ветров 1 Д. А. 2 1 МГУ, ВМиК, каф. ММП 2 ВЦ РАН Спецкурс «Байесовские методы машинного обучения» План лекции выбора 1 2 Пример априорных знаний Сопряженные распределения Иерархическая

Подробнее

Искусственный интеллект: современный подход. Знания и рассуждения в условиях неопределённости

Искусственный интеллект: современный подход. Знания и рассуждения в условиях неопределённости Искусственный интеллект: современный подход Знания и рассуждения в условиях неопределённости Логический подход p Симптом(p, зубная боль) Болезнь(p, дупло) p Симптом(p, зубная боль) Болезнь(p, дупло) Болезнь(p,

Подробнее

Система распознавания семиографических песнопений

Система распознавания семиографических песнопений Выломова ЕА, студентка группы ИУ5-8 Система распознавания семиографических песнопений Одной из важных и в высшей степени интересных задач в изучении музыкальной культуры древней Руси является раскрытие

Подробнее

Лекция 9. Приближенные способы вывода. Вариационный подход.

Лекция 9. Приближенные способы вывода. Вариационный подход. способы вывода. Д. П. Ветров 1 Д. А. 2 1 МГУ, ВМиК, каф. ММП 2 ВЦ РАН Спецкурс «Байесовские ы машинного обучения», 2009 План лекции 1 2 Вариационная линейная регрессия 3 Пример использования Дивергенция

Подробнее

Лекция 4. Статистические методы распознавания, Распознавание при заданной точности для некоторых классов, ROC-анализ. Лектор Сенько Олег Валентинович

Лекция 4. Статистические методы распознавания, Распознавание при заданной точности для некоторых классов, ROC-анализ. Лектор Сенько Олег Валентинович Лекция 4 Статистические методы распознавания, Распознавание при заданной точности для некоторых классов, ROC-анализ Лектор Сенько Олег Валентинович Курс «Математические основы теории прогнозирования» 4-й

Подробнее

Мультимодальные тематические модели социальных сетей

Мультимодальные тематические модели социальных сетей Мультимодальные тематические модели социальных сетей Костюк А. А. Московский физико-технический институт Факультет управления и прикладной математики Кафедра интеллектуальных систем Научный руководитель:

Подробнее

ДНК-микрочипы и анализ данных по экспрессии генов

ДНК-микрочипы и анализ данных по экспрессии генов ДНК-микрочипы и анализ данных по экспрессии генов ДНК-микрочипы Способ измерения уровня экспрессии РНК для каждого гена. Принцип действия: гибридизация мрнк с зондом - комплиментарной ДНК последовательностью

Подробнее

А.В. Колесников. Теория вероятностей 2. Случайные процессы. Высшая Школа Экономики. Математический факультет. Москва гг.

А.В. Колесников. Теория вероятностей 2. Случайные процессы. Высшая Школа Экономики. Математический факультет. Москва гг. А.В. Колесников Теория вероятностей 2. Случайные процессы. Высшая Школа Экономики. Математический факультет. Москва. 2013 гг. Сходимость: основные соотношения 1) сходимость п.н. сходимость по вероятности

Подробнее

А. С. Конушин 1 Д. П. Ветров 2 Д. А. Кропотов 3 В. С. Конушин 1 О. В. Баринова 1. Спецкурс «Структурные методы анализа изображений и сигналов»

А. С. Конушин 1 Д. П. Ветров 2 Д. А. Кропотов 3 В. С. Конушин 1 О. В. Баринова 1. Спецкурс «Структурные методы анализа изображений и сигналов» . Фильтр. Фильтр А. С. Конушин 1 Д. П. Ветров 2 Д. А. 3 В. С. Конушин 1 О. В. Баринова 1 1 МГУ, ВМиК, лаб. КГ 2 МГУ, ВМиК, каф. ММП 3 ВЦ РАН Спецкурс «Структурные методы анализа изображений и сигналов»

Подробнее

Тематическое моделирование

Тематическое моделирование DataFest 2, 6 марта 2016 г. Outline От наивного байеса к topic modeling Naive Bayes plsa 1 От наивного байеса к topic modeling Naive Bayes plsa 2 Категоризация текстов Naive Bayes plsa Классическая задача

Подробнее

Лекция 2. Вероятностная постановка задач классификации и регрессии.

Лекция 2. Вероятностная постановка задач классификации и регрессии. задач задач Д. П. Ветров 1 Д. А. 2 1 МГУ, ВМиК, каф. ММП 2 ВЦ РАН Спецкурс «методы» План лекции задач 1 Нормальное распределение Решение несовместных СЛАУ 2 Вероятностное описание правила 3 Классическая

Подробнее

А. С. Конушин 1 Д. П. Ветров 2 Д. А. Кропотов 3 В. С. Конушин 1 О. В. Баринова 1. Спецкурс «Структурные методы анализа изображений и сигналов»

А. С. Конушин 1 Д. П. Ветров 2 Д. А. Кропотов 3 В. С. Конушин 1 О. В. Баринова 1. Спецкурс «Структурные методы анализа изображений и сигналов» А. С. Конушин 1 Д. П. 2 Д. А. Кропотов 3 В. С. Конушин 1 О. В. Баринова 1 1 МГУ, ВМиК, лаб. КГ 2 МГУ, ВМиК, каф. ММП 3 ВЦ РАН Спецкурс «Структурные методы анализа изображений и сигналов» План 1 2 3 Задачи

Подробнее

Скрытые марковские модели

Скрытые марковские модели : основное Академический Университет, весенний семестр 2011 Outline : основное 1 : основное 2 Смеси выпуклых распределений Продолжительность состояния : основное Марковская цепь задаётся начальным распределением

Подробнее

Ответы на тест по курсу Теория вероятностей и математическая статистика. Июнь 2004 года. A n F. n=1. i=1

Ответы на тест по курсу Теория вероятностей и математическая статистика. Июнь 2004 года. A n F. n=1. i=1 Ответы на тест по курсу Теория вероятностей и математическая статистика. Июнь 2004 года 1 1. Основные понятия теории вероятностей. 1.1 1.2 A B = A B = A B (A \ B) (B \ A) = A B 1.3 A (A B) = A (A B) =

Подробнее

Д. П. Ветров 1 Д. А. Кропотов 2

Д. П. Ветров 1 Д. А. Кропотов 2 решение Лекция 8. Д. П. Ветров 1 Д. А. 2 1 МГУ, ВМиК, каф. ММП 2 ВЦ РАН Спецкурс «Байесовские методы машинного обучения» План лекции решение 1 Дифференцирование матриц Задача оптимального распределения

Подробнее

Непараметрические байесовские методы. Китайский ресторан и индийский буфет. Сергей Николенко. Mail.Ru, 18 декабря 2013 г.

Непараметрические байесовские методы. Китайский ресторан и индийский буфет. Сергей Николенко. Mail.Ru, 18 декабря 2013 г. : Китайский ресторан и индийский буфет Mail.Ru, 18 декабря 2013 г. Outline Кластеризация О задаче кластеризации О байесовском выводе 1 Кластеризация О задаче кластеризации О байесовском выводе 2 Общая

Подробнее

представление А. С. Конушин 1 Д. П. Ветров 2 Д. А. Кропотов 3 В. С. Конушин 1 О. В. Баринова 1

представление А. С. Конушин 1 Д. П. Ветров 2 Д. А. Кропотов 3 В. С. Конушин 1 О. В. Баринова 1 . Общее. Общее А. С. Конушин 1 Д. П. 2 Д. А. Кропотов 3 В. С. Конушин 1 О. В. Баринова 1 1 МГУ, ВМиК, лаб. КГ 2 МГУ, ВМиК, каф. ММП 2 ВЦ РАН Спецкурс «Структурные методы анализа изображений и сигналов»

Подробнее

Непараметрические байесовские методы. Процессы Дирихле.

Непараметрические байесовские методы. Процессы Дирихле. Непараметрические байесовские методы. Процессы Дирихле. Антон Осокин 15 сентября 1 г. Аннотация Этот конспект посвящён описанию случайных процессов Дирихле и методов работы с ними. Основная задача конспекта

Подробнее

Д. П. Ветров 1 Д. А. Кропотов 2

Д. П. Ветров 1 Д. А. Кропотов 2 выбора Д. П. Ветров 1 Д. А. 2 1 МГУ, ВМиК, каф. ММП 2 ВЦ РАН Спецкурс «Байесовские методы машинного обучения» План лекции 1 выбора 2 Общий характер проблемы выбора Примеры задач выбора 3 выбора Кросс-валидация

Подробнее

52. Чем определяется потенциальная точность совместных оценок частоты и задержки сигнала? 53. В чём заключается идея оценивания параметров сигнала с

52. Чем определяется потенциальная точность совместных оценок частоты и задержки сигнала? 53. В чём заключается идея оценивания параметров сигнала с Контрольные вопросы 0. Вывод рекуррентного уравнения для АПВ дискретных марковских 1. Как преобразуются ПВ распределения случайных величин при их функциональном преобразовании? 2. Что такое корреляционная

Подробнее

Априорные распределения

Априорные распределения Казанский Федеральный Университет, 2014 Outline 1 2 О гауссианах ML vs. MAP Мы остановились на том, что в статистике обычно ищут гипотезу максимального правдоподобия (maximum likelihood): θ ML = arg max

Подробнее

Дискриминантные функции Перцептрон И снова о разделяющих поверхностях. Классификаторы. Сергей Николенко. Центр Речевых Технологий, 2012

Дискриминантные функции Перцептрон И снова о разделяющих поверхностях. Классификаторы. Сергей Николенко. Центр Речевых Технологий, 2012 Центр Речевых Технологий, 2012 Outline Наименьшие квадраты Линейный дискриминант Фишера 1 Дискриминантные функции Наименьшие квадраты Линейный дискриминант Фишера 2 Доказательство сходимости 3 LDA и QDA

Подробнее

лектор к.ф.-м.н. Д. А. Шабанов Весна 2012

лектор к.ф.-м.н. Д. А. Шабанов Весна 2012 Программа курса Математическая статистика лектор к.ф.-м.н. Д. А. Шабанов Весна 2012 1. Основная задача математической статистики. Примеры: выборка и линейная модель. 2. Различные виды сходимостей случайных

Подробнее

Примеры вероятностных моделей

Примеры вероятностных моделей Computer Science Club, Казань, 2014 Outline Категоризация текстов: naive Bayes и LDA Naive Bayes Latent Dirichlet allocation 1 Категоризация текстов: naive Bayes и LDA Naive Bayes Latent Dirichlet allocation

Подробнее

СВОЙСТВА НЕПАРАМЕТРИЧЕСКОЙ ОЦЕНКИ МНОГОМЕРНОЙ ПЛОТНОСТИ ВЕРОЯТНОСТИ НЕЗАВИСИМЫХ СЛУЧАЙНЫХ ВЕЛИЧИН

СВОЙСТВА НЕПАРАМЕТРИЧЕСКОЙ ОЦЕНКИ МНОГОМЕРНОЙ ПЛОТНОСТИ ВЕРОЯТНОСТИ НЕЗАВИСИМЫХ СЛУЧАЙНЫХ ВЕЛИЧИН Стохастические системы 0 (3 УДК 597 0 г АВ Лапко д-р техн наук ВА Лапко д-р техн наук (Институт вычислительного моделирования СО РАН Красноярск (Сибирский государственный аэрокосмический университет имени

Подробнее

ИССЛЕДОВАНИЕ МЕТОДА ЯДЕРНОЙ ОЦЕНКИ ПЛОТНОСТИ РАСПРЕДЕЛЕНИЯ

ИССЛЕДОВАНИЕ МЕТОДА ЯДЕРНОЙ ОЦЕНКИ ПЛОТНОСТИ РАСПРЕДЕЛЕНИЯ ИССЛЕДОВАНИЕ МЕТОДА ЯДЕРНОЙ ОЦЕНКИ ПЛОТНОСТИ РАСПРЕДЕЛЕНИЯ А.В. Антонов, Н.Г. Зюляева, В.А. Чепурко В настоящее время особую актуальность имеют вопросы обеспечения надежного функционирования объектов ядерной

Подробнее

Глава IV Идентификация динамических характеристик по экспериментальным данным

Глава IV Идентификация динамических характеристик по экспериментальным данным Глава IV Идентификация динамических характеристик по экспериментальным данным Построение модели системы управления и ее элементов не всегда удается осуществлять аналитически, т.е. на основе использования

Подробнее

Вероятностные классификаторы

Вероятностные классификаторы Казанский Федеральный Университет, 2014 Outline И снова о разделяющих поверхностях LDA и QDA QDA и прочие замечания 1 И снова о разделяющих поверхностях LDA и QDA QDA и прочие замечания 2 Два класса IRLS

Подробнее

1.1. Функция правдоподобия 1.2. Функция результатов наблюдения (статистика)

1.1. Функция правдоподобия 1.2. Функция результатов наблюдения (статистика) Информация План 1. Основные понятия 1.1. Функция правдоподобия 1.2. Функция результатов наблюдения (статистика) 2. Информация Фишера... 2.1. Определение информации 2.2. Свойства информации 3. Достаточные

Подробнее

Лекция 12.Байесовский подход

Лекция 12.Байесовский подход Лекция 12.Байесовский подход Буре В.М., Грауэр Л.В. ШАД Санкт-Петербург, 2013 Буре В.М., Грауэр Л.В. (ШАД) Байесовский подход Санкт-Петербург, 2013 1 / 36 Cодержание Содержание 1 Байесовский подход к статистическому

Подробнее

О марковских случайных полях и их связи с цепями Маркова

О марковских случайных полях и их связи с цепями Маркова О марковских случайных полях и их связи с цепями Маркова А.А. Петюшко В данной работе рассматриваются марковские и скрытые марковские случайные поля. Устанавливаются взаимосвязи между марковскими случайными

Подробнее

Регуляризация и начала классификации

Регуляризация и начала классификации Казанский Федеральный Университет, 2014 Outline О регрессии 1 О регрессии 2 Полиномиальная аппроксимация Напоминаю, что в прошлый раз мы говорили о регрессии с базисными функциями: f (x, w) = w 0 + M w

Подробнее

Введение в обработку текстов

Введение в обработку текстов Введение в обработку текстов Лекция 5 Методы классификации и кластеризации Модели классификации Производящие (наивная байесовская модель, скрытые марковские модели) предполагают независимость наблюдаемых

Подробнее

Основы обработки. Лекция 5 Методы классификации и кластеризации

Основы обработки. Лекция 5 Методы классификации и кластеризации Основы обработки текстов Лекция 5 Методы классификации и кластеризации Модели классификации Производящие (наивная байесовская модель, скрытые марковские модели) предполагают независимость наблюдаемых переменных

Подробнее

Нижние оценки трудоемкости одного класса марковских алгоритмов случайного поиска

Нижние оценки трудоемкости одного класса марковских алгоритмов случайного поиска Нижние оценки трудоемкости одного класса марковских алгоритмов случайного поиска Тихомиров Алексей Сергеевич Новгородский государственный университет 56-я научная конференция МФТИ 1/15 Тихомиров Алексей

Подробнее

Машинное обучение: обзор целевых функций

Машинное обучение: обзор целевых функций Машинное обучение: обзор целевых функций И. Куралёнок, Н. Поваров Яндекс СПб, 2013 И. Кураленок, Н. Поваров, Яндекс Санкт-Петербург, 2013 Стр. 1 из 35 Задача на сегодня Строить варианты целевой функции

Подробнее

лектор к.ф.-м.н. Д. А. Шабанов Весна 2011

лектор к.ф.-м.н. Д. А. Шабанов Весна 2011 Программа курса Математическая статистика лектор к.ф.-м.н. Д. А. Шабанов Весна 2011 1. Основная задача математической статистики. Понятие вероятностно-статистической модели. Примеры: выборка и линейная

Подробнее