Машинное обучение. Классификация

Save this PDF as:
 WORD  PNG  TXT  JPG

Размер: px
Начинать показ со страницы:

Download "Машинное обучение. Классификация"

Транскрипт

1 Машинное обучение. Классификация Компьютерные методы анализа текста Кирилл Александрович Маслинский НИУ ВШЭ Санкт-Петербург / 05

2 Outline Машинное обучение Задача классификации Деревья принятия решений Наивный Байес Оценка качества классификации

3 Машинное обучение Задача машинного обучения Задача: научиться предсказывать трудно формализуемые, но важные для человека свойства объекта (текста). target Определить набор интересующих нас меток features Представить объект в виде набора свойств model На основании статистики распределения свойств в объектах с известными метками построить модель, предсказывающую метки новых объектов (которых модель еще не видела). PROFIT!

4 Машинное обучение Задача машинного обучения Задача: научиться предсказывать трудно формализуемые, но важные для человека свойства объекта (текста). target Определить набор интересующих нас меток features Представить объект в виде набора свойств model На основании статистики распределения свойств в объектах с известными метками построить модель, предсказывающую метки новых объектов (которых модель еще не видела). PROFIT!

5 Машинное обучение Разновидности машинного обучения supervised Обучение с учителем. Модель учится предсказывать, опираясь на образцы меток, поставленных человеком. unsupervised Обучение без учителя. Модель учится предсказывать на основании общих предположений о распределении свойств в объектах, без подготовленных человеком размеченных образцов. semi-supervised Обучение с использованием внешних знаний. Модель опирается на небольшое количество размеченных человеком образцов и активное использование знаний о предметной области: словари понятий, распределения свойств и т.п.

6 Машинное обучение Терминология Обучающая выборка / training set Набор объектов с выставленными человеком «правильными» метками, на основании которых строится («обучается») модель. Тестовая выборка / test set Набор объектов с выставленными человеком «правильными» метками, с помощью которых можно проверить, совпадают ли предложенные моделью метки с правильными.

7 Задача классификации Задача классификации текстов Задача: Заранее известен список классов Необходимо автоматически отнести каждый объект к одному из классов

8 Задача классификации Области применения классификации в NLP Документ целиком: Определение языка текста Определение тематики текста (из набора известных тем) Sentiment classification (определение положительных/отрицательных отзывов) Определение автора текста (из списка кандидатов) Отдельный токен (слово): Разделение текста на предложения (классификация точек) Определение части речи (part-of-speech tagging) Снятие омонимии (выбор значения слова) Извлечение именованных сущностей (Named entity recognition) Извлечение отношений (Relations extraction)

9 Задача классификации Training set Обучающая выборка, Training set Множество текстов, закодированных человеком. Каждый текст в обучающей выборке: Feature vector Вектор числовых свойств (например частот слов) Label Метка класса Тестовая выборка, Test set Аналогично обучающей выборке, служит для оценки качества работы алгоритма классификации. Задача классификатора: На основании примеров из обучающей выборки подобрать набор характерных свойств каждого класса. При предъявлении нового документа относить его к наиболее подходящему классу.

10 Обучающая выборка, Training set Множество текстов, закодированных человеком. Каждый текст в обучающей выборке: Feature vector Вектор числовых свойств КМАТ 05 Задача классификации Training set

11 Деревья принятия решений Гипотетический пример Задача Предсказать присутствие студента на занятии. Свойства: Тип занятия: лекция/семинар Пол студента: м/ж Успеваемость: отличник/не-отличник Был ли на первой лекции? Был ли на предыдущем занятии? Неделя до зачета?

12 Деревья принятия решений Пример дерева 1 отл Успеваемость не-отл На предыдущем? Скоро зачет + - Пол Тип занятия Все факты и действующие лица вымышлены, при составлении дерева ни один студент не пострадал.

13 Деревья принятия решений Алгоритм 1. Выбрать подмножество документов, соответствующих узлу. 2. Для каждого узла (начиная от корневого): 2.1 Выбрать атрибут, наилучшим образом разделяющий подмножество документов на искомые классы. 2.2 Для каждого значения атрибута создать новый узел, выделить соответствующее подмножество документов. 2.3 Для каждого нового узла повторить процедуру начиная с шага 1. Критерии остановки: В данной ветке дерева уже использованы все возможные атрибуты. В данном подмножестве все документы одного и того же класса.

14 Деревья принятия решений Энтропия метки энтропия Какой атрибут проверять в данном узле? Самый полезный для классификации примеров. Мера неопределенности. H = N P(l) log 2 P(l) (1) l=1 где l метка класса

15 Деревья принятия решений Information gain Измеряет ожидаемое сокращение неопределенности (энтропии). Gain(S, A) = H(S) v A S v S H(S v ) (2) где S исходная коллекция, A свойство, v возможное значение свойства

16 Деревья принятия решений Примеры [10+, 10-] ж [6+, 6-] м [4+, 4-] Энтропия до разбиения H(10/20, 10/20) = 10/20 log(10/20) 10/20 log(10/20) = 1 Разбиение по признаку «Пол студента» H(ж) = 6/12 log(6/12) 6/12 log(6/12) = 1 H(м) = 4/8 log(4/8) 4/8 log(4/8) = 1 Ожидаемая энтропия после разбиения 12/20H(ж) + 8/20H(м) = 1

17 Деревья принятия решений Примеры [10+, 10-] отличники [4+, 1-] не-отличники [5+, 10-] Энтропия до разбиения Разбиение по признаку «Отличник» H(отличники) = 4/5 log(4/5) 1/5 log(1/5) = 0.72 H(не-отличники) = 5/15 log(5/15) 10/15 log(10/15) = 0.92 Ожидаемая энтропия после разбиения 5/20H(отличники) + 15/20H(не-отличники) = 0.87 Gain = = 0.13

18 Деревья принятия решений Деревья принятия решений: преимущества и недостатки Преимущества: Человеку легко понять и интерпретировать дерево принятия решений Хорошо выбирает наиболее информативные различительные признаки классов Классификатор работает очень быстро Недостатки: Overfitting (глубже в дереве недостаточно примеров для тренировки классификатора) Предполагает проверку свойств в определенном порядке, даже если свойства независимы Плохо используют свойства, которые являются слабыми предикторами класса

19 Наивный Байес Условная вероятность P(Event Condition)

20 Наивный Байес Вероятность независимых событий Независимые события наступление одного не изменяет вероятности другого. P(B A) = P(B) P(B) > 0 (3) P(B A) = P(A) P(B) (4)

21 Наивный Байес Совместная вероятность Для независимых A и B: p(a и B) = p(a)p(b) p(b A) = p(b) В общем случае: p(a и B) = p(a)p(b A) p(b A) > p(b)

22 Наивный Байес Совместная вероятность Для независимых A и B: p(a и B) = p(a)p(b) p(b A) = p(b) В общем случае: p(a и B) = p(a)p(b A) p(b A) > p(b)

23 Наивный Байес Правило Байеса P(A B) = P(B A)P(A) P(B) (5) posterior = likelihood prior evidence (6)

24 Наивный Байес Правило Байеса P(A B) = P(B A)P(A) P(B) (5) posterior = likelihood prior evidence (6)

25 Наивный Байес Правило Байеса применительно к классификации P(label features) = P(features label)p(label) P(features) (7)

26 Наивный Байес Naive Bayes classifier Задача: Имея набор свойств (E) выбрать наиболее вероятную гипотезу (класс, H). Знаменатель Р(E) константа и не влияет на результат классификации. P(label features) P(features label)p(label) Maximum a posteriory estimation

27 Наивный Байес Упрощающее предположение Вычислить likelihood: P(features label) = Bayes assumption: Все свойства независимы друг от друга. = P(f label) f features

28 Наивный Байес Naive Bayes example

29 Наивный Байес Naive Bayes example Prior(Green) f (Green) total = Prior(Red) c f (Red) total = 20 60

30 Наивный Байес Naive Bayes example

31 Наивный Байес Naive Bayes example Likelihood(X Green) Likelihood(X Red) f (Green near X) f (Green) f (Red near X) f (Red) = 1 40 = 3 20

32 Наивный Байес Naive Bayes example Posterior(Green X) Likelihood(X Green) Prior(Green) = = 1 60 Posterior(Red X) Likelihood(X Red) Prior(Red) = = 1 20

33 Наивный Байес Аддитивное сглаживание Laplas smoothing

34 Наивный Байес Эксперимент Эксперимент на людях

35 Наивный Байес Наивный Байес: преимущества и недостатки Преимущества: Годится для большого числа атрибутов, малой обучающей выборки На удивление хорошо работает в очень многих задачах Вычислительно эффективен (быстро учится и классифицирует) Недостатки: Предположение о независимости неверно. Проблема нулевых значений (атрибут не встречается в обучающей выборке) требует сглаживания

36 Наивный Байес Обзор алгоритмов классификации Обучающиеся правилам классификации (rule-based): Decision tree, knn (k Nearest Neighbors), SVM (Support Vector Machine) Вероятностные алгоритмы: Naive Bayes и др. генеративные алгоритмы, см. Bayesian inference Методы снижения размерности: SVD (Singular Value Decomposition) и др....

37 Оценка качества классификации Accuracy Accuracy = P N (8) P количество документов, где классификатор принял правильное решение N размер обучающей выборки

38 Оценка качества классификации Таблица сопряженности Contingency table Таблица верных и неверных решений по документам данного класса: TP правильно отнесла к классу TN правильно не включила в класс FP ошибочно отнесла к классу FN ошибочно не включила в класс

39 Оценка качества классификации Точность и полнота Precision = Recall = TP TP + FP TP TP + FN (9) (10)

40 Оценка качества классификации Матрица неточностей Confusion matrix

41 Оценка качества классификации F-мера F α = (1 + α)pr αp + R (11) F 1 = 2PR P + R (12)

42 Оценка качества классификации Кросс-валидация Разбить тренировочное множество на N частей поочередно выбирать каждую из частей в качестве тестового множества, остальные части составляют тренировочное множество

Отчет по Competetion 3

Отчет по Competetion 3 Отчет по Competetion 3 Yandex SHAD & MIPT FIVT, ML, Spring 2015 [Kaggle.com] Морозов Алексей, ВМК МГУ 12 мая 2015 Формулировка задачи Yandex SHAD & MIPT FIVT, ML, Spring 2015 [Kaggle.com] Задача: Функционал

Подробнее

Байесовские классификаторы

Байесовские классификаторы Академический Университет, весенний семестр 2011 Outline 1 2 Multivariate Naive Bayes Multinomial Naive Bayes Применяем теорему Байеса Итак, нам нужно найти наиболее вероятную гипотезу h H при условии

Подробнее

Научно-технический журнал «ТЕОРИЯ. ПРАКТИКА. ИННОВАЦИИ» ИЮЛЬ 2016 КИБЕРНЕТИКА

Научно-технический журнал «ТЕОРИЯ. ПРАКТИКА. ИННОВАЦИИ» ИЮЛЬ 2016 КИБЕРНЕТИКА УДК 681.3 АНАЛИЗ ТОНАЛЬНОСТИ ТЕКСТОВЫХ СООБЩЕНИЙ СОЦИАЛЬНОЙ СЕТИ TWITTER Аксенов А.В. НИЯУ МИФИ «Национальный Исследовательский Ядерный Университет «МИФИ»» E-mail: Flarher@yandex.ru В работе предлагаются

Подробнее

Сравнительный анализ алгоритмов классификации и способов представления Web- документов

Сравнительный анализ алгоритмов классификации и способов представления Web- документов Сравнительный анализ алгоритмов классификации и способов представления Web- документов Схема работы SPeCS Интернет Правка запроса по ключевым словаи Выбор запроса по ключевым словам Фильтрация документов

Подробнее

Автоматическое определение объектов авторской эмоциональной оценки в коротких сообщениях пользователей социальных сетей

Автоматическое определение объектов авторской эмоциональной оценки в коротких сообщениях пользователей социальных сетей Автоматическое определение объектов авторской эмоциональной оценки в коротких сообщениях пользователей социальных сетей Широкова Елена Сергеевна Научные руководители: к.ф. м.н. Турдаков Денис Юрьевич,

Подробнее

ДНК-микрочипы и анализ данных по экспрессии генов

ДНК-микрочипы и анализ данных по экспрессии генов ДНК-микрочипы и анализ данных по экспрессии генов ДНК-микрочипы Способ измерения уровня экспрессии РНК для каждого гена. Принцип действия: гибридизация мрнк с зондом - комплиментарной ДНК последовательностью

Подробнее

Классификаторы II: логит и naive Bayes

Классификаторы II: логит и naive Bayes Академический Университет, 2012 Outline И снова о разделяющих поверхностях 1 И снова о разделяющих поверхностях 2 Наивный байесовский классификатор Multinomial vs. multivariate В прошлый раз В прошлый

Подробнее

Часть II. Последовательности

Часть II. Последовательности Часть II Последовательности N-граммы. Моделирование локального контекста Компьютерные методы анализа текста Кирилл Александрович Маслинский НИУ ВШЭ Санкт-Петербург 14.02.2014 / 04 Outline Контекст Предсказание

Подробнее

Категоризация текстов и модель LDA

Категоризация текстов и модель LDA Центр Речевых Технологий, 2012 Outline Категоризация текстов 1 Категоризация текстов Категоризация текстов Классическая задача машинного обучения и information retrieval категоризация текстов. Дан набор

Подробнее

ОЦЕНКА ТОЧНОСТИ КЛАССИФИКАЦИИ ТЕКСТОВ В ЗАВИСИМОСТИ ОТ ИХ ЧИСЛА СРЕДСТВАМИ DATA MINING

ОЦЕНКА ТОЧНОСТИ КЛАССИФИКАЦИИ ТЕКСТОВ В ЗАВИСИМОСТИ ОТ ИХ ЧИСЛА СРЕДСТВАМИ DATA MINING А. К. Бызова, С. Л. Гольдштейн Бызова А. К., Гольдштейн С. Л. Бызова А. К., Гольдштейн С. Л. ОЦЕНКА ТОЧНОСТИ КЛАССИФИКАЦИИ ТЕКСТОВ В ЗАВИСИМОСТИ ОТ ИХ ЧИСЛА СРЕДСТВАМИ DATA MINING 224 УДК 4.62 Оценка точности

Подробнее

МИНОБРНАУКИ РОССИИ. Факультет информационных технологий. Кафедра систем информатики. (название кафедры)

МИНОБРНАУКИ РОССИИ. Факультет информационных технологий. Кафедра систем информатики. (название кафедры) МИНОБРНАУКИ РОССИИ ФЕДЕРАЛЬНОЕ ГОСУДАРСТВЕННОЕ АВТОНОМНОЕ ОБРАЗОВАТЕЛЬНОЕ УЧРЕЖДЕНИЕ ВЫСШЕГО ОБРАЗОВАНИЯ «НОВОСИБИРСКИЙ НАЦИОНАЛЬНЫЙ ИССЛЕДОВАТЕЛЬСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ» (НОВОСИБИРСКИЙ ГОСУДАРСТВЕННЫЙ

Подробнее

КЛАССИФИКАЦИЯ. Содержание. Классификация и прогноз

КЛАССИФИКАЦИЯ. Содержание. Классификация и прогноз КЛАССИФИКАЦИЯ В человеческой сфере невозможна никакая линейная классификация. Э. Менье Содержание 2 Понятия классификации и прогноза Процесс классификации Классификация с помощью деревьев решений Классификация

Подробнее

Наивный Байесовский классификатор

Наивный Байесовский классификатор Наивный Байесовский классификатор Александр Сизов, Сергей Николенко 1/41 Александр Сизов, Сергей Николенко Наивный Байесовский классификатор Outline Naive Bayes 1 Naive Bayes 2 Multinomial vs. multivariate

Подробнее

Машинное обучение (Machine Learning)

Машинное обучение (Machine Learning) Машинное обучение (Machine Learning) Уткин Л.В. Содержание 1 Наивный байесовский классификатор 2 1 Метод k ближайших соседей 2 Метод окна Парзена 3 Метод потенциальных функций Презентация является компиляцией

Подробнее

«Национальный исследовательский университет «Высшая школа экономики»

«Национальный исследовательский университет «Высшая школа экономики» Правительство Российской Федерации Федеральное государственное автономное образовательное учреждение высшего профессионального образования «Национальный исследовательский университет «Высшая школа экономики»

Подробнее

Обработка естественного языка и понимание речи

Обработка естественного языка и понимание речи Обработка естественного языка и понимание речи Воронцов Константин Вячеславович Лаборатория машинного интеллекта, Московский Физико-Технический Институт ООО «Айтея» voron@forecsys.ru Обработка естественного

Подробнее

Решение задачи классификации для построения прогнозных моделей пассажиропотока в среде MATLAB 1

Решение задачи классификации для построения прогнозных моделей пассажиропотока в среде MATLAB 1 Информационные процессы, Том 17, 1,, стр. 14 18 c Антонова, Волков, Кузнецов, Старостенко. МАТЕМАТИЧЕСКИЕ МОДЕЛИ, ВЫЧИСЛИТЕЛЬНЫЕ МЕТОДЫ Решение задачи классификации для построения прогнозных моделей пассажиропотока

Подробнее

ОБРАБОТКА ИНФОРМАЦИИ

ОБРАБОТКА ИНФОРМАЦИИ СБОРНИК НАУЧНЫХ ТРУДОВ НГТУ. 2011. 3(65). 45 54 УДК 519.217.2 ОБРАБОТКА ИНФОРМАЦИИ ИССЛЕДОВАНИЕ ВОЗМОЖНОСТЕЙ ПРИМЕНЕНИЯ АЛГОРИТМА k-ближайших СОСЕДЕЙ И МЕТОДА ОПОРНЫХ ВЕКТОРОВ ДЛЯ КЛАССИФИКАЦИИ ПОСЛЕДОВАТЕЛЬНОСТЕЙ,

Подробнее

План лекции. Классификация текстов Лекция N 6 курса Современные задачи теоретической информатики. Акценты лекции. План лекции

План лекции. Классификация текстов Лекция N 6 курса Современные задачи теоретической информатики. Акценты лекции. План лекции План лекции Классификация текстов Лекция N 6 курса Современные задачи теоретической информатики Юрий Лифшиц yura@logic.pdmi.ras.ru ИТМО Осень 2005 1, подходы и применения 1 / 22 2 / 22 План лекции Акценты

Подробнее

Обобщенная методика идентификации автора неизвестного текста

Обобщенная методика идентификации автора неизвестного текста 108 УДК 519.25: 004.8 А.С. Романов, А.А. Шелупанов, С.С. Бондарчук Обобщенная методика идентификации автора неизвестного текста Рассмотрена проблема идентификации автора текста при ограниченном наборе

Подробнее

Разработка и реализация алгоритма тоновой классификации коротких текстов

Разработка и реализация алгоритма тоновой классификации коротких текстов Разработка и реализация алгоритма тоновой классификации коротких текстов Выполнила студентка гр.1208 Иванова М.Н. Научный руководитель Загорулько Ю.А. Рубцова Ю.В. Цель работы: разработка тонового классификатора

Подробнее

КЛАССИФИКАЦИЯ ОТЗЫВОВ ПОЛЬЗОВАТЕЛЕЙ С ИСПОЛЬЗОВАНИЕМ КОМБИНИРОВАННОГО ПОДХОДА

КЛАССИФИКАЦИЯ ОТЗЫВОВ ПОЛЬЗОВАТЕЛЕЙ С ИСПОЛЬЗОВАНИЕМ КОМБИНИРОВАННОГО ПОДХОДА КЛАССИФИКАЦИЯ ОТЗЫВОВ ПОЛЬЗОВАТЕЛЕЙ С ИСПОЛЬЗОВАНИЕМ КОМБИНИРОВАННОГО ПОДХОДА Васильев В. (vvg_2000@mail.ru) Давыдов С. (davydov_sergey@hotmail.com) ЛАН-ПРОЕКТ Элементы классификаторов Название компоненты

Подробнее

1 / 22

1 / 22 Классификация текстов Лекция N 6 курса Современные задачи теоретической информатики Юрий Лифшиц yura@logic.pdmi.ras.ru ИТМО Осень 2005 1 / 22 План лекции 1 Постановка задачи, подходы и применения Постановка

Подробнее

Машинное обучение. Антон Конушин

Машинное обучение. Антон Конушин Машинное обучение Антон Конушин http://courses.graphicon.ru/main/vision Slides adapted from Fei-Fei Li, Rob Fergus, Antonio Torralba, Jean Ponce and Svetlana Lazebnik Спонсорская поддержка Этот курс подготовлен

Подробнее

Обработка и классификация документов с использованием системы СКАТ

Обработка и классификация документов с использованием системы СКАТ Обработка и классификация документов с использованием системы СКАТ Васильев В.Г. ООО «ЛАН-ПРОЕКТ» vvg_2000@mail.ru Аннотация В статье рассматриваются методы классификации и процедуры обработки обучающего

Подробнее

Магистерская работа РАЗРАБОТКА И РЕАЛИЗАЦИЯ МЕТОДА АВТОМАТИЧЕСКОГО ОПРЕДЕЛЕНИЯ ЛОГИЧЕСКОГО УДАРЕНИЯ В ПРЕДЛОЖЕНИЯХ НА РУССКОМ ЯЗЫКЕ

Магистерская работа РАЗРАБОТКА И РЕАЛИЗАЦИЯ МЕТОДА АВТОМАТИЧЕСКОГО ОПРЕДЕЛЕНИЯ ЛОГИЧЕСКОГО УДАРЕНИЯ В ПРЕДЛОЖЕНИЯХ НА РУССКОМ ЯЗЫКЕ МОСКОВСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ имени М.В.ЛОМОНОСОВА ФАКУЛЬТЕТ ВЫЧИСЛИТЕЛЬНОЙ МАТЕМАТИКИ И КИБЕРНЕТИКИ КАФЕДРА СИСТЕМНОГО ПРОГРАММИРОВАНИЯ Магистерская работа РАЗРАБОТКА И РЕАЛИЗАЦИЯ МЕТОДА АВТОМАТИЧЕСКОГО

Подробнее

Извлечение фактов и отношений (Information extraction)

Извлечение фактов и отношений (Information extraction) Извлечение фактов и отношений (Information extraction) Компьютерные методы анализа текста Кирилл Александрович Маслинский НИУ ВШЭ Санкт-Петербург 24.04.2013 / 06 Outline Извлечение информации Распознавание

Подробнее

Локальные модели для классификации объектов сложной структуры

Локальные модели для классификации объектов сложной структуры Локальные модели для классификации объектов сложной структуры Исаченко Роман, Жариков Илья, Бочкарёв Артём Научный руководитель: Стрижов В. В. Московский физико-технический институт Математические методы

Подробнее

Юрий Лифшиц. Осень 2006

Юрий Лифшиц. Осень 2006 Автоматическая классификация текстов Лекция N 6 курса Алгоритмы для Интернета Юрий Лифшиц ПОМИ РАН - СПбГУ ИТМО Осень 2006 1 / 30 ... классификация осуществляется на добровольной основе Владимир Стржалковский

Подробнее

Использование ковариационной матрицы для вычисления весовых коэффициентов классификаторов в задаче многоклассового распознавания

Использование ковариационной матрицы для вычисления весовых коэффициентов классификаторов в задаче многоклассового распознавания Использование ковариационной матрицы для вычисления весовых коэффициентов классификаторов в задаче многоклассового распознавания Using covariation matrix for calculating classifiers weight coefficients

Подробнее

Behind LDA. Часть 1. Кольцов С.Н.

Behind LDA. Часть 1. Кольцов С.Н. Behind LDA Часть 1 Кольцов С.Н. Различия в подходах к теории вероятностей Случайная величина это величина, которая принимает в результате опыта одно из множества значений, причём появление того или иного

Подробнее

Оценка моделей. Оценка моделей. Виктор Владимирович Китов. МГУ им.ломоносова, ф-т ВМиК, кафедра ММП. I семестр 2015 г. 1/16

Оценка моделей. Оценка моделей. Виктор Владимирович Китов. МГУ им.ломоносова, ф-т ВМиК, кафедра ММП. I семестр 2015 г. 1/16 1/16 Виктор Владимирович Китов МГУ им.ломоносова, ф-т ВМиК, кафедра ММП. I семестр 2015 г. 2/16 Матрица ошибок (сonfusion matrix) Confusion matrix: Истинный класс 1 2. C Прогноз класса 1 2 C n 11 n 12

Подробнее

Распознавание именованных сущностей с использованием алгоритмов машинного обучения, основанных на принципе минимальной длины описания

Распознавание именованных сущностей с использованием алгоритмов машинного обучения, основанных на принципе минимальной длины описания Московский Государственный Университет имени М. В. Ломоносова Факультет вычислительной математики и кибернетики Кафедра системного программирования Распознавание именованных сущностей с использованием

Подробнее

Распознавание именованных сущностей с использованием алгоритмов машинного обучения, основанных на принципе минимальной длины описания

Распознавание именованных сущностей с использованием алгоритмов машинного обучения, основанных на принципе минимальной длины описания Титульный лист Распознавание именованных сущностей с использованием алгоритмов машинного обучения, основанных на принципе минимальной длины описания курсовая работа Москва 23 Выполнил: Студент 328-й группы

Подробнее

Введение в деревья решений [M.151]

Введение в деревья решений [M.151] Введение в деревья решений [M.151] Деревья решений (decision trees) относятся к числу самых популярных и мощных инструментов Data Mining, позволяющих эффективно решать задачи классификации и регрессии.

Подробнее

Кластеризация и алгоритм EM

Кластеризация и алгоритм EM Академический Университет, 2012 Outline Иерархическая кластеризация методами теории графов 1 Иерархическая кластеризация методами теории графов 2 Суть лекции Иерархическая кластеризация методами теории

Подробнее

Обработка текстов на естественном языке

Обработка текстов на естественном языке Обработка текстов на естественном языке Александр Уланов Лекция 3. Классификация текстов Оглавление курса 1. Введение. Слова, фразы, предложения, наборы текстов 2. Статистики, языковые модели 3. Классификация

Подробнее

Линейная регрессия: регуляризация, предсказания, выб

Линейная регрессия: регуляризация, предсказания, выб Линейная регрессия: регуляризация, предсказания, выбор модели Академический Университет, 2012 Outline Регуляризация и предсказания 1 Регуляризация и предсказания 2 Эквивалентное ядро Байесовское сравнение

Подробнее

Агеев Михаил Сергеевич. Методы автоматической рубрикации текстов, основанные на машинном обучении и знаниях экспертов

Агеев Михаил Сергеевич. Методы автоматической рубрикации текстов, основанные на машинном обучении и знаниях экспертов Московский Государственный Университет им. М.В. Ломоносова На правах рукописи Агеев Михаил Сергеевич Методы автоматической рубрикации текстов, основанные на машинном обучении и знаниях экспертов 05.13.11

Подробнее

Обработка и анализ данных для распознавания человеческих действий Курсовая работа

Обработка и анализ данных для распознавания человеческих действий Курсовая работа САНКТ-ПЕТЕРБУРГСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ Математико-механический факультет Кафедра информационно-аналитических систем Виноградова Анастасия Александровна Обработка и анализ данных для распознавания

Подробнее

Сравнительный анализ алгоритмов классификации и способов представления Web-документов

Сравнительный анализ алгоритмов классификации и способов представления Web-документов Сравнительный анализ алгоритмов классификации и способов представления Web-документов Максаков Алексей ВМиК МГУ bruzz@yandex.ru Аннотация Данная статья посвящена двум основным проблемам рубрикации текстов:

Подробнее

МОДИФИКАЦИЯ, РАЗРАБОТКА И РЕАЛИЗАЦИЯ МЕТОДОВ КЛАССИФИКАЦИИ НОВОСТНЫХ ТЕКСТОВ

МОДИФИКАЦИЯ, РАЗРАБОТКА И РЕАЛИЗАЦИЯ МЕТОДОВ КЛАССИФИКАЦИИ НОВОСТНЫХ ТЕКСТОВ ФЕДЕРАЛЬНОЕ ГОСУДАРСТВЕННОЕ ОБРАЗОВАТЕЛЬНОЕ УЧРЕЖДЕНИЕ ВЫСШЕГО ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ НАЦИОНАЛЬНЫЙ ИССЛЕДОВАТЕЛЬСКИЙ УНИВЕРСИТЕТ «МЭИ» Шаграев Алексей Галимович На правах рукописи УДК 004.852 МОДИФИКАЦИЯ,

Подробнее

Метод деревьев решений для задачи классификации

Метод деревьев решений для задачи классификации Метод деревьев решений для задачи классификации Метода деревьев решений (англ.: decision tree) для задачи классификации (см., например, [1, стр. 119 158]) состоит в том, чтобы осуществлять процесс деления

Подробнее

Введение в машинное обучение. Часть 1.

Введение в машинное обучение. Часть 1. Введение в машинное обучение. Часть 1. Антон Конушин, Ольга Баринова, Вадим Конушин, Антон Якубенко, Александр Велижев МГУ ВМК, Graphics & Media Lab, Весна 2008 4/8/2009 http://graphics.cs.msu.ru 1 План

Подробнее

АНАЛИЗ ТОНАЛЬНОСТИ ТЕКСТА

АНАЛИЗ ТОНАЛЬНОСТИ ТЕКСТА САНКТ- ПЕТЕРБУРГСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ МАТЕМАТИКО- МЕХАНИЧЕСКИЙ ФАКУЛЬТЕТ КАФЕДРА СИСТЕМНОГО ПРОГРАММИРОВАНИЯ АНАЛИЗ ТОНАЛЬНОСТИ ТЕКСТА КУРСОВАЯ РАБОТА СТУДЕНТА 361 ГРУППЫ КАЛМЫКОВА АЛЕКСЕЯ ВЛАДИМИРОВИЧА

Подробнее

Отчет по курсовой работе «Повышение прозрачности сайта госзакупок РФ»

Отчет по курсовой работе «Повышение прозрачности сайта госзакупок РФ» СПБГУ Кафедра системного программирования Отчет по курсовой работе «Повышение прозрачности сайта госзакупок РФ» Студент: Коноплев Юрий 445гр. Научный руководитель: кандидат физ-мат. наук Сергей Сысоев

Подробнее

Глубинный анализ текстовых данных: определение интересов пользователей

Глубинный анализ текстовых данных: определение интересов пользователей Глубинный анализ текстовых данных: определение интересов пользователей Руководители Ефремова Мария, Шиф Алексей Студенты Корскова Наталья, Краюшкин Олег, Смирнов Максим, Чернобай Юлия Что такое интерес?

Подробнее

Лекция 6. Критерии согласия. Проверка независимости двух номинальных признаков

Лекция 6. Критерии согласия. Проверка независимости двух номинальных признаков Лекция 6. Критерии согласия. Проверка независимости двух номинальных признаков Буре В.М., Грауэр Л.В. ШАД Санкт-Петербург, 2013 Буре В.М., Грауэр Л.В. (ШАД) Критерии согласия... Санкт-Петербург, 2013 1

Подробнее

Анализ тональности русскоязычного текста

Анализ тональности русскоязычного текста Анализ тональности русскоязычного текста В.В. Осокин, М.В. Шегай Задача анализа тональности играет важную роль в обработке естественного языка. Рассматривается задача классификации русскоязычного текста

Подробнее

Машинное обучение Логические методы классификации. https://yandexdataschool.ru/edu-process/courses/machine-learning

Машинное обучение Логические методы классификации. https://yandexdataschool.ru/edu-process/courses/machine-learning Машинное обучение Логические методы классификации https://yandexdataschoolru/edu-process/courses/machine-learning 1 Содержание лекции Понятие закономерности Критерий качества закономерностей Поиск закономерностей

Подробнее

Документ. Векторная модель и анализ тематики

Документ. Векторная модель и анализ тематики Документ. Векторная модель и анализ тематики Компьютерные методы анализа текста Кирилл Александрович Маслинский НИУ ВШЭ Санкт-Петербург 17.01.2014 / 03 Outline Анализ корпуса на уровне документов Лексическая

Подробнее

Самообучающиеся системы и нечёткая логика. Сергей Николенко,

Самообучающиеся системы и нечёткая логика. Сергей Николенко, Самообучающиеся системы и нечёткая логика Сергей Николенко, 03.05.2006 SE2004 Curriculum Guidelines SAS.ab. Agent-based systems SAS.ab.1 Machine learning SAS.ab.2 Fuzzy logic SAS.ab.3 Knowledge engineering

Подробнее

Классификация - II. Антон Алексеев, Дмитрий Бобровников Computer Science Center Санкт-Петербург, 2017

Классификация - II. Антон Алексеев, Дмитрий Бобровников Computer Science Center Санкт-Петербург, 2017 Классификация - II Антон Алексеев, Дмитрий Бобровников Computer Science Center Санкт-Петербург, 2017 План занятия 1. 2. 3. 4. 5. Мотивация Постановка задачи классификации Пример классификатора: Naive Bayes

Подробнее

Примеры работы с пакетом "LiblineaR"в системе R

Примеры работы с пакетом LiblineaRв системе R Примеры работы с пакетом "LiblineaR"в системе R Малышева Екатерина 18 апреля 2012 г. Краткое описание пакета "LiblineaR" LiblineaR (интерфейс liblinear C/C++) библиотека для машинного обучения линейного

Подробнее

Основа NNCS - модель представления текстовых документов в виде семантических векторов, получаемых с помощью специальной рекуррентной нейронной сети.

Основа NNCS - модель представления текстовых документов в виде семантических векторов, получаемых с помощью специальной рекуррентной нейронной сети. BINEURO 2005 Основа NNCS - модель представления текстовых документов в виде семантических векторов, получаемых с помощью специальной рекуррентной нейронной сети. "NNCS (Neural Network Classification &

Подробнее

Оценка моделей. Оценка моделей. Виктор Владимирович Китов. МГУ им.ломоносова, ф-т ВМиК, кафедра ММП. I семестр 2015 г. 1/17

Оценка моделей. Оценка моделей. Виктор Владимирович Китов. МГУ им.ломоносова, ф-т ВМиК, кафедра ММП. I семестр 2015 г. 1/17 1/17 Виктор Владимирович Китов МГУ им.ломоносова, ф-т ВМиК, кафедра ММП. I семестр 2015 г. 2/17 Матрица ошибок (сonfusion matrix) Матрица ошибок M = {m ij } C i,j=1 показывает количества объектов, реально

Подробнее

Thumbs up? Sentiment Classification using Machine Learning Techniques

Thumbs up? Sentiment Classification using Machine Learning Techniques Thumbs up? Sentiment Classification using Machine Learning Techniques Авторы: Докладчик: Bo Pang & Lillian Lee Department of CS Cornell University Shivakumar Vaithyanathan IBM Almaden Research Center А.

Подробнее

Оптимизация предсказания оттока абонентов оператора сотовой связи

Оптимизация предсказания оттока абонентов оператора сотовой связи Санкт-Петербургский Государственный Университет» Кафедра Системного Программирования Сулягина Анастасия Александровна Оптимизация предсказания оттока абонентов оператора сотовой связи Курсовая работа Научный

Подробнее

Введение, линейный классификатор, алгоритм персептрон

Введение, линейный классификатор, алгоритм персептрон МАШИННОЕ ОБУЧЕНИЕ 1 лекция проф. Томми Яаккола Введение, линейный классификатор, алгоритм персептрон Вводная лекция, в которой читатель познакомится с некоторыми основными понятиями машинного обучения,

Подробнее

Линейная регрессия: метод наименьших квадратов

Линейная регрессия: метод наименьших квадратов Линейная регрессия: метод наименьших квадратов Академический Университет, 2012 Outline Наименьшие квадраты и ближайшие соседи Метод наименьших квадратов Метод ближайших соседей 1 Наименьшие квадраты и

Подробнее

Введение в анализ данных: Заключение. Юля Киселёва Школа анализа данных

Введение в анализ данных: Заключение. Юля Киселёва Школа анализа данных Введение в анализ данных: Заключение Юля Киселёва juliakiseleva@yandex-team.ru Школа анализа данных План на сегодня Алгоритм для кластеризации в неевклидовом пространстве Классификация (overview) Feature

Подробнее

АЛГОРИТМ ДВУХЭТАПНОГО РАСПОЗНАВАНИЯ ФОНЕМ РУССКОГО ЯЗЫКА. А. М. Сорока. Белорусский государственный университет, Минск, Беларусь

АЛГОРИТМ ДВУХЭТАПНОГО РАСПОЗНАВАНИЯ ФОНЕМ РУССКОГО ЯЗЫКА. А. М. Сорока. Белорусский государственный университет, Минск, Беларусь АЛГОРИТМ ДВУХЭТАПНОГО РАСПОЗНАВАНИЯ ФОНЕМ РУССКОГО ЯЗЫКА А. М. Сорока Белорусский государственный университет, Минск, Беларусь ВВЕДЕНИЕ Одним из основных подходов к решению задачи распознавания слитной

Подробнее

Міжвузівський збірник "Комп ютерно-інтегровані технології: освіта, наука, виробництво " Луцьк, Випуск 7 УДК

Міжвузівський збірник Комп ютерно-інтегровані технології: освіта, наука, виробництво  Луцьк, Випуск 7 УДК Міжвузівський збірник "Комп ютерно-інтегровані технології: освіта наука виробництво " УДК 004.93 А. А. Олейник Е. А. Гофман С.А Субботин Запорожский национальный технический университет 39 ИДЕНТИФИКАЦИЯ

Подробнее

Машинное обучение: обзор целевых функций

Машинное обучение: обзор целевых функций Машинное обучение: обзор целевых функций И. Куралёнок, Н. Поваров Яндекс СПб, 2013 И. Кураленок, Н. Поваров, Яндекс Санкт-Петербург, 2013 Стр. 1 из 35 Задача на сегодня Строить варианты целевой функции

Подробнее

Лекция 5. Решение задачи выбора модели по Байесу. Обоснованность модели

Лекция 5. Решение задачи выбора модели по Байесу. Обоснованность модели выбора выбора Д. П. Ветров 1 Д. А. 2 1 МГУ, ВМиК, каф. ММП 2 ВЦ РАН Спецкурс «Байесовские методы машинного обучения» План лекции выбора 1 2 Пример априорных знаний Сопряженные распределения Иерархическая

Подробнее

Оценка Sentiment analysis

Оценка Sentiment analysis Оценка Sentiment analysis Компьютерные методы анализа текста Кирилл Александрович Маслинский НИУ ВШЭ Санкт-Петербург 16.09.2015 / 04 Основная статья Dan Jurafsky и др. Narrative framing of consumer sentiment

Подробнее

ИСПОЛЬЗОВАНИЕ МЕТОДОВ ИНТЕЛЛЕКТУАЛЬНОГО АНАЛИЗА ДАННЫХ ДЛЯ ОЦЕНКИ РИСКА НЕУПЛАТЫ ТАМОЖЕННЫХ ПЛАТЕЖЕЙ

ИСПОЛЬЗОВАНИЕ МЕТОДОВ ИНТЕЛЛЕКТУАЛЬНОГО АНАЛИЗА ДАННЫХ ДЛЯ ОЦЕНКИ РИСКА НЕУПЛАТЫ ТАМОЖЕННЫХ ПЛАТЕЖЕЙ УДК 004.9 Бегутова С.В. Московский государственный университет экономики, статистики и информатики E-mail: sbegutova@gmail.com ИСПОЛЬЗОВАНИЕ МЕТОДОВ ИНТЕЛЛЕКТУАЛЬНОГО АНАЛИЗА ДАННЫХ ДЛЯ ОЦЕНКИ РИСКА НЕУПЛАТЫ

Подробнее

Интеллектуальные информационные системы. Тема 7 Тематическая категоризация. Павел Исаакович Браславский весенний семестр 2006

Интеллектуальные информационные системы. Тема 7 Тематическая категоризация. Павел Исаакович Браславский весенний семестр 2006 Интеллектуальные информационные системы Тема 7 Тематическая категоризация Павел Исаакович Браславский pb@imach.uran.ru весенний семестр 2006 План Зачем? Области применения Постановка задачи Представление

Подробнее

Международный журнал информационных технологий и энергоэффективности. Сайт журнала:

Международный журнал информационных технологий и энергоэффективности. Сайт журнала: энергоэффективности. 2017. Т.2 1(3) с. 8-15 Международный журнал информационных технологий и энергоэффективности Сайт журнала: http://www.openaccessscience.ru/index.php/ijcse/ УДК 004.896 СПОСОБ МНОГОУРОВНЕВОЙ

Подробнее

ОБНАРУЖЕНИЕ ДЕФЕКТОВ ПОДШИПНИКОВ КАЧЕНИЯ НА ОСНОВЕ ОБРАБОТКИ ВИБРАЦИОННЫХ СИГНАЛОВ. Кан Шоучян ', А. В. Микулович, В. И. Микулович

ОБНАРУЖЕНИЕ ДЕФЕКТОВ ПОДШИПНИКОВ КАЧЕНИЯ НА ОСНОВЕ ОБРАБОТКИ ВИБРАЦИОННЫХ СИГНАЛОВ. Кан Шоучян ', А. В. Микулович, В. И. Микулович ОБНАРУЖЕНИЕ ДЕФЕКТОВ ПОДШИПНИКОВ КАЧЕНИЯ НА ОСНОВЕ ОБРАБОТКИ ВИБРАЦИОННЫХ СИГНАЛОВ 12 1 1 Кан Шоучян ', А. В. Микулович, В. И. Микулович 1 Белорусский государственный университет, Минск, Беларусь, Харбинский

Подробнее

алгоритмов классификации

алгоритмов классификации Проверка статистических гипотез для сравнения алгоритмов классификации 14 октября 2014 г. Что такое статистические критерии и зачем они нужны Типичная ситуация Мы придумали новые признаки (применил новый

Подробнее

Линейная регрессия. Линейные модели. Сергей Николенко. Казанский Федеральный Университет, 2014

Линейная регрессия. Линейные модели. Сергей Николенко. Казанский Федеральный Университет, 2014 Казанский Федеральный Университет, 2014 Outline 1 В предыдущей серии... Теорема Байеса: p(θ D) = p(θ)p(d θ). p(d) Две основные задачи байесовского вывода: 1 найти апостериорное распределение на гипотезах/параметрах:

Подробнее

машинного обучения. Нгуен Зы Хоан

машинного обучения. Нгуен Зы Хоан УДК 517.518.23 Анализ тональности текстов на основе методов машинного обучения. Нгуен Зы Хоан Московский физико-технический институт (государственный университет) Аннотация: Рассматривается проблема автоматической

Подробнее

PERSPECTIVE INNOVATIONS IN SCIENCE, EDUCATION, PRODUCTION AND TRANSPORT

PERSPECTIVE INNOVATIONS IN SCIENCE, EDUCATION, PRODUCTION AND TRANSPORT SWorld 16-26 December 2014 http://www.sworld.education/index.php/ru/conference/the-content-of-conferences/archives-of-individual-conferences/dec-2014 PERSPECTIVE INNOVATIONS IN SCIENCE, EDUCATION, PRODUCTION

Подробнее

Автоматическая классификация текстов Лекция 6 курса «Алгоритмы для Интернета»

Автоматическая классификация текстов Лекция 6 курса «Алгоритмы для Интернета» Автоматическая классификация текстов Лекция 6 курса «Алгоритмы для Интернета» Юрий Лифшиц 2 ноября 2006 г. Содержание 1. Постановка задачи, подходы и применения 2 1.1. Введение.................................................

Подробнее

Деревья решений - CART математический аппарат.

Деревья решений - CART математический аппарат. Адрес страницы в Интернете: http://www.basegroup.ru/library/analysis/tree/math_cart_part1/ - вернуться к полной версии страницы Деревья решений - CART математический аппарат. Часть 1 Общий принцип построения

Подробнее

Машинное обучение. Косатый Дмитрий. 21 ноября 2015 г. Математико-механический факультет СПбГУ

Машинное обучение. Косатый Дмитрий. 21 ноября 2015 г. Математико-механический факультет СПбГУ Машинное обучение Косатый Дмитрий Математико-механический факультет СПбГУ 21 ноября 2015 г. Косатый Дмитрий Машинное обучение 1 / 31 Содержание Введение 1 Введение Пример Диаграмма машинного обучения 2

Подробнее

ЛАБОРАТОРНАЯ РАБОТА 14 Автоматическая классификация статей, связанных с политикой

ЛАБОРАТОРНАЯ РАБОТА 14 Автоматическая классификация статей, связанных с политикой ЛАБОРАТОРНАЯ РАБОТА 14 Автоматическая классификация статей, связанных с политикой Этот пример основан на "стандартном" наборе новостных документов, публикуемых интернет-сайтом lenta.ru. С данного сайта

Подробнее

Do-it-yourself: используем Big Data для предсказания вероятности покупки

Do-it-yourself: используем Big Data для предсказания вероятности покупки Do-it-yourself: используем Big Data для предсказания вероятности покупки Иван Фатеев, руководитель группы контекстной рекламы в 220Вольт Мария Мансурова, аналитик Яндекс.Метрики Задача Больше узнать про

Подробнее

Теория статистического обучения

Теория статистического обучения Теория статистического обучения Н. К. Животовский nikita.zhivotovskiy@phystech.edu 2 марта 2016 г. Материал находится в стадии разработки, может содержать ошибки и неточности. Автор будет благодарен за

Подробнее

Лабораторная работа 3. Анализ данных с помощью технологии Data Mining.

Лабораторная работа 3. Анализ данных с помощью технологии Data Mining. Лабораторная работа 3 Анализ данных с помощью технологии Data Mining. Цель работы получение навыков проведения анализа методами Data Mining в среде разработки MS Business Intelligence Development Studio.

Подробнее

Министерство образования и науки Российской Федерации ИНСТИТУТ МАТЕМАТИКИ И МЕХАНИКИ ИМ. ЛОБАЧЕВСКОГО КАФЕДРА ГЕОМЕТРИИ

Министерство образования и науки Российской Федерации ИНСТИТУТ МАТЕМАТИКИ И МЕХАНИКИ ИМ. ЛОБАЧЕВСКОГО КАФЕДРА ГЕОМЕТРИИ Министерство образования и науки Российской Федерации Федеральное государственное автономное образовательное учреждение высшего профессионального образования «Казанский (Приволжский) федеральный университет»

Подробнее

Линейная регрессия Линейная классификация. Линейные модели. Сергей Николенко. Computer Science Club, Казань, 2014

Линейная регрессия Линейная классификация. Линейные модели. Сергей Николенко. Computer Science Club, Казань, 2014 Computer Science Club, Казань, 2014 Outline 1 2 Классификация по-байесовски Логистическая регрессия В предыдущей серии... Теорема Байеса: p(θ D) = p(θ)p(d θ). p(d) Две основные задачи байесовского вывода:

Подробнее

Тематическая классификация текстов

Тематическая классификация текстов Тематическая классификация текстов С.В. Панков, С.П. Шебанин, А.А. Рыбаков ROOKEE sergey.pankov@re-actor.ru, sergey.shebanin@re-actor.ru, alexander.ribakov@re-actor.ru Аннотация В статье описан алгоритм

Подробнее

Влияние фильтров на классификацию дактилографии

Влияние фильтров на классификацию дактилографии Влияние фильтров на классификацию дактилографии # 01, январь 2015 Деон А. Ф., Ломов Д. С. УДК: 681.3.06(075) Россия, МГТУ им. Н.Э. Баумана dmitrwrc@gmail.com Классы отпечатков пальцев В традиционной дактилоскопии

Подробнее

Алгоритмы создания дерева принятия решений.

Алгоритмы создания дерева принятия решений. Алгоритмы создания дерева принятия решений. Автор: Сидоров А.В. Научный руководитель: Миронова Ю.Н. Теория принятия решений область исследования, вовлекающая понятия и методыматематики, статистики, экономики,

Подробнее

institute of biomedical chemistry Анализ биомедицинских данных

institute of biomedical chemistry Анализ биомедицинских данных institute of biomedical chemistry Анализ биомедицинских данных Данные -омного эксперимента многомерные имеются сложные взаимосвязи число переменных много больше числа образцов. Это очень затрудняет работу

Подробнее

Повышение качества предсказания оттока абонентов оператора сотовой связи

Повышение качества предсказания оттока абонентов оператора сотовой связи Санкт-Петербургский Государственный Университет Математико-механический факультет Кафедра системного программирования Долголев Филипп Петрович Повышение качества предсказания оттока абонентов оператора

Подробнее

Дипломная работа Исследование и разработка методов разрешения лексической многозначности на основе неполной базы знаний

Дипломная работа Исследование и разработка методов разрешения лексической многозначности на основе неполной базы знаний Московский Государственный Университет имени М.В. Ломоносова Факультет вычислительной математики и кибернетики Кафедра системного программирования Дипломная работа Исследование и разработка методов разрешения

Подробнее

Автоматический анализ тональности текстов на основе методов машинного обучения

Автоматический анализ тональности текстов на основе методов машинного обучения Автоматический анализ тональности текстов на основе методов машинного обучения Котельников Е. В. (kotelnikov.ev@gmail.com), Клековкина М. В. (klekovkina.mv@gmail.com) Вятский государственный гуманитарный

Подробнее

Построение деревьев принятия решений с использованием генетических алгоритмов

Построение деревьев принятия решений с использованием генетических алгоритмов УДК 004.896 102 Передача, обработка, восприятие текстовой и графической информации Македонский А. М., Аксёнов К. А. УрФУ, г. Екатеринбург, Россия Построение деревьев принятия решений с использованием генетических

Подробнее

Обзор алгоритмов машинного обучения. Воронов Александр Video Group CS MSU Graphics & Media Lab

Обзор алгоритмов машинного обучения. Воронов Александр Video Group CS MSU Graphics & Media Lab Обзор алгоритмов машинного обучения Воронов Александр Vdeo Group CS MSU Graphcs & Meda Lab On for Maxus Содержание Введение Дерево решений Статистические алгоритмы Метрические алгоритмы SVM AdaBoost CS

Подробнее

Лекция Сглаживание экспериментальных зависимостей. 6. Сглаживание экспериментальных зависимостей

Лекция Сглаживание экспериментальных зависимостей. 6. Сглаживание экспериментальных зависимостей Лекция 5 6. Сглаживание экспериментальных зависимостей 6.. Метод наименьших квадратов 6... Теоретическое обоснование метода наименьших квадратов 7. Проверка статистических гипотез 7..Критерий согласия

Подробнее

ЗАКЛЮЧЕНИЕ ДИССЕРТАЦИОННОГО СОВЕТА ПО ДИССЕРТАЦИИ НА СОИСКАНИЕ УЧЕНОЙ СТЕПЕНИ КАНДИДАТА ТЕХНИЧЕСКИХ НАУК

ЗАКЛЮЧЕНИЕ ДИССЕРТАЦИОННОГО СОВЕТА ПО ДИССЕРТАЦИИ НА СОИСКАНИЕ УЧЕНОЙ СТЕПЕНИ КАНДИДАТА ТЕХНИЧЕСКИХ НАУК Аттестационное дело дата защиты 27 июня 2014 г., протокол _7/14 ЗАКЛЮЧЕНИЕ ДИССЕРТАЦИОННОГО СОВЕТА ПО ДИССЕРТАЦИИ НА СОИСКАНИЕ УЧЕНОЙ СТЕПЕНИ КАНДИДАТА ТЕХНИЧЕСКИХ НАУК Шаграева Алексея Галимовича, аспиранта

Подробнее

Классификация графов на основе оценки графона

Классификация графов на основе оценки графона Классификация графов на основе оценки графона Анастасия Колоскова МФТИ(ГУ) anastasiia.koloskova.v@gmail.com Максим Панов Сколтех ИППИ РАН panov.maxim@gmail.com Аннотация Данная работа посвящена методам

Подробнее

Соревнование Rossmann Store Sales

Соревнование Rossmann Store Sales Соревнование Rossmann Store Sales Остапец Андрей (aostapec@mail.ru) 15 октября 2015 г. Условие Данные Содержание 1 Конкурсное задание Условие Данные 2 Краткий обзор нескольких алгоритмов машинного обучения

Подробнее

Определение места проживания пользователей социальных сетей

Определение места проживания пользователей социальных сетей Определение места проживания пользователей социальных сетей на основе социального графа Юля Трофимович, Илья Козлов, Денис Турдаков 1 декабря 2016 г. ИСП РАН Table of contents 1. Определение местоположения:

Подробнее

качества классификации текстовых материалов

качества классификации текстовых материалов МАТЕМАТИКА И МЕХАНИКА УДК 004.85: 8 Оценка качества классификации текстовых материалов... с использованием алгоритма машинного обучения «случайный лес» И.С. Веретенников, Е.А. Карташев, А.Л. Царегородцев

Подробнее

Отчёт по заданию «Анализ данных с помощью библиотеки scikit-learn»

Отчёт по заданию «Анализ данных с помощью библиотеки scikit-learn» Отчёт по заданию «Анализ данных с помощью библиотеки scikit-learn» Никита Сендерович ММП ВМК, гр. 517 25 ноября 2015 г. Никита Сендерович (ММП ВМК) scikit learn: Semi-Supervised 25 ноября 2015 г. 1 / 28

Подробнее

Информационный поиск Архитектура поисковых систем PageRank. Юрий Лифшиц. Осень 2006

Информационный поиск Архитектура поисковых систем PageRank. Юрий Лифшиц. Осень 2006 Информационный поиск Архитектура поисковых систем PageRank Лекция N 3 курса Алгоритмы для Интернета Юрий Лифшиц ПОМИ РАН - СПбГУ ИТМО Осень 2006 1 / 29 Авторы алгоритмов ссылочной популярности В ноябре

Подробнее