Введение. Обработка естественного языка, или компьютерная лингвистика

Save this PDF as:
 WORD  PNG  TXT  JPG

Размер: px
Начинать показ со страницы:

Download "Введение. Обработка естественного языка, или компьютерная лингвистика"

Транскрипт

1 Введение. Обработка естественного языка, или компьютерная лингвистика Компьютерные методы анализа текста Кирилл Александрович Маслинский НИУ ВШЭ Санкт-Петербург / 01

2 Outline Задачи курса Предмет и метод Языковые знаки и уровни

3 Задачи курса Outline Задачи курса Предмет и метод Языковые знаки и уровни

4 Задачи курса Автоматическая обработка текста в социологических исследованиях??? В социологии много задач, где требуется анализ текстовых данных: Ключевые слова, частотные тренды Автоматическое определение тематики текста Извлечение мнений и оценок / Sentiment analysis Извлечение фактов и отношений Стилистический анализ и атрибуция текста :-) Автоматический анализ текстов!

5 Задачи курса Автоматическая обработка текста в социологических исследованиях??? В социологии много задач, где требуется анализ текстовых данных: :-Ъ У нас есть Интернет: автоматизировать сбор текстов собрать много текстов получить внушительные количественные данные :-( Традиционный контент-анализ слишком дорог :-) Автоматический анализ текстов!

6 Задачи курса Задачи курса State-of-the-art автоматического анализа текстов: Комьпьютер смысл текста не понимает: поиск моделей и приближений круг решенных задач проблемные области и нерешенные вопросы Терминология: необходимый минимум лингвистических терминов ключевые слова для поиска исследований и инструментов Инструментарий: Методы анализа и границы их применимости Существующее ПО для анализа текстов (на русском языке) Существующие лингвистические ресурсы словари, корпуса (на русском языке)

7 Предмет и метод Outline Задачи курса Предмет и метод Языковые знаки и уровни

8 Предмет и метод Исторические задачи компьютерной лингвистики Тест Тьюринга Машинный перевод Распознавание и синтез речи Понимание и синтез текста (диалоговые системы) Информационный поиск и извлечение фактов (Интернет)

9 Предмет и метод Дисциплины и предметные области Обработка естественного языка / Natural language processing Компьютерная лингвистика / Computational linguistics Искусственный интеллект / Artificial Intelligence Машинное обучение / Machine learning Теория формальных языков / Formal languages

10 Языковые знаки и уровни Outline Задачи курса Предмет и метод Языковые знаки и уровни

11 Языковые знаки и уровни Иерархия языковых уровней Терминология: языковой знак (форма : значение) языковой уровень (правила комбинации знаков одного типа) Знаки более высокого уровня строятся из знаков более низкого:

12 Языковые знаки и уровни Иерархия языковых уровней: пример Знаки более высокого уровня строятся из знаков более низкого: фонетика морфология Приведем пример небольшого текста. лексика синтаксис дискурс / текст

13 Языковые знаки и уровни Иерархия языковых уровней: пример Знаки более высокого уровня строятся из знаков более низкого: фонетика фонемы / phonemes Приведем пример /нибал шова/ текста. морфология лексика синтаксис дискурс / текст

14 Языковые знаки и уровни Иерархия языковых уровней: пример Знаки более высокого уровня строятся из знаков более низкого: фонетика морфемы / morphemes Приведем пример /ни-бал ш-ова/ текста. морфология лексика синтаксис дискурс / текст

15 Языковые знаки и уровни Иерархия языковых уровней: пример Знаки более высокого уровня строятся из знаков более низкого: лексема / lexical type Приведем пример небольшой=a=род,ед,полн,муж текста. фонетика морфология лексика синтаксис дискурс / текст

16 Языковые знаки и уровни Иерархия языковых уровней: пример Знаки более высокого уровня строятся из знаков более низкого: непосредственно составляющие / constituents [ S [ NP Приведем [ NP пример [ NP небольшого текста]]]]. фонетика морфология лексика синтаксис дискурс / текст

17 Языковые знаки и уровни Иерархия языковых уровней: пример Знаки более высокого уровня строятся из знаков более низкого: синтаксическое дерево / syntactic tree S фонетика NP морфология лексика V, Приведем NP N, пример NP синтаксис дискурс / текст A, небольшого N, текста

18 Языковые знаки и уровни Иерархия языковых уровней: пример Знаки более высокого уровня строятся из знаков более низкого: фонетика морфология Приведем пример небольшого текста. лексика синтаксис дискурс / текст

19 Языковые знаки и уровни Языковые знаки: резюме фонема минимальная звуковая единица морфема минимальный знак, имеющий содержание словоформа минимальная форма, которую можно употребить изолированно лексема множество парадигматически связанных словоформ

20 Outline Задачи курса Предмет и метод Языковые знаки и уровни

21 Токенизация Терминология: токен / token (единица анализа текста, сегмент) пробельное слово Сколько токенов в этом тексте? Всем приветик! Катюша, не болеть твоим мужчинам Соскучилась я что то по вам всем...

22 Токенизация Терминология: токен / token (единица анализа текста, сегмент) пробельное слово 15? (разделим по пробелам) Всем приветик! Катюша, не болеть твоим мужчинам Соскучилась я что то по вам всем...

23 Токенизация Терминология: токен / token (единица анализа текста, сегмент) пробельное слово 14? (возьмем только слова) Всем приветик! Катюша, не болеть твоим мужчинам Соскучилась я что то по вам всем...

24 Токенизация Терминология: токен / token (единица анализа текста, сегмент) пробельное слово 18? (пунктуация тоже нужна) Всем приветик! Катюша, не болеть твоим мужчинам Соскучилась я что то по вам всем...

25 Токенизация Терминология: токен / token (единица анализа текста, сегмент) пробельное слово 17? (всё-таки исправим ошибку) Всем приветик! Катюша, не болеть твоим мужчинам Соскучилась я что-то по вам всем...

26 Морфологический анализ Терминология: словоформа / wordform (слово в тексте, измененное падеж, время и т.п.) лексема / lexeme (слово в словаре, совокупность всех форм) стемминг / stemming (урезание слова до основы) лемматизация / lemmatization (приведение слова к начальной форме) определение частей речи / part-of-speech tagging Лена, повеселила))))))))))))))))))))) спасибо!

27 Морфологический анализ Терминология: словоформа / wordform (слово в тексте, измененное падеж, время и т.п.) лексема / lexeme (слово в словаре, совокупность всех форм) стемминг / stemming (урезание слова до основы) лемматизация / lemmatization (приведение слова к начальной форме) определение частей речи / part-of-speech tagging основа / stem Лен, повесели))))))))))))))))))))) спасибо!

28 Морфологический анализ Терминология: словоформа / wordform (слово в тексте, измененное падеж, время и т.п.) лексема / lexeme (слово в словаре, совокупность всех форм) стемминг / stemming (урезание слова до основы) лемматизация / lemmatization (приведение слова к начальной форме) определение частей речи / part-of-speech tagging лемма / lemma (нормализованная форма слова) лена=s,имя,жен,од=им,ед повеселить=v,сов=прош,ед,изъяв,жен,пе спасибо=s,сред,неод=(им,ед им,мн род,ед род,мн дат,ед дат,мн вин,ед вин,м

29 Морфологический анализ Терминология: словоформа / wordform (слово в тексте, измененное падеж, время и т.п.) лексема / lexeme (слово в словаре, совокупность всех форм) стемминг / stemming (урезание слова до основы) лемматизация / lemmatization (приведение слова к начальной форме) определение частей речи / part-of-speech tagging Лена/S повеселить/v спасибо/s

30 Проблема снятия омонимии снятие омонимии / word sense disambiguation Лена лен=s,муж,неод=род,ед 6.40 лена=s,имя,жен,од=им,ед 0.00 лена=s,гео,ед,жен,неод=им 0.00 повеселила повеселить=v,сов=прош,ед,изъяв,жен,пе 0.80 спасибо спасибо=s,сред,неод=(им,ед им,мн род,ед род,мн дат,ед дат,мн вин,ед вин,мн твор,ед твор,мн пр,ед пр,мн) 34.20

31 Проблема снятия омонимии снятие омонимии / word sense disambiguation Лена лен=s,муж,неод=род,ед 6.40 лена=s,имя,жен,од=им,ед 0.00 лена=s,гео,ед,жен,неод=им 0.00 повеселила повеселить=v,сов=прош,ед,изъяв,жен,пе 0.80 спасибо спасибо=s,сред,неод=(им,ед им,мн род,ед род,мн дат,ед дат,мн вин,ед вин,мн твор,ед твор,мн пр,ед пр,мн) 34.20

32 Синтаксический анализ сегментация на предложения / sentence splitting выделение групп / chunking поверхностный парсинг / shallow parsing построение синтаксического дерева / full parsing Спасибо за волшебные кулачки Рожать собираюсь в Скандинавии, как и Катюшу.

33 Синтаксический анализ сегментация на предложения / sentence splitting выделение групп / chunking поверхностный парсинг / shallow parsing построение синтаксического дерева / full parsing Спасибо за [ NP волшебные кулачки ] Рожать собираюсь [ PP в Скандинавии ], как и Катюшу.

34 Синтаксический анализ сегментация на предложения / sentence splitting выделение групп / chunking поверхностный парсинг / shallow parsing построение синтаксического дерева / full parsing (S (NP Спасибо (PP за (NP волшебные кулачки)))). (S (VP (VP Рожать собираюсь) (PP в Скандинавии), (S (CONJ как и) (NP Катюшу) ) ).

35 Кореференция Anaphora resolution А у нас наоборот. Няня i, нанятая к Анютке, третирует Дениску. И в некоторых вопросах про Дениску мы с ней i не сходимся. Как бы мне ее i на место поставить. С Анюткой няня адекватна.

36 Извлечение сущностей и отношений Люблю [ ORG 9-ку]. Я в этот раз с [ PERS Просвирниным] рожала. Классный! Хочешь сдам его тебе. У нас даже 2 [ BRAND Макларена ] [ PROD Квест] и [ PROD ХЛР ]. Но как-то не могу себе представить такую малявку в трости. С большой коляской я летала но с сидячкой. Мне чуть коляску не угробили на обратном пути.

37 Извлечение сущностей и отношений Люблю [ ORG 9-ку]. Я в этот раз с [ PERS Просвирниным] рожала. Классный! Хочешь сдам его тебе. У нас даже 2 [ BRAND Макларена ] [ PROD Квест] и [ PROD ХЛР ]. Но как-то не могу себе представить такую малявку в трости. С большой коляской я летала но с сидячкой. Мне чуть коляску не угробили на обратном пути.

38 Извлечение сущностей и отношений Люблю [ ORG 9-ку]. Я в этот раз с [ PERS Просвирниным] рожала. Классный! Хочешь сдам его тебе. У нас даже 2 [ BRAND Макларена ] [ PROD Квест] и [ PROD ХЛР ]. Но как-то не могу себе представить такую малявку в трости. С большой коляской я летала но с сидячкой. Мне чуть коляску не угробили на обратном пути.

39 Извлечение мнений и оценок Sentiment analysis Люблю 9-ку. Я в этот раз с Просвирниным рожала. Классный! Хочешь сдам его тебе. У нас даже 2 Макларена Квест и ХЛР. Но как-то не могу себе представить такую малявку в трости. С большой коляской я летала но с сидячкой. Мне чуть коляску не угробили на обратном пути.

40 Извлечение мнений и оценок Sentiment analysis Люблю 9-ку. Я в этот раз с Просвирниным рожала. Классный! Хочешь сдам его тебе. У нас даже 2 Макларена Квест и ХЛР. Но как-то не могу себе представить такую малявку в трости. С большой коляской я летала но с сидячкой. Мне чуть коляску не угробили на обратном пути.

41 Резюме Токенизация Текст список словоформ. Лемматизация Словоформа лемма, тег Стемминг Словоформа стем Парсинг Список словоформ группы, синтаксическое дерево

42 Заключение Заключение Понимание текста опирается на знания о мире, контекст коммуникации, ожидания читателя и т.п. Компьютер текст не понимает. Типичные методы автоматического анализа текста не опираются на полный анализ всех языковых уровней. Используй всё, что под рукою, и не ищи себе другое.

43 Заключение Заключение Понимание текста опирается на знания о мире, контекст коммуникации, ожидания читателя и т.п. Компьютер текст не понимает. Типичные методы автоматического анализа текста не опираются на полный анализ всех языковых уровней. Используй всё, что под рукою, и не ищи себе другое.

44 Заключение Заключение Понимание текста опирается на знания о мире, контекст коммуникации, ожидания читателя и т.п. Компьютер текст не понимает. Типичные методы автоматического анализа текста не опираются на полный анализ всех языковых уровней. Используй всё, что под рукою, и не ищи себе другое.

45 Инструменты для морфологического анализа русского языка Outline Инструменты для морфологического анализа русского языка

46 Инструменты для морфологического анализа русского языка Стемминг Porter stemmer Stemka

47 Инструменты для морфологического анализа русского языка Лемматизация AOT mystem pymorphy

48 Инструменты для морфологического анализа русского языка Расстановка частеречных тегов TreeTagger TnT thorsten/tnt/

49 Инструменты для морфологического анализа русского языка Задание Задача: составить частотный список лемм. Датасет: Лемматизатор: mystem Частотный анализ:

50 Инструменты для морфологического анализа русского языка Задание к следующему семинару Статья: Ягунова, Пивоварова Природа коллокаций в русском языке

Wordcounts are amazing by Ted Underwood

Wordcounts are amazing by Ted Underwood Часть I Слова Wordcounts are amazing by Ted Underwood We need to remember that words are actually features of a very, very high-level kind. As a thought experiment, I find it useful to compare text mining

Подробнее

Автоматическая обработка текста Автоматический (машинный) перевод Автоматический графематический анализ Автоматический морфологический анализ

Автоматическая обработка текста Автоматический (машинный) перевод Автоматический графематический анализ Автоматический морфологический анализ Глоссарий Автоматическая обработка текста комплекс методов компьютерного преобразования письменного или устного текста, основанных на многоуровневом автоматическом анализе и синтезе речи; в узком смысле

Подробнее

Интеллектуальные информационные системы. Тема 2 Морфологический анализ. Павел Исаакович Браславский весенний семестр 2006

Интеллектуальные информационные системы. Тема 2 Морфологический анализ. Павел Исаакович Браславский весенний семестр 2006 Интеллектуальные информационные системы Тема 2 Морфологический анализ Павел Исаакович Браславский pb@imach.uran.ru весенний семестр 2006 План Зачем нужна морфология? Типы морфологической обработки в задачах

Подробнее

Введение в обработку естественного языка. Павел Браславский

Введение в обработку естественного языка. Павел Браславский Введение в обработку естественного языка Павел Браславский ЧТО ТАКОЕ ОЕЯ? Термины Computational linguistics / математическая/компьютерная лингвистика Natural language processing / обработка естественного

Подробнее

Часть II. Последовательности

Часть II. Последовательности Часть II Последовательности N-граммы. Моделирование локального контекста Компьютерные методы анализа текста Кирилл Александрович Маслинский НИУ ВШЭ Санкт-Петербург 14.02.2014 / 04 Outline Контекст Предсказание

Подробнее

Wordcounts are amazing by Ted Underwood

Wordcounts are amazing by Ted Underwood Часть I Слова Wordcounts are amazing by Ted Underwood We need to remember that words are actually features of a very, very high-level kind. As a thought experiment, I find it useful to compare text mining

Подробнее

Содержание Введение Часть 1.Компоненты Глава 1.Компьютерная морфология 1. Как найти слова 2. Каким может быть анализ слов 3.

Содержание Введение Часть 1.Компоненты Глава 1.Компьютерная морфология 1. Как найти слова 2. Каким может быть анализ слов 3. Содержание Введение Часть 1.Компоненты Глава 1.Компьютерная морфология 1. Как найти слова 2. Каким может быть анализ слов 3. Лексическая неоднозначность 4. Анализ морфологии на основе правил 4.1. Что хранить

Подробнее

НАУЧНЫЙ СЕМИНАР «КОМПЬЮТЕРНАЯ ЛИНГВИСТИКА и TEXT MINING» Департамент анализа данных и искусственного интеллекта ФКН НИУ ВШЭ

НАУЧНЫЙ СЕМИНАР «КОМПЬЮТЕРНАЯ ЛИНГВИСТИКА и TEXT MINING» Департамент анализа данных и искусственного интеллекта ФКН НИУ ВШЭ НАУЧНЫЙ СЕМИНАР «КОМПЬЮТЕРНАЯ ЛИНГВИСТИКА и TEXT MINING» Департамент анализа данных и искусственного интеллекта ФКН НИУ ВШЭ НИС КЛиМТ : ПРЕПОДАВАТЕЛИ Большакова Елена Игоревна, к.ф-м.н, доцент Ефремова

Подробнее

Рабочая программа дисциплины «Автоматическая обработка текстов»

Рабочая программа дисциплины «Автоматическая обработка текстов» Федеральное государственное автономное образовательное учреждение высшего образования "Национальный исследовательский университет "Высшая школа экономики" Факультет компьютерных наук Департамент анализа

Подробнее

ИНТЕГРАЦИЯ МОРФОАНАЛИЗАТОРОВ ДЛЯ АННОТАЦИИ РУССКОЯЗЫЧНЫХ КОРПУСОВ ТЕКСТОВ

ИНТЕГРАЦИЯ МОРФОАНАЛИЗАТОРОВ ДЛЯ АННОТАЦИИ РУССКОЯЗЫЧНЫХ КОРПУСОВ ТЕКСТОВ П.В. Паничева, О.А. Митрофанова ИНТЕГРАЦИЯ МОРФОАНАЛИЗАТОРОВ ДЛЯ АННОТАЦИИ РУССКОЯЗЫЧНЫХ КОРПУСОВ ТЕКСТОВ Морфологическая аннотация русских корпусов и разрешение морфологической неоднозначности задачи,

Подробнее

АНАЛИЗ ТОНАЛЬНОСТИ ТЕКСТА

АНАЛИЗ ТОНАЛЬНОСТИ ТЕКСТА САНКТ- ПЕТЕРБУРГСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ МАТЕМАТИКО- МЕХАНИЧЕСКИЙ ФАКУЛЬТЕТ КАФЕДРА СИСТЕМНОГО ПРОГРАММИРОВАНИЯ АНАЛИЗ ТОНАЛЬНОСТИ ТЕКСТА КУРСОВАЯ РАБОТА СТУДЕНТА 361 ГРУППЫ КАЛМЫКОВА АЛЕКСЕЯ ВЛАДИМИРОВИЧА

Подробнее

Обзор современных лингвистических технологий и систем

Обзор современных лингвистических технологий и систем УДК 004.023 Обзор современных лингвистических технологий и систем К.И. Якубовский, К.А. Якубовская Московский государственный университет печати имени Ивана Федорова 127550, Москва, ул. Прянишникова, 2А

Подробнее

ИСПОЛЬЗОВАНИЕ СЛОВАРНОЙ ИНФОРМАЦИИ ПРИ АНАЛИЗЕ ТЕКСТА

ИСПОЛЬЗОВАНИЕ СЛОВАРНОЙ ИНФОРМАЦИИ ПРИ АНАЛИЗЕ ТЕКСТА ИСПОЛЬЗОВАНИЕ СЛОВАРНОЙ ИНФОРМАЦИИ ПРИ АНАЛИЗЕ ТЕКСТА УДК 004.912:303.7 ИСПОЛЬЗОВАНИЕ СЛОВАРНОЙ ИНФОРМАЦИИ ПРИ АНАЛИЗЕ ТЕКСТА К.К. Боярский, Е.А. Каневский, С.К. Стафеев Описаны подходы к решению некоторых

Подробнее

УДК Желтов Павел Валерианович,

УДК Желтов Павел Валерианович, УДК 004.912 Желтов Павел Валерианович, к.т.н., доцент, ФГБОУ ВО «Чувашский государственный университет им. И.Н. Ульянова, г. Чебоксары, Чувашская Республика; Ятманов Владимир Анатольевич, к.пед.н., ФГБОУ

Подробнее

Проблемы автоматической морфологии агглютинативных языков и парсер башкирского языка

Проблемы автоматической морфологии агглютинативных языков и парсер башкирского языка Проблемы автоматической морфологии агглютинативных языков и парсер башкирского языка Б. В. Орехов 1, Е. А. Слободян 2 1 Башкирский государственный педагогический университет им. М. Акмуллы, Уфа; Университет

Подробнее

Морфологический разбор русского языка

Морфологический разбор русского языка Морфологический разбор русского языка Сергей Бартунов 23 ноября 2010 г. План Постановка задачи Примеры использования Обзор решений 1. Алгоритмический стеммер Snowball 2. mystem от Яндекс 3. AOT.ru - автоматическая

Подробнее

Wordcounts are amazing by Ted Underwood

Wordcounts are amazing by Ted Underwood Часть I Слова Wordcounts are amazing by Ted Underwood We need to remember that words are actually features of a very, very high-level kind. As a thought experiment, I find it useful to compare text mining

Подробнее

Автоматическое извлечение правил для снятия морфологической неоднозначности

Автоматическое извлечение правил для снятия морфологической неоднозначности Автоматическое извлечение правил для снятия морфологической неоднозначности Екатерина Протопопова, Виктор Бочаров СПбГУ, Санкт-Петербург, Россия, protoev@gmail.com, victor.bocharov@gmail.com Аннотация.

Подробнее

Обработка естественного языка и понимание речи

Обработка естественного языка и понимание речи Обработка естественного языка и понимание речи Воронцов Константин Вячеславович Лаборатория машинного интеллекта, Московский Физико-Технический Институт ООО «Айтея» voron@forecsys.ru Обработка естественного

Подробнее

Распознавание именованных сущностей с использованием синтактико-семантических признаков и нейросетей

Распознавание именованных сущностей с использованием синтактико-семантических признаков и нейросетей Распознавание именованных сущностей с использованием синтактико-семантических признаков и нейросетей МФТИ, кафедра компьютерной лингвистики Юсупов Идрис (i.yusupov@phystech.edu) Нейронные сети Показывают

Подробнее

Искусственный интеллект как научная область.

Искусственный интеллект как научная область. Искусственный интеллект как научная область. Лекция 1. Специальность : 230105 Предмет изучения. Под Искусственным Интеллектом (ИИ) понимается область исследований, в которой ставится задача изучения и

Подробнее

Рабочая программа дисциплины «Компьютерная лингвистика и анализ текста»

Рабочая программа дисциплины «Компьютерная лингвистика и анализ текста» Федеральное государственное автономное образовательное учреждение высшего образования "Национальный исследовательский университет "Высшая школа экономики" Факультет Компьютерных наук Департамент анализа

Подробнее

ПРИМЕНЕНИЕ НЕЙРОСЕТЕЙ В ЗАДАЧАХ ТЕКСТОВОЙ АНАЛИТИКИ

ПРИМЕНЕНИЕ НЕЙРОСЕТЕЙ В ЗАДАЧАХ ТЕКСТОВОЙ АНАЛИТИКИ Анатолий СТАРОСТИН, Руководитель Группы исследования технологий извлечения информации ПРИМЕНЕНИЕ НЕЙРОСЕТЕЙ В ЗАДАЧАХ ТЕКСТОВОЙ АНАЛИТИКИ Copyright 2016 ABBYY ABBYY за 30 секунд Дата основания 1989 российская

Подробнее

Правительство Российской Федерации

Правительство Российской Федерации Правительство Российской Федерации Федеральное государственное автономное образовательное учреждение высшего профессионального образования Национальный исследовательский университет «Высшая школа экономики»

Подробнее

ОТВЕТСТВЕННЫЙ РЕДАКТОР: заведующий кафедрой английской филологии Дрожащих Н.В., д.ф.н., доцент

ОТВЕТСТВЕННЫЙ РЕДАКТОР: заведующий кафедрой английской филологии Дрожащих Н.В., д.ф.н., доцент Дрожащих Н.В. Квантитативная лингвистика. Учебно-методический комплекс. Рабочая программа для аспирантов направления 45.06.01 Языкознание и литературоведение (Теория языка) очной и заочной форм обучения.

Подробнее

Введение в обработку текстов

Введение в обработку текстов Введение в обработку текстов лекция 1 О курсе Лектор: Турдаков Денис Юрьевич Лекции каждую пятницу в 18.00 ауд. 707 Математический спецкурс для 3-5 курсов. предполагаются минимальные занания линейной алгебры,

Подробнее

Факультет компьютерных наук Департамент программной инженерии. Рабочая программа дисциплины Обработка текстов

Факультет компьютерных наук Департамент программной инженерии. Рабочая программа дисциплины Обработка текстов Федеральное государственное автономное образовательное учреждение высшего образования "Национальный исследовательский университет "Высшая школа экономики" Факультет компьютерных наук Департамент программной

Подробнее

Частеречная разметка слов с использованием гетерогенной нейронной сети и априорной информации

Частеречная разметка слов с использованием гетерогенной нейронной сети и априорной информации УДК 004.934.1 Частеречная разметка слов с использованием гетерогенной нейронной сети и априорной информации Введение Маланин Г.П., студент кафедра «Программное обеспечение ЭВМ и информационные технологии»,

Подробнее

Правительство Российской Федерации

Правительство Российской Федерации Правительство Российской Федерации Федеральное государственное автономное образовательное учреждение высшего профессионального образования «Национальный исследовательский университет Высшая школа экономики»

Подробнее

ЛЕКЦИЯ 1. ВВЕДЕНИЕ В КОРПУСНУЮ ЛИНГВИСТИКУ

ЛЕКЦИЯ 1. ВВЕДЕНИЕ В КОРПУСНУЮ ЛИНГВИСТИКУ ЛЕКЦИЯ 1. ВВЕДЕНИЕ В КОРПУСНУЮ ЛИНГВИСТИКУ В.П. Захаров Санкт-Петербургский государственный университет vz1311@yandex.ru Лекция 1 Корпусная лингвистика 2 Понятие корпуса Лингвистический, или языковой,

Подробнее

4. Экзаменационный билет включает два вопроса из разных областей лингвистической науки. Образец экзаменационного билета прилагается.

4. Экзаменационный билет включает два вопроса из разных областей лингвистической науки. Образец экзаменационного билета прилагается. ПОЛОЖЕНИЕ об итоговом междисциплинарном экзамене «Теоретическая лингвистика» Специальность 031301 «Теоретическая и прикладная лингвистика» Квалификация специалиста «Лингвист» (ГОС ВПО от 14 марта 2000)

Подробнее

Введение в обработку текстов. лекция 1

Введение в обработку текстов. лекция 1 Введение в обработку текстов лекция 1 О курсе Лектор: Турдаков Денис Юрьевич Лекции каждую пятницу в 18.00 ауд. П-6 Математический спецкурс для 3-5 курсов. предполагаются минимальные знания линейной алгебры,

Подробнее

УЧЕБНО-МЕТОДИЧЕСКИЙ КОМПЛЕКС. Основы лингвистических знаний. Этап 2. Основы прикладной лингвистики

УЧЕБНО-МЕТОДИЧЕСКИЙ КОМПЛЕКС. Основы лингвистических знаний. Этап 2. Основы прикладной лингвистики ФЕДЕРАЛЬНОЕ АГЕНТСТВО ПО ОБРАЗОВАНИЮ Государственное образовательное учреждение высшего профессионального образования «Уральский государственный университет им. А.М. Горького» ИОНЦ «Русский язык» филологический

Подробнее

АННОТАЦИЯ рабочей программы учебной дисциплины (модуля) «Современный русский язык» по направлению подготовки Педагогическое образование

АННОТАЦИЯ рабочей программы учебной дисциплины (модуля) «Современный русский язык» по направлению подготовки Педагогическое образование АННОТАЦИЯ рабочей программы учебной дисциплины (модуля) «Современный русский язык» по направлению подготовки 050100 Педагогическое образование 1. Цели освоения дисциплины по профилю подготовки Русский

Подробнее

ОД.01. ВВЕДЕНИЕ В ЯЗЫКОЗНАНИЕ

ОД.01. ВВЕДЕНИЕ В ЯЗЫКОЗНАНИЕ ОБЩИЕ ДИСЦИПЛИНЫ ОД.01. ВВЕДЕНИЕ В ЯЗЫКОЗНАНИЕ Место языка в системе культурно значимых средств коммуникации; способы научного описания языка; история общества и история языка, язык и мысль; язык и культура.

Подробнее

Автоматизированное порождение фраз естественного языка, имеющих заданную семантику

Автоматизированное порождение фраз естественного языка, имеющих заданную семантику Автоматизированное порождение фраз естественного языка, имеющих заданную семантику Подготовила: Сазонова Полина, ФИТ НГУ Научный руководитель: Пальчунов Дмитрий Евгеньевич Цель работы Разработка автоматизированных

Подробнее

УДК Баева Н.В., Большакова Е.И. ПРОБЛЕМЫ АВТОМАТИЗАЦИИ КОНТРОЛЯ УЧЕБНО-НАУЧНЫХ ТЕКСТОВ МГУ им. М.В.Ломоносова, факультет ВМК

УДК Баева Н.В., Большакова Е.И. ПРОБЛЕМЫ АВТОМАТИЗАЦИИ КОНТРОЛЯ УЧЕБНО-НАУЧНЫХ ТЕКСТОВ МГУ им. М.В.Ломоносова, факультет ВМК УДК 681.3 Баева Н.В., Большакова Е.И. ПРОБЛЕМЫ АВТОМАТИЗАЦИИ КОНТРОЛЯ УЧЕБНО-НАУЧНЫХ ТЕКСТОВ МГУ им. М.В.Ломоносова, факультет ВМК Приводится краткий обзор программных систем проверки учебно-научных текстов,

Подробнее

Машинное обучение. Классификация

Машинное обучение. Классификация Машинное обучение. Классификация Компьютерные методы анализа текста Кирилл Александрович Маслинский НИУ ВШЭ Санкт-Петербург 12.11.2014 / 05 Outline Машинное обучение Задача классификации Деревья принятия

Подробнее

46,0% 33,2% разбора слов Состав слова Умение различать формы слова и родственные слова Б 1 балл 100,0% 71,0% 59,7%

46,0% 33,2% разбора слов Состав слова Умение различать формы слова и родственные слова Б 1 балл 100,0% 71,0% 59,7% по отдельным м (4 класс, конец 2011/2012 учебного года) (курсивом отмечены, проверяющие знания из раздела, который не является обязательным для овладения всеми учащимися) БЛОК 1 1_1 В.1, 1 В.8, 6 1.1.1

Подробнее

Корпус текстов как особый лингвистический ресурс

Корпус текстов как особый лингвистический ресурс Корпус текстов как особый лингвистический ресурс Содержание 1 Понятие и основные характеристики корпуса текстов 1.1 Размер и репрезентативность 1.2 Разметка 2 Виды разметки в корпусе 3 Основные этапы создания

Подробнее

«РОССИЙСКИЙ УНИВЕРСИТЕТ ДРУЖБЫ НАРОДОВ» Соченков Илья Владимирович

«РОССИЙСКИЙ УНИВЕРСИТЕТ ДРУЖБЫ НАРОДОВ» Соченков Илья Владимирович ФЕДЕРАЛЬНОЕ ГОСУДАРСТВЕННОЕ БЮДЖЕТНОЕ ОБРАЗОВАТЕЛЬНОЕ УЧРЕЖДЕНИЕ ВЫСШЕГО ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ «РОССИЙСКИЙ УНИВЕРСИТЕТ ДРУЖБЫ НАРОДОВ» На правах рукописи Соченков Илья Владимирович РЕЛЯЦИОННО-СИТУАЦИОННЫЕ

Подробнее

Вычислительная лингвистика

Вычислительная лингвистика Интернет-математика / Спецглавы математики Вычислительная лингвистика Петрозаводский государственный университет Крижановский Андрей Анатольевич andrew.krizhanovsky 1... gmail.com 2 6 сентября 1852 В Манчестере

Подробнее

Математические модели в лингвистике

Математические модели в лингвистике Математические модели в лингвистике 2. Компьютерная лингвистика Мати Пентус, Александр Пиперски, Алексей Сорокин МГУ им. М. В. Ломоносова, межфакультетский курс, осенний семестр 2017 2018 учебного года

Подробнее

Выводы Науч. рук. к.т.н., доц. Звенигородский А.С. Определение биграмм на материале научных текстов по извлечению данных из текстов

Выводы Науч. рук. к.т.н., доц. Звенигородский А.С. Определение биграмм на материале научных текстов по извлечению данных из текстов Рис. 3. Пример сдвига на две позиции Выводы Рассмотренные методы позволяют совершенствовать технологию формирования растровых стереоизображений, а разработанный плагин дает возможность ускорения этого

Подробнее

Некоторые сложности автоматизированной. процесс лемматизации несловарных словоформ,

Некоторые сложности автоматизированной. процесс лемматизации несловарных словоформ, Некоторые сложности автоматизированной лемматизации несловарных словоформ Some difficulties in automated lemmatization of word forms not contained in the dictionary Клышинский Э. С. (klyshinsky@mail.ru)

Подробнее

Корпусная лингвистка. проект Открытый Корпус и место компьютерной лингвистики в народном хозяйстве. Докладчик: Бочаров Виктор

Корпусная лингвистка. проект Открытый Корпус и место компьютерной лингвистики в народном хозяйстве. Докладчик: Бочаров Виктор Корпусная лингвистка проект Открытый Корпус и место компьютерной лингвистики в народном хозяйстве Докладчик: Бочаров Виктор июль 2011 О докладчике Виктор Бочаров: аспирант кафедры математической лингвистики

Подробнее

Построение морфологического анализатора неизвестных слов на основе словарей системы ЭТАП-3

Построение морфологического анализатора неизвестных слов на основе словарей системы ЭТАП-3 Построение морфологического анализатора неизвестных слов на основе словарей системы ЭТАП-3 Казенников А.О. ИППИ РАH kzn@iitp.ru Аннотация В настоящей работе представлен способ построения морфологического

Подробнее

Словарь лексических валентностей в системе русскобелорусского

Словарь лексических валентностей в системе русскобелорусского Воронович В.В. Словарь лексических валентностей в системе русско-белорусского машинного перевода // Третьи чтения, посвященные памяти профессора В.А.Карпова. Сборник научных статей. Мн., 2009, с.108-111.

Подробнее

К ВОПРОСУ РАЗРАБОТКИ СЛОВАРЕЙ ИНФОРМАЦИОННОЙ СИСТЕМЫ «МАШИННЫЙ ФОНД БЕЛОРУССКОГО ЯЗЫКА»

К ВОПРОСУ РАЗРАБОТКИ СЛОВАРЕЙ ИНФОРМАЦИОННОЙ СИСТЕМЫ «МАШИННЫЙ ФОНД БЕЛОРУССКОГО ЯЗЫКА» Н.К. Рубашко, Г.П. Невмержицкая (Минск, БГУ) К ВОПРОСУ РАЗРАБОТКИ СЛОВАРЕЙ ИНФОРМАЦИОННОЙ СИСТЕМЫ «МАШИННЫЙ ФОНД БЕЛОРУССКОГО ЯЗЫКА» В научно-исследовательской лаборатории интеллектуальных информационных

Подробнее

Математическое обеспечение методов распознавания обр. при обработке текстов на Вьетнамском языке

Математическое обеспечение методов распознавания обр. при обработке текстов на Вьетнамском языке Математическое обеспечение методов распознавания образов при обработке текстов на Вьетнамском языке Научный руководитель: доктор физ.-мат. наук, проф. Граничин Олег Николаевич Математическо-механический

Подробнее

СИСТЕМА СЛОЖНОГО МОРФОЛОГИЧЕСКОГО ПОИСКА В ПИСЬМЕННОМ КОРПУСЕ ТАТАРСКОГО ЯЗЫКА

СИСТЕМА СЛОЖНОГО МОРФОЛОГИЧЕСКОГО ПОИСКА В ПИСЬМЕННОМ КОРПУСЕ ТАТАРСКОГО ЯЗЫКА СИСТЕМА СЛОЖНОГО МОРФОЛОГИЧЕСКОГО ПОИСКА В ПИСЬМЕННОМ КОРПУСЕ ТАТАРСКОГО ЯЗЫКА М. Р. Сайхунов, Р. Р. Хусаинов, Т. И. Ибрагимов Казань Аннотация. Работа посвящена описанию современного состояния Письменного

Подробнее

Морфологический анализ. Павел Браславский

Морфологический анализ. Павел Браславский Морфологический анализ Павел Браславский ВВЕДЕНИЕ 2 Морфология Свойства слова и его структура Морфемы значимые единицы в составе слова Словоизменение (inflection) Бегать бегу бежишь бежит бегут бежите

Подробнее

Морфология и синтаксис в задаче семантической кластеризации. Михайлов Д. В., Емельянов Г. М. Новгородский Государственный Университет имени Ярослава

Морфология и синтаксис в задаче семантической кластеризации. Михайлов Д. В., Емельянов Г. М. Новгородский Государственный Университет имени Ярослава Морфология и синтаксис в задаче семантической кластеризации. Михайлов Д. В., Емельянов Г. М. Новгородский Государственный Университет имени Ярослава Мудрого Актуальная глобальная задача, которой посвящена

Подробнее

готовностью принимать нравственные обязательства по отношению к окружающей природе, обществу и культурному наследию;

готовностью принимать нравственные обязательства по отношению к окружающей природе, обществу и культурному наследию; 1 ОК-5 способностью к осознанию значения гуманистических ценностей для сохранения и развития современной цивилизации; готовностью принимать нравственные обязательства по отношению к окружающей природе,

Подробнее

Тема урока. Основное содержание часов

Тема урока. Основное содержание часов Тематическое планирование. Русский язык. 0 класс 02 ч. уро ка Тема урока. Основное содержание Кол-во часов Вводный урок о русском языке 2 Язык как общественное явление. Функции языка 3 Русский язык - государственный

Подробнее

Распознавание и классификация актантов в русском языке

Распознавание и классификация актантов в русском языке Распознавание и классификация актантов в русском языке Илья Кузнецов НИУ ВШЭ, Москва, Россия. iokuznetsov@gmail.com Аннотация. В статье рассказывается о проекте системы автоматического распознавания и

Подробнее

Нормализация слов русского языка. Докладчик: Оксана Астапова Научный руководитель: Денис Турдаков

Нормализация слов русского языка. Докладчик: Оксана Астапова Научный руководитель: Денис Турдаков Нормализация слов русского языка Докладчик: Оксана Астапова Научный руководитель: Денис Турдаков План Что такое нормализация? Проблемная область Специфика русского языка Существующие решения Что это такое

Подробнее

СОСТАВИТЕЛЬ: В.В. Воронович, старший преподаватель кафедры компьютерной лингвистики и лингводидактики Белорусского государственного университета

СОСТАВИТЕЛЬ: В.В. Воронович, старший преподаватель кафедры компьютерной лингвистики и лингводидактики Белорусского государственного университета 2 Учебная программа составлена на основе ОСВО первой ступени специальности 1-21 06 01 «Современные иностранные языки (по направлениям)», утвержденного постановлением Министерства образования РБ от 30.08.2013

Подробнее

Белгосуниверситет (название высшего учебного заведения) Теория и практика машинного перевода (название дисциплины)

Белгосуниверситет (название высшего учебного заведения) Теория и практика машинного перевода (название дисциплины) Белгосуниверситет (название высшего учебного заведения) УТВЕРЖДАЮ Ректор (название высшего учебного заведения) (подпись) (И.О.Фамилия) (дата утверждения) Регистрационный УД- /р. Теория и практика машинного

Подробнее

ВВЕДЕНИЕ В АНАЛИЗ ЕСТЕСТВЕННЫХ ЯЗЫКОВ

ВВЕДЕНИЕ В АНАЛИЗ ЕСТЕСТВЕННЫХ ЯЗЫКОВ Российский университет дружбы народов Институт системного анализа РАН Смирнов И.В. ВВЕДЕНИЕ В АНАЛИЗ ЕСТЕСТВЕННЫХ ЯЗЫКОВ Учебно-методическое пособие И.В. Смирнов, 2014 В пособии рассмотрены основные подходы

Подробнее

Характеристика профессиональной деятельности выпускников

Характеристика профессиональной деятельности выпускников х> \ университет /s^ // ' ^Ч ft// УТВЕРЖДАЮ по учебной работе А.Б. Безбородов «Ж> OG 2016 г. Аннотация основной образовательной программу высшего профессионального образования по напрэдшжшо подготовки

Подробнее

АНАЛИЗ И ВЫБОР СИСТЕМ АВТОМАТИЗИРОВАННОГО ПЕРЕВОДА

АНАЛИЗ И ВЫБОР СИСТЕМ АВТОМАТИЗИРОВАННОГО ПЕРЕВОДА УДК 004.4 Егоров В. А. студент 4 курс, факультет «Информационных систем и технологий» Поволжский Государственный Университет Телекоммуникаций и Информатики Россия, г.самара АНАЛИЗ И ВЫБОР СИСТЕМ АВТОМАТИЗИРОВАННОГО

Подробнее

Как и зачем мы делаем Открытый корпус

Как и зачем мы делаем Открытый корпус Как и зачем мы делаем Открытый корпус В. В. Бочаров Д. В. Грановский Mathlingvo 14 мая 2011 г. Жизненный цикл текста 1 Исходный текст под лицензией, совместимой с CC-BY-SA проходит вычитку делится на абзацы,

Подробнее

Программные продукты, системы и алгоритмы 2, 2017 г.

Программные продукты, системы и алгоритмы 2, 2017 г. УДК 519.7 DOI: 10.15827/2311-6749.17.2.7 ЭЛЕКТРОННЫЙ КОРПУСНЫЙ СЛОВАРЬ ТУВИНСКОГО ЯЗЫКА А.С. Дагбажык, аспирант, angyrool-d@mail.ru; Ч.М. Монгуш, аспирант, mongushchod91@yandex.ru (Сибирский федеральный

Подробнее

О РАЗРАБОТКЕ РУССКО-АНГЛИЙСКОГО ТЕЗАУРУСА ПО КОМПЬЮТЕРНОЙ ЛИНГВИСТИКЕ

О РАЗРАБОТКЕ РУССКО-АНГЛИЙСКОГО ТЕЗАУРУСА ПО КОМПЬЮТЕРНОЙ ЛИНГВИСТИКЕ О РАЗРАБОТКЕ РУССКО-АНГЛИЙСКОГО ТЕЗАУРУСА ПО КОМПЬЮТЕРНОЙ ЛИНГВИСТИКЕ Загорулько Ю.А., Боровикова О.И., Кононенко И.С., Соколова Е.Г. Институт систем информатики имени А.П. Ершова СО РАН, Новосибирск Российский

Подробнее

ИССЛЕДОВАНИЕ КОНТЕКСТНОЙ ПРЕДСКАЗУЕМОСТИ ЕДИНИЦ ТЕКСТА С ПОМОЩЬЮ КОРПУСНЫХ РЕСУРСОВ 1

ИССЛЕДОВАНИЕ КОНТЕКСТНОЙ ПРЕДСКАЗУЕМОСТИ ЕДИНИЦ ТЕКСТА С ПОМОЩЬЮ КОРПУСНЫХ РЕСУРСОВ 1 ИССЛЕДОВАНИЕ КОНТЕКСТНОЙ ПРЕДСКАЗУЕМОСТИ ЕДИНИЦ ТЕКСТА С ПОМОЩЬЮ КОРПУСНЫХ РЕСУРСОВ 1 Е.В. Ягунова Во время коммуникативного акта человек непрерывно планирует (программирует) свою речевую деятельность,

Подробнее

Компьютерная лингвистика в ИППИ: история, современное состояние, перспективы

Компьютерная лингвистика в ИППИ: история, современное состояние, перспективы РОССИЙСКАЯ АКАДЕМИЯ НАУК ИНСТИТУТ ПРОБЛЕМ ПЕРЕДАЧИ ИНФОРМАЦИИ им. А.А.Харкевича Компьютерная лингвистика в ИППИ: история, современное состояние, перспективы Ю.Д.Апресян, И.М.Богуславский, Л.Л.Иомдин Лаборатория

Подробнее

РАБОЧАЯ ПРОГРАММА «Связи с общественностью» Москва 2010 г.

РАБОЧАЯ ПРОГРАММА «Связи с общественностью» Москва 2010 г. МИНИСТЕРСТВО ОБРАЗОВАНИЯ И НАУКИ РОССИЙСКОЙ ФЕДЕРАЦИИ ФЕДЕРАЛЬНОЕ ГОСУДАРСТВЕННОЕ ОБРАЗОВАТЕЛЬНОЕ УЧРЕЖДЕНИЕ ВЫСШЕГО ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ «РОССИЙСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ ТУРИЗМА И СЕРВИСА»

Подробнее

Основы лингвистического обеспечения АСОИУ

Основы лингвистического обеспечения АСОИУ Основы лингвистического обеспечения АСОИУ Лекция 1 Компьютерная лингвистика К.т.н., доцент Филиппович Анна Юрьевна Лингвистика Лингвистика (от лат. lingua - язык) это наука о языке. Лингвистика = языкознание

Подробнее

«Прикладная и математическая лингвистика»

«Прикладная и математическая лингвистика» ПРОГРАММА ВСТУПИТЕЛЬНОГО ЭКЗАМЕНА ПО СПЕЦИАЛЬНОЙ ДИСЦИПЛИНЕ для поступающих на основную образовательную программу послевузовского профессионального образования (аспирантура) Санкт-Петербургского государственного

Подробнее

Ха Ти Чунг УЧЁТ ОСОБЕННОСТЕЙ ВЬЕТНАМСКОГО ЯЗЫКА В СИСТЕМЕ РУССКО-ВЬЕТНАМСКОГО И ВЬЕТНАМСКО-РУССКОГО МАШИННОГО ПЕРЕВОДА

Ха Ти Чунг УЧЁТ ОСОБЕННОСТЕЙ ВЬЕТНАМСКОГО ЯЗЫКА В СИСТЕМЕ РУССКО-ВЬЕТНАМСКОГО И ВЬЕТНАМСКО-РУССКОГО МАШИННОГО ПЕРЕВОДА возможны только на основе типовых технологических решений. Такие решения должны отражать опыт ведущих международных профессиональных консорциумов в области электронного обучения и базироваться на принципах

Подробнее

Проектное задание 1 Токенизатор и сплиттер Задание 1. Анализ статей: 1. Знаки пунктуации: 1. Точка 2. Вопросительный и восклицательный знаки

Проектное задание 1 Токенизатор и сплиттер Задание 1. Анализ статей: 1. Знаки пунктуации: 1. Точка 2. Вопросительный и восклицательный знаки Проектное задание 1 Токенизатор и сплиттер Задание 1. Анализ статей: 1. What is a word? What is a sentence? Problems of tokenization. Gregory Grefenstette and Pasi Tapanainen (1994) 2. Adaptive Multilingual

Подробнее

Лингвистика длинного хвоста. Николай Григорьев Отдел голосовых технологий

Лингвистика длинного хвоста. Николай Григорьев Отдел голосовых технологий Лингвистика длинного хвоста Николай Григорьев Отдел голосовых технологий Устройство Web-поиска Индекс: архив документов обратный индекс: по слову выдает все содержащие его документы данные о документах

Подробнее

Aвтоматическое определение тональности объектов с использованием семантических шаблонов и словарей тональной лексики

Aвтоматическое определение тональности объектов с использованием семантических шаблонов и словарей тональной лексики Aвтоматическое определение тональности объектов с использованием семантических шаблонов и словарей тональной лексики Поляков П.Ю., Калинина М.В., Плешко В.В. ООО «ЭР СИ О» (RCO) 29 мая 2015 Dialogue Evaluation:

Подробнее

Требования к уровню подготовки обучающихся

Требования к уровню подготовки обучающихся Требования к уровню подготовки обучающихся Учащиеся должны знать : основные сведения о лингвистике как о науке, о связи языка и культуры народа; базовые понятия функциональной стилистики и культуры речи:

Подробнее

ФОРМАЛЬНОЕ ОПРЕДЕЛЕНИЕ ТЕМЫ И ОСНОВНОГО СОДЕРЖАНИЯ ТЕКСТА КАК ОСНОВА ПРОЦЕДУРЫ АВТОМАТИЧЕСКОГО ОБЪЕДИНЕНИЯ НОВОСТНЫХ СООБЩЕНИЙ В ЕДИНЫЙ СЮЖЕТ

ФОРМАЛЬНОЕ ОПРЕДЕЛЕНИЕ ТЕМЫ И ОСНОВНОГО СОДЕРЖАНИЯ ТЕКСТА КАК ОСНОВА ПРОЦЕДУРЫ АВТОМАТИЧЕСКОГО ОБЪЕДИНЕНИЯ НОВОСТНЫХ СООБЩЕНИЙ В ЕДИНЫЙ СЮЖЕТ А.О. Третьяк (Минск, МГЛУ) ФОРМАЛЬНОЕ ОПРЕДЕЛЕНИЕ ТЕМЫ И ОСНОВНОГО СОДЕРЖАНИЯ ТЕКСТА КАК ОСНОВА ПРОЦЕДУРЫ АВТОМАТИЧЕСКОГО ОБЪЕДИНЕНИЯ НОВОСТНЫХ СООБЩЕНИЙ В ЕДИНЫЙ СЮЖЕТ В современном мире происходит большое

Подробнее

Общение с компьютером на естественном языке. Проблемы и задачи

Общение с компьютером на естественном языке. Проблемы и задачи Общение с компьютером на естественном языке. Проблемы и задачи Интеллектуальные системы в машиностроении Лекция 4.1 Бенджамин Уорф: "Было установлено, что основа языковой системы любого языка (грамматика)

Подробнее

Анализ статистических алгоритмов снятия морфологической омонимии в русском языке

Анализ статистических алгоритмов снятия морфологической омонимии в русском языке Анализ статистических алгоритмов снятия морфологической омонимии в русском языке Е. Д. Лакомкин 1, И. В. Пузыревский 2, Д. А. Рыжова 3 1 egor.lakomkin@gmail.com, 2 ivan.pouzyrevsky@gmail.com, 3 daria.ryzhova@mail.ru

Подробнее

Квантитативные методы в диахронических корпусных исследованиях : конструкции с предикативами и дативным субъектом. А.Бонч-Осмоловская НИУ ВШЭ

Квантитативные методы в диахронических корпусных исследованиях : конструкции с предикативами и дативным субъектом. А.Бонч-Осмоловская НИУ ВШЭ Квантитативные методы в диахронических корпусных исследованиях : конструкции с предикативами и дативным субъектом А.Бонч-Осмоловская НИУ ВШЭ Идеальный предикатив на -о Мне интересно. Морфологически совпадает

Подробнее

ПРОГРАММА УЧЕБНОЙ ДИСЦИПЛИНЫ ИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИ В ФИЛОЛОГИИ Филология. Профиль подготовки: Русский язык. Количество зачетных единиц 4

ПРОГРАММА УЧЕБНОЙ ДИСЦИПЛИНЫ ИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИ В ФИЛОЛОГИИ Филология. Профиль подготовки: Русский язык. Количество зачетных единиц 4 ПРОГРАММА УЧЕБНОЙ ДИСЦИПЛИНЫ ИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИ В ФИЛОЛОГИИ для обучающихся по образовательной программе высшего профессионального образования подготовки магистров 45.04.01 Филология Профиль подготовки:

Подробнее

1. ПАСПОРТ ФОНДА ОЦЕНОЧНЫХ СРЕДСТВ. Этапы формирования компетенций в процессе освоения ОПОП

1. ПАСПОРТ ФОНДА ОЦЕНОЧНЫХ СРЕДСТВ. Этапы формирования компетенций в процессе освоения ОПОП 1. ПАСПОРТ ФОНДА ОЦЕНОЧНЫХ СРЕДСТВ 1.1. Перечень компетенций с указанием этапов их формирования в процессе освоения образовательной программы Процесс освоения дисциплины направлен на овладение следующими

Подробнее

Фонд оценочных средств для проведения промежуточной аттестации обучающихся по дисциплине:

Фонд оценочных средств для проведения промежуточной аттестации обучающихся по дисциплине: М.2.Б.2 Квантитативная лингвистика и новые информационные технологии Фонд оценочных средств для проведения промежуточной аттестации обучающихся по дисциплине: Общие сведения 1. Кафедра Иностранных языков

Подробнее

Шарова Т. В., соискатель Московских В. А., доц., канд. экон. наук Гольдштейн C. JL, проф., д-р техн. наук

Шарова Т. В., соискатель Московских В. А., доц., канд. экон. наук Гольдштейн C. JL, проф., д-р техн. наук Шарова Т. В., соискатель Московских В. А., доц., канд. экон. наук Гольдштейн C. JL, проф., д-р техн. наук ТЕХНОЛОГИЯ АНАЛИЗА ТЕКСТОВ: ТИПОЛОГИЯ ПОНЯТИЙ Актуальность и постановка задачи Развитие систем,

Подробнее

ПРОГРАММА. вступительного испытания для поступающих. на программу магистратуры «Филология»

ПРОГРАММА. вступительного испытания для поступающих. на программу магистратуры «Филология» Министерство образования и науки Российской Федерации Федеральное государственное бюджетное образовательное учреждение высшего образования «Государственный институт русского языка им. А.С. Пушкина» (ФГБОУ

Подробнее

Государственное бюджетное учреждение дополнительного образования Псковской области «Псковский областной центр развития одаренных детей и юношества»

Государственное бюджетное учреждение дополнительного образования Псковской области «Псковский областной центр развития одаренных детей и юношества» Государственное бюджетное учреждение дополнительного образования Псковской области «Псковский областной центр развития одаренных детей и юношества» Учебный план отделения русского языка (модуль 1), 16/17

Подробнее

Тематическое планирование 11 класс

Тематическое планирование 11 класс Общее количество часов: 02 урока Тематическое планирование класс Тема урока Колво часов Предметные результаты Виды деятельности Раздел : Введение в науку о языке. - 2 ч. Вводный урок о русском языке Иметь

Подробнее

РАБОЧАЯ ПРОГРАММА ДИСЦИПЛИНЫ

РАБОЧАЯ ПРОГРАММА ДИСЦИПЛИНЫ МИНИСТЕРСТВО ОБРАЗОВАНИЯ И НАУКИ РФ государственное образовательное учреждение высшего профессионального образования «Мурманский государственный гуманитарный университет» (ГОУВПО МГГУ) РАБОЧАЯ ПРОГРАММА

Подробнее

Проектирование человеко-машинных интерфейсов

Проектирование человеко-машинных интерфейсов Проектирование человеко-машинных интерфейсов Лекция 8. Общение на естественном языке. Применение, особенности, проблемы. Что такое язык? Язык этонетолькосредствообщения, но и средство мышления «Повседневный

Подробнее

РАБОЧАЯ ПРОГРАММА УЧЕБНОЙ ДИСЦИПЛИНЫ ДПП.Ф.01 ЯЗЫКОЗНАНИЕ

РАБОЧАЯ ПРОГРАММА УЧЕБНОЙ ДИСЦИПЛИНЫ ДПП.Ф.01 ЯЗЫКОЗНАНИЕ МИНИСТЕРСТВО ОБРАЗОВАНИЯ И НАУКИ РОССИЙСКОЙ ФЕДЕРАЦИИ ФЕДЕРАЛЬНОЕ ГОСУДАРСТВЕННОЕ БЮДЖЕТНОЕ ОБРАЗОВАТЕЛЬНОЕ УЧРЕЖДЕНИЕ ВЫСШЕГО ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ «ТОМСКИЙ ГОСУДАРСТВЕННЫЙ ПЕДАГОГИЧЕСКИЙ УНИВЕРСИТЕТ»

Подробнее

СОДЕРЖАНИЕ 1. ПАСПОРТ РАБОЧЕЙ ПРОГРАММЫ УЧЕБНОЙ ДИСЦИПЛИНЫ 3 2. СТРУКТУРА И СОДЕРЖАНИЕ УЧЕБНОЙ ДИСЦИПЛИНЫ..6

СОДЕРЖАНИЕ 1. ПАСПОРТ РАБОЧЕЙ ПРОГРАММЫ УЧЕБНОЙ ДИСЦИПЛИНЫ 3 2. СТРУКТУРА И СОДЕРЖАНИЕ УЧЕБНОЙ ДИСЦИПЛИНЫ..6 1 СОДЕРЖАНИЕ 1. ПАСПОРТ РАБОЧЕЙ ПРОГРАММЫ УЧЕБНОЙ ДИСЦИПЛИНЫ 3. СТРУКТУРА И СОДЕРЖАНИЕ УЧЕБНОЙ ДИСЦИПЛИНЫ..6 3. УСЛОВИЯ РЕАЛИЗАЦИИ ПРОГРАММЫ УЧЕБНОЙ ДИСЦИПЛИН 9 4. КОНТРОЛЬ И ОЦЕНКА РЕЗУЛЬТАТОВ ОСВОЕНИЯ

Подробнее

О РАСПОЗНАВАНИИ СВЕРХБОЛЬШИХ СЛОВАРЕЙ РУССКИХ СЛОВОФОРМ НА ОСНОВЕ РАСПОЗНАВАНИЯ КВАЗИОСНОВ А.В. Ниценко. Институт проблем искусственного интеллекта

О РАСПОЗНАВАНИИ СВЕРХБОЛЬШИХ СЛОВАРЕЙ РУССКИХ СЛОВОФОРМ НА ОСНОВЕ РАСПОЗНАВАНИЯ КВАЗИОСНОВ А.В. Ниценко. Институт проблем искусственного интеллекта УДК 004.934 О РАСПОЗНАВАНИИ СВЕРХБОЛЬШИХ СЛОВАРЕЙ РУССКИХ СЛОВОФОРМ НА ОСНОВЕ РАСПОЗНАВАНИЯ КВАЗИОСНОВ А.В. Ниценко Институт проблем искусственного интеллекта Статья посвящена описанию способа распознавания

Подробнее

Б1.В.ОД.4 Алтайский язык (фонетика, лексика)

Б1.В.ОД.4 Алтайский язык (фонетика, лексика) 1. Цель дисциплины: Б1.В.ОД.4 Алтайский язык (фонетика, лексика) - углубить знания обучающихся о лексико-фразеологическом, фонетическом и морфемном уровнях системы современного алтайского литературного

Подробнее

Правительство Российской Федерации

Правительство Российской Федерации Правительство Российской Федерации Федеральное государственное автономное образовательное учреждение высшего образования "Национальный исследовательский университет "Высшая школа экономики" Факультет гуманитарных

Подробнее

Рабочая программа по русскому языку для 7 класса под редакцией Львова С.И., Львова В.В.

Рабочая программа по русскому языку для 7 класса под редакцией Львова С.И., Львова В.В. Рабочая программа по русскому языку для 7 класса под редакцией Львова С.И., Львова В.В. Количество часов в году 170 Количество часов в неделю 5 Количество контрольных плановых уроков 11 Количество уроков

Подробнее

Разработка средств создания морфологических словарей казахского языка на основе корпуса размеченных текстов

Разработка средств создания морфологических словарей казахского языка на основе корпуса размеченных текстов Разработка средств создания морфологических словарей казахского языка на основе корпуса размеченных текстов Джумамуратов Р.А. Группа 7205 Научный руководитель канд. физ.-мат. наук Сидорова Е.А. Актуальность

Подробнее

Рабочая программа по учебному предмету «Русский язык» среднее общее образование

Рабочая программа по учебному предмету «Русский язык» среднее общее образование СОГЛАСОВАНО: заседание МО протокол от 29 августа 206 г. РАССМОТРЕНО: заседание НМС протокол от 30 августа 206 г. УТВЕРЖДЕНО: Директор МБОУ «Гимназия» /Р.И. Шишкина/ Приказ 8 от 3 августа 206 г. Рабочая

Подробнее