ОПТИМАЛЬНЫЙ ГРАДИЕНТНЫЙ МЕТОД МИНИМИЗАЦИИ ВЫПУКЛЫХ ФУНКЦИЙ. М. В. Долгополик. 10 ноября 2016 г.

Save this PDF as:
 WORD  PNG  TXT  JPG

Размер: px
Начинать показ со страницы:

Download "ОПТИМАЛЬНЫЙ ГРАДИЕНТНЫЙ МЕТОД МИНИМИЗАЦИИ ВЫПУКЛЫХ ФУНКЦИЙ. М. В. Долгополик. 10 ноября 2016 г."

Транскрипт

1 ОПТИМАЛЬНЫЙ ГРАДИЕНТНЫЙ МЕТОД МИНИМИЗАЦИИ ВЫПУКЛЫХ ФУНКЦИЙ М. В. Долгополик 10 ноября 2016 г. Аннотация. В докладе обсуждается в некотором смысле оптимальный градиентный метод минимизации гладких выпуклых функций, предложенный Ю.Е. Нестеровым [1 3]. В изложении данного метода мы следуем разделу книги [3]. 1. Оценивающие последовательности. Рассмотрим задачу глобальной минимизации выпуклой функции f, определённой и непрерывно дифференцируемой на всём пространстве R n. Для простоты изложения мы будем предполагать, что градиент функции f удовлетворяет условию Липшица на R n с константой L > 0, т.е. f x f y L x y x,y R n, где евклидова норма. Также будем предполагать, что функция f ограничена снизу и достигает глобального минимума. Для построения и анализа метода Нестерова мы воспользуемся техникой оценивающих последовательностей [3], раздел ОПРЕДЕЛЕНИЕ 1. Пара последовательностей {φ k x},{λ k }, где φ k x функция определенная на R n, а λ k неотрицательное число, называется оценивающей последовательностью для функции fx, если для любого вектора x R n справедливо неравенство φ k x 1 λ k fx+λ k φ 0 x k {0} N. З а м е ч а н и е 1. Здесь и далее мы предполагаем, что все последовательности нумеруются начиная с нуля, т.е. что индекс последовательности k принадлежит множеству {0} N. Семинар по конструктивному негладкому анализу и недифференцируемой оптимизации «CNSA & NDO»: 1

2 2 В общем случае, оценивающие последовательности не несут почти никакой информации о функции f, т.к. в качестве функции φ k x можно выбрать любую миноранту функции1 λ k fx+λ k φ 0 x. Оценивающие последовательности оказываются полезным инструментом лишь в том случае, когда они определённым образом связаны с некоторой последовательностью точек {x k }, построенной согласно какому-нибудь итерационному методу минимизации функции f. Обозначим через x точку глобального минимума функции f, и положим f = fx. ЛЕММА 1. Пусть для некоторой последовательности {x k } справедливо неравенство fx k φ k := min x R nφ kx k {0} N. 1 Тогда fx k f λ k φ0 x f k {0} N. Д о к а з а т е л ь с т в о. По определению последовательности {x k } будет fx k min x R nφ kx k {0} N. Воспользовавшись определением оценивающей последовательности, получим, что fx k min 1 λ k fx+λ k φ 0 x k {0} N и, следовательно, x R n fx k 1 λ k fx +λ k φ 0 x k {0} N. Перенеся fx = f в левую часть, придём к неравенству что и требовалось доказать. fx k f λ k φ0 x f, Таким образом, если имеется некоторая последовательность точек {x k }, и функции φ k x из оценивающей последовательности выбраны так, чтобы их глобальный минимум φ k не превосходил значения функции f в очередной точке x k, т.е. φ k fx k, то можно сразу получить оценку fx k f λ k φ0 x f k {0} N. Если, вдобавок, коэффициенты λ k 0 выбраны таким образом, что λ k 0 при k, то можно заключить, что последовательность {x k } является минимизирующей последовательностью для функции f. Кроме того, в этом случае можно легко получить оценку скорости сходимости последовательности {fx k } к f исходя из скорости сходимости последовательности {λ k } к нулю.

3 3 Для того чтобы воспользоваться описанным выше результатом, необходимо построить оценивающую последовательность для функции f и последовательность {x k }, удовлетворяющую неравенству 1. Первым делом мы рассмотрим простую итеративную процедуру построения оценивающих последовательностей. ЛЕММА 2. Пусть φ 0 : R n R произвольная функция и λ 0 = 1. Пусть также {y k } R n и {α k } 0,1 произвольные последовательности. Тогда пара последовательностей {φ k x},{λ k }, определяемая рекуррентными соотношениями λ k+1 = 1 α k λ k, 2 φ k+1 x = 1 α k φ k x+α k fy k + f y k,x y k, 3 является оценивающей последовательностью для функции f. Д о к а з а т е л ь с т в о. Для того чтобы доказать данную лемму, необходимо проверить, что для любого x R n справедливо неравенство φ k x 1 λ k fx+λ k φ 0 x k {0} N. 4 Воспользуемся методом математической индукции. Пусть сначала k = 0. Поскольку λ 0 = 1, то φ 0 x 1 λ 0 fx+λ 0 φ 0 x φ 0 x x R n. Предположим теперь, что неравенство 4 выполняется для некоторого k {0} N. Покажем, что тогда это неравенство выполнено и для k +1. Действительно, по определению φ k+1 x = 1 α k φ k x+α k fy k + f y k,x y k. Поскольку функция f выпукла, то fx fy k f y k,x y k. Следовательно, φ k+1 x 1 α k φ k x+α k fx. Заметим, что Поэтому α k = 1 1 α k λ k 1 αk 1 λ k. φ k+1 x 1 1 α k λ k fx+1 αk φ k x 1 λ k fx.

4 4 Так как по нашему предположению неравенство 4 выполнено для k, то φ k x 1 λ k fx λ k φ 0 x, откуда φ k+1 x 1 1 α k λ k fx+1 αk λ k φ 0 x. Напомним, что по определению λ k+1 = 1 α k λ k. Поэтому φ k+1 x 1 λ k+1 fx+λ k+1 φ 0 x, т.е. неравенство 4 выполнено для k + 1. Следовательно, согласно методу математической индукции данное неравенство выполнено для всех k. З а м е ч а н и е 2. Пусть оценивающая последовательность {φ k x},{λ k } построена по описанной выше итеративной процедуре. Отметим, что простым достаточным условием, гарантирующим сходимость λ k к 0 является условие α k = +. Действительно, по определению k=0 λ k = k 1 α s. Оценим величину λ k сверху. Для этого воспользуемся неравенством s=1 1 t e t t 0, справедливость которого следует из неотрицательности производной функции ht = e t +t 1 для всех t 0 и того факта, что h0 = 0. Имеем k λ k = 1 α s e k s=1 αs. Отсюда, учитывая, что доказать. k=0 s=1 α k = +, получаем lim k λ k = 0, что и требовалось Предыдущая лемма описывает простой итеративный способ построения оценивающей последовательности для функции f. Необходимо выбрать «начальное приближение» φ 0 x, а также две последовательности {y k } R n и {α k } 0,1. После этого оценивающая последовательность строится согласно рекуррентным соотношениям 2, 3. Отметим, что последовательности {y k } и {α k } выступают в качестве параметров, которые необходимо выбирать таким образом, чтобы гарантировать справедливость неравенства 1. Покажем, что если в качестве «начального приближения» φ 0 x выбрать простую квадратичную функцию, то последовательность {φ k x} можно вычислить в явном виде.

5 5 ЛЕММА 3. Пусть φ 0 x = φ 0 + γ 0 2 x v 0 2, и предположим, что последовательности {λ k } и {φ k x} определяются рекуррентными соотношениями 2, 3. Тогда φ k x φ k + γ k 2 x v k 2 k N, где последовательности {γ k }, {v k } и {φ k } определяются следующим образом: γ k+1 = 1 α k γ k, v k+1 = v k α k γ k+1 f y k, φ k+1 = 1 α k φ k +α k fy k α2 k f y k 2 +α k f y k,v k y k. Д о к а з а т е л ь с т в о. Согласно рекуррентному соотношению 3 функцияφ k x имеет вид φ k+1 x = 1 α k φ k x+α k fy k + f y k,x y k. Поскольку функция φ 0 x является квадратичной, а каждая последующая функция φ k+1 x получается из предыдущей φ k x домножением на константу 1 α k и прибавлением линейной функции, то все функции φ k x являются квадратичными и имеют вид φ k x = φ k + x v k,a k x v k, 5 для некоторых матриц A k, векторов v k и чисел φ k. Вычислим данные величины в явном виде. Так как φ 0x γ 0 E n, где E n единичная матрица размерности n, и то Поэтому и φ k+1x 1 α k φ kx, A k+1 = γ k+1 E n, γ k+1 = 1 α k γ k. φ k x = φ k + γ k 2 x v k 2 φ k+1 x = 1 α k φ k + γ k 2 x v k 2 +α k fy k + f y k,x y k.

6 6 Заметим, что вектор v k из 5 является точкой глобального минимума функции φ k x. Поэтому справедливо равенство откуда 0 = φ k+1v k+1 = 1 α k γ k v k+1 v k +α k f y k = 0, v k+1 = v k α k γ k+1 f y k. 6 Теперь вычислим φ k+1. Из рекуррентного соотношения 3 следует, что φ k+1+ γ k+1 2 y k v k+1 2 = φ k+1 y k = 1 α k φ k + γ k 2 y k v k 2 +α k fy k. 7 В силу 6 имеем Поэтому v k+1 y k = v k y k α k γ k+1 f y k. γ k+1 2 v k+1 y k 2 = γ k+1 2 v k y k 2 α k f y k,v k y k + α2 k f y k 2. Подставляя данное выражение в 7, получаем φ k+1 = 1 α k φ k +α k fy k α2 k f y k 2 +α k f y k,v k y k, что и требовалось доказать. 2. Метод Нестерова. Перейдём к построению численного метода минимизации функции f. Пусть задано начальное приближение x 0. Мы будем одновременно строить последующие приближения x k и подбирать параметры y k и α k оценивающей последовательности {φ k },{λ k }, определяемой соотношениями 2, 3, с целью гарантировать справедливость неравенства fx k φ k := min x R nφ kx k {0} N. Если при этом удастся показать, что последовательность {λ k } стремится к нулю, то, воспользовавшись леммой 1, сразу получим, что последовательность {x k } является минимизирующей последовательностью для функции f. Кроме того, оценив скорость сходимости последовательности {λ k } к нулю, мы получим оценку скорости сходимости построенного метода. Поскольку при построении численного метода нам потребуется оценивать снизу величинуφ k, что делать проще зная её явный вид, то, учитывая лемму 3, положим φ 0 x = φ 0 + γ 0 2 x v 0 2.

7 7 Пусть очередное приближение x k, удовлетворяющее неравенству φ k fx k 8 уже построено. Покажем как определить следующее приближение x k+1. По лемме 3 имеем φ k+1 = 1 α k φ k +α k fy k α2 k f y k 2 +α k f y k,v k y k. Учитывая 8, получаем φ k+1 1 α k fx k +α k fy k α2 k f y k 2 +α k f y k,v k y k. Так как функция f выпукла, то fx k fy k f y k,x k y k. Поэтому φ k+1 fy k α2 k f y k 2 +1 α k f α k y k, v k y k +x k y k. 9 1 α k Разберёмся сначала с первыми двумя слагаемыми: fy k α2 k f y k 2. Напомним, что необходимо выбрать x k+1 так, чтобы φ k+1 fx k+1. Выберем в качестве x k+1 любую точку удовлетворяющую неравенству fy k 1 2L f y k 2 fx k В частности, можно положить x k+1 = y k 1 L f y k. Существование по крайней мере одной точки x k+1, удовлетворяющей неравенству 10, следует из хорошо известного неравенства fy fx f x,y x L 2 x y 2 x,y R n 11 см., например, [3], Теорема Для того чтобы из данного неравенства получить неравенство 10 достаточно положить x = y k и y = x k+1 = y k 1 L f y k. Определим α k из уравнения Lα 2 k = 1 α k γ k.

8 8 Тогда αk 2 = 1 2L. Подставляя данное выражение в 9 и используя определение точки x k+1 см. 10, приходим к неравенству φ k+1 fx k+1 +1 α k f α k y k, v k y k +x k y k. 1 α k Теперь естественно определить y k из уравнения т.е. α k 1 α k v k y k +x k y k = 0, y k = α k v k +1 α k x k. Данный выбор y k гарантирует выполнение неравенства φ k+1 fx k+1 для всех k {0} N. Таким образом, мы приходим к следующей теоретической схеме метода минимизации функции f, который принято называть оптимальным градиентным методом или методом Нестерова. 1 Выберем x 0 R n и γ 0 > 0. Положим v 0 = x 0. 2 Переход от k-го приближения к k + 1-ому осуществляется следующим образом: a Найдём α k 0,1 из уравнения Положим γ k+1 = 1 α k γ k. b Выберем и вычислим fy k и f y k. c Найдём x k+1 такое, что Lα 2 k = 1 α k γ k. y k = α k v k +1 α k x k fx k+1 fy k 1 2L f y k 2. d Положим v k+1 = v k α k γ k+1 f y k.

9 9 Покажем сначала, что для любого k {0} N действительно найдётся решение квадратного уравнения Lα 2 k = 1 α k γ k, принадлежащее интервалу 0, 1. Для этого воспользуемся методом математической индукции. При k = 0 искомое решение существует, так как непрерывная функция h 0 t = Lt 2 1 tγ 0 принимает на концах отрезка [0,1] значения разных знаков h 0 0 = γ 0 < 0 и h 0 1 = L > 0. Предположим теперь, что требуемое решение α k существует для некоторого k {0} N. По определению γ k+1 = 1 α k γ k = Lα 2 k, то есть γ k+1 > 0. Теперь, воспользовавшись тем, что функция h k+1 t = = Lt 2 1 tγ k+1 принимает на концах отрезка [0,1] значения разных знаков, получим существование решения α k+1 0,1, что и требовалось показать. Таким образом, все параметры α k корректно определены. Перейдём теперь к анализу сходимости построенного метода. ТЕОРЕМА 1. Пусть последовательность {x k } построена по методу Нестерова. Тогда fx k f 2LL+γ 0 γ 0 k +2 L 2 x 0 x 2 k {0} N. В частности, если γ 0 = L, то fx k f 4L k +2 2 x 0 x 2 k {0} N. Д о к а з а т е л ь с т в о. Напомним, что функция φ 0 x была выбрана в виде φ 0 x = φ 0 + γ 0 2 x v 0 2. Положим φ 0 = fx 0. Тогда по построению φ k fx k для всех k {0} N. Следовательно, по лемме 1 будет fx k f λ k fx 0 f + γ 0 2 x 0 x 2 k {0} N. Воспользовавшись неравенством fx 0 f L x 0 x 2 /2, которое следует из неравенства 11 при y = x 0 и x = x, получим fx k f λ k 2 L+γ 0 x 0 x 2. 12

10 10 Оценим коэффициенты λ k. По определению γ k+1 = 1 α k γ k и λ k+1 = 1 α k λ k см. 2. Так как λ 0 = 1, то получаем, что γ k = γ 0 λ k. Поэтому Lα 2 k = 1 α k γ k = γ k+1 = γ 0 λ k+1, то есть λ k+1 = L γ 0 α 2 k. 13 Для любого k {0} N имеем 1 1 = λk+1 λk λk λ k+1 λk λ k+1 = λ k λ k+1 λk λ k+1 λ k + λ k+1. Поскольку λ k = k s=1 1 α k и α k 0,1, то {λ k } невозрастающая последовательность. Следовательно, λk λ k+1 λk + λ k+1 = λk λk+1 λk λk + λ k+1 = Значит = λ k λk λ k λ k+1 = λ k 1 α k λ k = λk+1 λk 2λ k λk+1 2λ k λk+1 Отсюда и из 13 получим γ0 λk+1 λk 2 L. Поэтому, учитывая что λ 0 = 1, приходим к неравенству 1 1+ k γ0 λk 2 L или, что эквивалентно, λ k 4L γ 0 k +2 L 2. λk+1 λk λk+1 2λ k λk+1. α k 2 λ k+1. Подставляя данное неравенство в 12, окончательно получаем Теорема доказана. fx k f 2LL+γ 0 γ 0 k +2 L 2 x 0 x 2.

11 11 З а м е ч а н и е 3. Отметим, что для традиционных методов оптимизации, таких как метод градиентного спуска и различные варианты метода сопряжённых градиентов, справедлива следующая оценка скорости сходимости: 1 fx k f = O k см., например, [4, 5]. С другой стороны, согласно предыдущей теореме, для метода Нестерова справедлива лучшая оценка 1 fx k f O. Можно показать, что данная оценка в некотором смысле оптимальна см. главу 2 книги [3], что и объясняет называние «оптимальный градиентный метод». Подробнее по поводу оптимальности численных методов оптимизации см. книгу [6]. k 2 ЛИТЕРАТУРА 1. Нестеров Ю.Е. Метод решения задачи выпуклого программирования со скоростью сходимости O1/k 2 // Докл. АН СССР, 1983, т. 269, 3, с Нестров Ю.Е. Об одном классе методов безусловной минимизации выпуклой функции, обладающих высокой скоростью сходимости // Ж. вычисл. матем. и матем. физ, 1984, т. 24, 7, с Nesterov Y. Introductory Lectures on Convex Optimization. A Basic Course. Dordrecht: Kluwer Academic Publishers, p. 4. Поляк Б.Т. Градиентные методы минимизации функционалов // Ж. вычисл. матем. и матем. физ., 1963, том 3, 4, с Любич Ю.И., Майстровский Г.Д. Общая теория релаксационных процессов для выпуклых функционалов // УМН, 1970, том 25, вып. 1151, с Немировский А.С., Юдин Д.Б. Сложность задач и эффективность методов оптимизации. М.: Наука, с.


МЕТОД НЕСТЕРОВА МИНИМИЗАЦИИ ВЫПУКЛЫХ ФУНКЦИЙ. М. В. Долгополик. 7 апреля 2016 г.

МЕТОД НЕСТЕРОВА МИНИМИЗАЦИИ ВЫПУКЛЫХ ФУНКЦИЙ. М. В. Долгополик. 7 апреля 2016 г. МЕТОД НЕСТЕРОВА МИНИМИЗАЦИИ ВЫПУКЛЫХ ФУНКЦИЙ М. В. Долгополик maxim.dolgopolik@gmail.com 7 апреля 206 г. Аннотация. В докладе обсуждается субградиентный метод минимизации негладкой выпуклой функции на

Подробнее

СЛАБАЯ СХОДИМОСТЬ ГЕОМЕТРИЧЕСКОГО ВАРИАНТА МЕТОДА СОПРЯЖЕННЫХ ГРАДИЕНТОВ. А. В. Плоткин. 28 января 2019 г.

СЛАБАЯ СХОДИМОСТЬ ГЕОМЕТРИЧЕСКОГО ВАРИАНТА МЕТОДА СОПРЯЖЕННЫХ ГРАДИЕНТОВ. А. В. Плоткин. 28 января 2019 г. СЛАБАЯ СХОДИМОСТЬ ГЕОМЕТРИЧЕСКОГО ВАРИАНТА МЕТОДА СОПРЯЖЕННЫХ ГРАДИЕНТОВ А. В. Плоткин avplotkin@gmail.com 28 января 2019 г. 1. Пусть f C 1 (R n ). Рассмотрим экстремальную задачу f(x) min x R n. Для нахождения

Подробнее

ПРИМЕНЕНИЕ МЕТОДА НАИСКОРЕЙШЕГО СПУСКА К РЕШЕНИЮ ДИФФЕРЕНЦИАЛЬНЫХ НЕРАВЕНСТВ. А. В. Фоминых. 12 мая 2016 г.

ПРИМЕНЕНИЕ МЕТОДА НАИСКОРЕЙШЕГО СПУСКА К РЕШЕНИЮ ДИФФЕРЕНЦИАЛЬНЫХ НЕРАВЕНСТВ. А. В. Фоминых. 12 мая 2016 г. ПРИМЕНЕНИЕ МЕТОДА НАИСКОРЕЙШЕГО СПУСКА К РЕШЕНИЮ ДИФФЕРЕНЦИАЛЬНЫХ НЕРАВЕНСТВ А. В. Фоминых alexfomster@mail.ru 1 мая 16 г. Аннотация. В докладе рассматривается задача нахождения решения системы дифференциальных

Подробнее

ЛЕКЦИЯ 6. Методы решения конечномерных задач оптимизации (Задачи безусловной оптимизации) 1. Метод покоординатного спуска

ЛЕКЦИЯ 6. Методы решения конечномерных задач оптимизации (Задачи безусловной оптимизации) 1. Метод покоординатного спуска ЛЕКЦИЯ 6 1. Метод покоординатного спуска 2. Градиентный метод 3. Метод Ньютона Методы решения конечномерных задач оптимизации (Задачи безусловной оптимизации) -1- Численные методы НЛП Задача поиска безусловного

Подробнее

УДИВИТЕЛЬНЫЕ СВОЙСТВА ВЫПУКЛЫХ ФУНКЦИЙ. В. Н. Малозёмов. 5 сентября 2017 г.

УДИВИТЕЛЬНЫЕ СВОЙСТВА ВЫПУКЛЫХ ФУНКЦИЙ. В. Н. Малозёмов. 5 сентября 2017 г. УДИВИТЕЛЬНЫЕ СВОЙСТВА ВЫПУКЛЫХ ФУНКЦИЙ В. Н. Малозёмов v.malozemov@spbu.ru 5 сентября 2017 г. 1. Будем изучать свойства конечных выпуклых функций, заданных наr n. Напомним, что функция f(x называется выпуклой,

Подробнее

Условия сходимости итерационного процесса решения задач параметрического программирования методом гладких штрафных функций

Условия сходимости итерационного процесса решения задач параметрического программирования методом гладких штрафных функций 120 ТРУДЫ МФТИ. 2012. Том 4, 4 УДК 519.85 Д. А. Марковцев Московский физико-технический институт (государственный университет) Условия сходимости итерационного процесса решения задач параметрического программирования

Подробнее

ЛЕКЦИЯ 14. Численные методы нелинейного программирования. 3. Метод Такахаши (дуализация/градиентный

ЛЕКЦИЯ 14. Численные методы нелинейного программирования. 3. Метод Такахаши (дуализация/градиентный ЛЕКЦИЯ 14 Численные методы нелинейного программирования 1. Градиентный метод 2. Теоремы сходимости 3. Метод Такахаши (дуализация/градиентный метод) -1- Численные методы НЛП Задача поиска безусловного минимума:

Подробнее

ЛЕКЦИЯ Метод внутренних штрафов. 4. Метод покоординатного спуска

ЛЕКЦИЯ Метод внутренних штрафов. 4. Метод покоординатного спуска ЛЕКЦИЯ 15 1. Метод Ньютона (метод второго порядка) 2. Метод внешних штрафов 3. Метод внутренних штрафов 4. Метод покоординатного спуска -1- МЕТОД НЬЮТОНА Пусть f дважды непрерывно дифференцируемая функция

Подробнее

ЛЕКЦИЯ Метод покоординатного спуска. 2. Метод Ньютона (продолжение)

ЛЕКЦИЯ Метод покоординатного спуска. 2. Метод Ньютона (продолжение) ЛЕКЦИЯ 16 1. Метод покоординатного спуска 2. Метод Ньютона (продолжение) -1- МЕТОД ПОКООРДИНАТНОГО СПУСКА Область применения: минимизируемая функция либо не обладает нужной гладкостью, либо является гладкой,

Подробнее

НЕРАВЕНСТВА И ЭКСТРЕМАЛЬНЫЕ ЗАДАЧИ. В. Н. Малозёмов. 4 сентября 2014 г.

НЕРАВЕНСТВА И ЭКСТРЕМАЛЬНЫЕ ЗАДАЧИ. В. Н. Малозёмов. 4 сентября 2014 г. НЕРАВЕНСТВА И ЭКСТРЕМАЛЬНЫЕ ЗАДАЧИ В. Н. Малозёмов malv@math.spbu.ru 4 сентября 2014 г. Аннотация. Доклад посвящён элементарным методам в экстремальных задачах. 1. Рассмотрим несколько конкретных экстремальных

Подробнее

НЕОБХОДИМЫЕ УСЛОВИЯ ОПТИМАЛЬНОСТИ ПЕРВОГО И ВТОРОГО ПОРЯДКОВ В ПРОСТЕЙШЕЙ НЕЛИНЕЙНОЙ ЗАДАЧЕ ВАРИАЦИОННОГО ИСЧИСЛЕНИЯ. В. Н.

НЕОБХОДИМЫЕ УСЛОВИЯ ОПТИМАЛЬНОСТИ ПЕРВОГО И ВТОРОГО ПОРЯДКОВ В ПРОСТЕЙШЕЙ НЕЛИНЕЙНОЙ ЗАДАЧЕ ВАРИАЦИОННОГО ИСЧИСЛЕНИЯ. В. Н. НЕОБХОДИМЫЕ УСЛОВИЯ ОПТИМАЛЬНОСТИ ПЕРВОГО И ВТОРОГО ПОРЯДКОВ В ПРОСТЕЙШЕЙ НЕЛИНЕЙНОЙ ЗАДАЧЕ ВАРИАЦИОННОГО ИСЧИСЛЕНИЯ В. Н. Малозёмов v.mlozemov@spbu.ru 8 декабря 206 г. Аннотация. Рассматривается простейшая

Подробнее

Лекция 13. Методы решения равновесных задач и вариационных неравенств

Лекция 13. Методы решения равновесных задач и вариационных неравенств Лекция 13. Методы решения равновесных задач и вариационных неравенств Вспомним основные определения равновесных задач и вариационных неравенств. Пусть D R n - непустое замкнутое выпуклое множество. Определение

Подробнее

Дифференциальные уравнения Т С

Дифференциальные уравнения Т С Дифференциальные уравнения. 1999. Т.35. 6. С.784-792. УДК 517.957 ОДНОЗНАЧНАЯ РАЗРЕШИМОСТЬ КРАЕВЫХ ЗАДАЧ ДЛЯ ЭЛЛИПТИЧЕСКИХ УРАВНЕНИЙ С НЕЛИНЕЙНОСТЯМИ Ю. В. Жерновый 1. Введение. Постановка задачи. Наиболее

Подробнее

ДРОБИ ЗОЛОТАРЁВА. В. Н. Малозёмов. 25 февраля 2016 г.

ДРОБИ ЗОЛОТАРЁВА. В. Н. Малозёмов. 25 февраля 2016 г. ДРОБИ ЗОЛОТАРЁВА М. М. Гхашим mohgh0@yahoo.com В. Н. Малозёмов malv@math.spbu.ru 25 февраля 206 г. Г. Ш. Тамасян g.tamasyan@spbu.ru Аннотация. Полиномы Чебышёва хорошо известны. Менее известными являются

Подробнее

ЛЕКЦИЯ 8. Методы разработки алгоритмов решения конечномерных задач оптимизации

ЛЕКЦИЯ 8. Методы разработки алгоритмов решения конечномерных задач оптимизации ЛЕКЦИЯ 8 Методы разработки алгоритмов решения конечномерных задач оптимизации Синтез методов решения 1. Метод Такахаши 2. Метод Келли Численные методы нелинейного программирования 1. Градиентный метод

Подробнее

ОБ ОДНОЙ КУБИЧЕСКОЙ ВАРИАЦИОННОЙ ЗАДАЧЕ. 11 февраля 2016 г.

ОБ ОДНОЙ КУБИЧЕСКОЙ ВАРИАЦИОННОЙ ЗАДАЧЕ. 11 февраля 2016 г. ОБ ОДНОЙ КУБИЧЕСКОЙ ВАРИАЦИОННОЙ ЗАДАЧЕ В. Н. Малозёмов mlv@mth.spbu.ru Г. Ш. Тамасян g.tmsyn@spbu.ru 11 февраля 2016 г. 1. Квадратичные вариационные задачи изучены детально [1]. При выполнении усиленного

Подробнее

НАХОЖДЕНИЕ РАССТОЯНИЯ МЕЖДУ ЭЛЛИПСОИДАМИ ) Г. Ш. Тамасян, А. А. Чумаков

НАХОЖДЕНИЕ РАССТОЯНИЯ МЕЖДУ ЭЛЛИПСОИДАМИ ) Г. Ш. Тамасян, А. А. Чумаков ДИСКРЕТНЫЙ АНАЛИЗ И ИССЛЕДОВАНИЕ ОПЕРАЦИЙ Май июнь 2014 Том 21, 3 C 87 102 УДК 51985 НАХОЖДЕНИЕ РАССТОЯНИЯ МЕЖДУ ЭЛЛИПСОИДАМИ Г Ш Тамасян, А А Чумаков Аннотация Рассматривается задача нахождения ближайших

Подробнее

ЭКЗОСТЕРЫ: ИСЧИСЛЕНИЕ, УСЛОВИЯ ЭКСТРЕМУМА, СРАВНЕНИЕ С КВАЗИДИФФЕРЕНЦИАЛАМИ. М. Э. Аббасов. 17 ноября 2016 г.

ЭКЗОСТЕРЫ: ИСЧИСЛЕНИЕ, УСЛОВИЯ ЭКСТРЕМУМА, СРАВНЕНИЕ С КВАЗИДИФФЕРЕНЦИАЛАМИ. М. Э. Аббасов. 17 ноября 2016 г. ЭКЗОСТЕРЫ: ИСЧИСЛЕНИЕ, УСЛОВИЯ ЭКСТРЕМУМА, СРАВНЕНИЕ С КВАЗИДИФФЕРЕНЦИАЛАМИ М. Э. Аббасов abbasov.majid@gmail.com 17 ноября 016 г. Аннотация. Экзостеры были введены В.Ф. Демьяновым. В терминах этих объектов

Подробнее

КВАЗИНЬЮТОНОВСКИЕ МЕТОДЫ БЕЗУСЛОВНОЙ МИНИМИЗАЦИИ. 16 апреля 2015 г.

КВАЗИНЬЮТОНОВСКИЕ МЕТОДЫ БЕЗУСЛОВНОЙ МИНИМИЗАЦИИ. 16 апреля 2015 г. КВАЗИНЬЮТОНОВСКИЕ МЕТОДЫ БЕЗУСЛОВНОЙ МИНИМИЗАЦИИ В Н Малозёмов vmalozemov@spburu Е К Чернэуцану katerinache@yandexru 16 апреля 2015 г Аннотация В докладе анализируется общая схема построения квазиньютоновских

Подробнее

1 Элеметарная теория погрешностей. 2

1 Элеметарная теория погрешностей. 2 Содержание Элеметарная теория погрешностей. Решение СЛАУ. 4. Нормы в конечномерных пространствах... 4. Обусловленность СЛАУ............ 5.3 Итерационные методы решения линейных систем......................

Подробнее

Лекция 3. Производная по направлению

Лекция 3. Производная по направлению Лекция 3. Производная по направлению Производная по направлению имеет большое значение в теории математического программирования. Напомним, что производная по направлению согласно определению равна: f

Подробнее

ЦИКЛИЧЕСКИЕ ФУНКЦИИ И ЭКСТРЕМАЛЬНЫЕ ЗАДАЧИ. В. Н. Малозёмов. 27 августа 2015 г.

ЦИКЛИЧЕСКИЕ ФУНКЦИИ И ЭКСТРЕМАЛЬНЫЕ ЗАДАЧИ. В. Н. Малозёмов. 27 августа 2015 г. ЦИКЛИЧЕСКИЕ ФУНКЦИИ И ЭКСТРЕМАЛЬНЫЕ ЗАДАЧИ В Н Малозёмов vmalozemov@spburu 7 августа 05 г Начнём с простого примера Возьмём циклическую функцию G n (x) = x x +x + x x +x 3 + + x n x n +x n + x n x n +x

Подробнее

max f при условии, что g(x) = b i, (1)

max f при условии, что g(x) = b i, (1) Метод множителей Лагранжа Рассмотрим экстремальную задачу с ограничениями в виде равенств: найти a при условии что ) = ) на множестве допустимых значений описываемом системой уравнений где R : R R : R

Подробнее

Локальная теорема Коши Пикара.

Локальная теорема Коши Пикара. Локальная теорема Коши Пикара. Теорема (о существовании и единственности локального решения). Пусть дана задача Коши x = f(t, x) x(t 0 ) = x 0, (1) где правая часть f(t, x) определена и непрерывна в прямоугольнике

Подробнее

Планы ответов на вопросы экзаменационных билетов госэкзамена по курсу ОПТИМИЗАЦИЯ И ЧИСЛЕННЫЕ МЕТОДЫ, лектор проф. М. М. Потапов

Планы ответов на вопросы экзаменационных билетов госэкзамена по курсу ОПТИМИЗАЦИЯ И ЧИСЛЕННЫЕ МЕТОДЫ, лектор проф. М. М. Потапов Планы ответов на вопросы экзаменационных билетов госэкзамена по курсу ОПТИМИЗАЦИЯ И ЧИСЛЕННЫЕ МЕТОДЫ, лектор проф. М. М. Потапов Вопрос: 4. Симплекс-метод для канонической задачи линейного программирования:

Подробнее

ЛЕКЦИЯ 7. Необходимые условия экстремума. 2. Необходимые условия оптимальности Фритца Джона. 3. Необходимые условия оптимальности Куна Таккера

ЛЕКЦИЯ 7. Необходимые условия экстремума. 2. Необходимые условия оптимальности Фритца Джона. 3. Необходимые условия оптимальности Куна Таккера ЛЕКЦИЯ 7 Необходимые условия экстремума 1. Геометрическая форма необходимых условий оптимальности 2. Необходимые условия оптимальности Фритца Джона 3. Необходимые условия оптимальности Куна Таккера -1-

Подробнее

НАИЛУЧШЕЕ ДРОБНО-РАЦИОНАЛЬНОЕ ПРИБЛИЖЕНИЕ ФУНКЦИИ НА ОТРЕЗКЕ. М. А. Кольцов. 24 ноября 2016 г.

НАИЛУЧШЕЕ ДРОБНО-РАЦИОНАЛЬНОЕ ПРИБЛИЖЕНИЕ ФУНКЦИИ НА ОТРЕЗКЕ. М. А. Кольцов. 24 ноября 2016 г. НАИЛУЧШЕЕ ДРОБНО-РАЦИОНАЛЬНОЕ ПРИБЛИЖЕНИЕ ФУНКЦИИ НА ОТРЕЗКЕ М. А. Кольцов kolmax94@gmail.com 24 ноября 26 г.. Постановка задачи. Часто значение какой-либо функции известно лишь в заданных точках с некоторой

Подробнее

ЛЕКЦИЯ 11 МНОГОМЕРНАЯ ИНТЕРПОЛЯЦИЯ. ЗАДАЧА ОПТИМИЗАЦИИ

ЛЕКЦИЯ 11 МНОГОМЕРНАЯ ИНТЕРПОЛЯЦИЯ. ЗАДАЧА ОПТИМИЗАЦИИ ЛЕКЦИЯ 11 МНОГОМЕРНАЯ ИНТЕРПОЛЯЦИЯ ЗАДАЧА ОПТИМИЗАЦИИ На прошлой лекции были рассмотрены методы решения нелинейных уравнений Были рассмотрены двухточечные методы, которые используют локализацию корня,

Подробнее

Math-Net.Ru Общероссийский математический портал

Math-Net.Ru Общероссийский математический портал Math-Net.Ru Общероссийский математический портал Л. Н. Полякова, Некоторые методы минимизации максимума квадратичных функций, Владикавк. матем. журн., 2006, том 8, номер 4, 46 57 Использование Общероссийского

Подробнее

Системы управления и моделирование

Системы управления и моделирование Системы управления и моделирование Алгоритм анализа робастной устойчивости дискретных систем управления с периодическими ограничениями М. В. МОРОЗОВ Аннотация. Для дискретных линейных нестационарных систем

Подробнее

Планы ответов на вопросы экзаменационных билетов госэкзамена по курсу ОПТИМИЗАЦИЯ И ЧИСЛЕННЫЕ МЕТОДЫ, лектор проф. М. М. Потапов

Планы ответов на вопросы экзаменационных билетов госэкзамена по курсу ОПТИМИЗАЦИЯ И ЧИСЛЕННЫЕ МЕТОДЫ, лектор проф. М. М. Потапов Планы ответов на вопросы экзаменационных билетов госэкзамена по курсу ОПТИМИЗАЦИЯ И ЧИСЛЕННЫЕ МЕТОДЫ, лектор проф. М. М. Потапов Вопрос: 4. Симплекс-метод для канонической задачи линейного программирования:

Подробнее

ПРОЕКТИРОВАНИЕ ТОЧКИ НА ПОДПРОСТРАНСТВО И НА СТАНДАРТНЫЙ СИМПЛЕКС. В. Н. Малозёмов. 28 февраля 2013 г.

ПРОЕКТИРОВАНИЕ ТОЧКИ НА ПОДПРОСТРАНСТВО И НА СТАНДАРТНЫЙ СИМПЛЕКС. В. Н. Малозёмов. 28 февраля 2013 г. ПРОЕКТИРОВАНИЕ ТОЧКИ НА ПОДПРОСТРАНСТВО И НА СТАНДАРТНЫЙ СИМПЛЕКС В. Н. Малозёмов malv@math.spbu.ru 28 февраля 2013 г. В докладе на двух примерах показывается, чем различаются классические и неклассические

Подробнее

1 Квазиньютоновские методы

1 Квазиньютоновские методы Методы оптимизации, ФКН ВШЭ, зима 2017 Семинар 7: Квазиньютоновские методы 21 февраля 2017 г 1 Квазиньютоновские методы 11 Мотивация Рассмотрим стандартную задачу гладкой безусловной оптимизации: min f(x),

Подробнее

ПРАКТИЧЕСКИЕ ЗАНЯТИЯ

ПРАКТИЧЕСКИЕ ЗАНЯТИЯ ПРАКТИЧЕСКИЕ ЗАНЯТИЯ Занятие НЕОБХОДИМЫЕ И ДОСТАТОЧНЫЕ УСЛОВИЯ БЕЗУСЛОВНОГО ЭКСТРЕМУМА Постановка задачи Дана дважды непрерывно дифференцируемая функция f ( ), определенная на множестве X R Требуется исследовать

Подробнее

ГЛОБАЛЬНАЯ ОПТИМИЗАЦИЯ И МЕТОДЫ НАХОЖДЕНИЯ ВСЕХ КОРНЕЙ СИСТЕМ НЕЛИНЕЙНЫХ АЛГЕБРАИЧЕСКИХ УРАВНЕНИЙ. В. П. Булатов, Т. И. Белых

ГЛОБАЛЬНАЯ ОПТИМИЗАЦИЯ И МЕТОДЫ НАХОЖДЕНИЯ ВСЕХ КОРНЕЙ СИСТЕМ НЕЛИНЕЙНЫХ АЛГЕБРАИЧЕСКИХ УРАВНЕНИЙ. В. П. Булатов, Т. И. Белых ДИСКРЕТНЫЙ АНАЛИЗ И ИССЛЕДОВАНИЕ ОПЕРАЦИЙ Январь июнь 2006. Серия 2. Том 13, 1. 3 9 УДК 519.853.4 ГЛОБАЛЬНАЯ ОПТИМИЗАЦИЯ И МЕТОДЫ НАХОЖДЕНИЯ ВСЕХ КОРНЕЙ СИСТЕМ НЕЛИНЕЙНЫХ АЛГЕБРАИЧЕСКИХ УРАВНЕНИЙ В. П.

Подробнее

МАТРИЧНЫЕ ИГРЫ И ЛИНЕЙНОЕ ПРОГРАММИРОВАНИЕ. В. Н. Малозёмов. 14 апреля 2016 г.

МАТРИЧНЫЕ ИГРЫ И ЛИНЕЙНОЕ ПРОГРАММИРОВАНИЕ. В. Н. Малозёмов. 14 апреля 2016 г. МАТРИЧНЫЕ ИГРЫ И ЛИНЕЙНОЕ ПРОГРАММИРОВАНИЕ В. Н. Малозёмов malv@math.spbu.ru 14 апреля 2016 г. Аннотация. В докладе матричные игры анализируются с точки зрения линейного программирования. Приведены два

Подробнее

А. П. ИВАНОВ, Ю. В. ОЛЕМСКОЙ ПРАКТИКУМ ПО ЧИСЛЕННЫМ МЕТОДАМ МИНИМИЗАЦИЯ КВАДРАТИЧНОЙ ФУНКЦИИ

А. П. ИВАНОВ, Ю. В. ОЛЕМСКОЙ ПРАКТИКУМ ПО ЧИСЛЕННЫМ МЕТОДАМ МИНИМИЗАЦИЯ КВАДРАТИЧНОЙ ФУНКЦИИ САНКТ-ПЕТЕРБУРГСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ Факультет прикладной математики процессов управления А. П. ИВАНОВ, Ю. В. ОЛЕМСКОЙ ПРАКТИКУМ ПО ЧИСЛЕННЫМ МЕТОДАМ МИНИМИЗАЦИЯ КВАДРАТИЧНОЙ ФУНКЦИИ Методические

Подробнее

ТОЧНЫЕ ШТРАФНЫЕ ФУНКЦИИ И ДИФФЕРЕНЦИАЛЬНЫЕ ВКЛЮЧЕНИЯ. А. В. Фоминых. 22 октября 2015 г.

ТОЧНЫЕ ШТРАФНЫЕ ФУНКЦИИ И ДИФФЕРЕНЦИАЛЬНЫЕ ВКЛЮЧЕНИЯ. А. В. Фоминых. 22 октября 2015 г. ТОЧНЫЕ ШТРАФНЫЕ ФУНКЦИИ И ДИФФЕРЕНЦИАЛЬНЫЕ ВКЛЮЧЕНИЯ А. В. Фоминых alexfomser@mail.ru октября 15 г. Аннотация. В докладе рассматривается дифференциальное включение с заданными многозначным отображением

Подробнее

Глава 6. Основы теории устойчивости

Глава 6. Основы теории устойчивости Глава 6 Основы теории устойчивости Лекция Постановка задачи Основные понятия Ранее было показано, что решение задачи Коши для нормальной системы ОДУ = f, () непрерывно зависит от начальных условий при

Подробнее

1 Степенные ряды. Радиус сходимости и интервал

1 Степенные ряды. Радиус сходимости и интервал В.В. Жук, А.М. Камачкин 1 Степенные ряды. Радиус сходимости и интервал сходимости. Характер сходимости. Интегрирование и дифференцирование. 1.1 Радиус сходимости и интервал сходимости. Функциональный ряд

Подробнее

ОБ АЛЬТЕРНАНСАХ. 20 декабря 2012 г.

ОБ АЛЬТЕРНАНСАХ. 20 декабря 2012 г. ОБ АЛЬТЕРНАНСАХ В. Ф. Демьянов vfd@ad9503.spb.edu В. Н. Малозёмов malv@math.spbu.ru 0 декабря 01 г. В докладе анализируется альтернансная форма условий оптимальности для минимаксных задач с ограничениями-неравенствами.

Подробнее

ЛЕКЦИЯ 5. Необходимые условия экстремума. 1. Необходимые условия оптимальности Куна Таккера 2. Критерий оптимальности (выпуклый случай)

ЛЕКЦИЯ 5. Необходимые условия экстремума. 1. Необходимые условия оптимальности Куна Таккера 2. Критерий оптимальности (выпуклый случай) ЛЕКЦИЯ 5 Необходимые условия экстремума 1. Необходимые условия оптимальности Куна Таккера 2. Критерий оптимальности (выпуклый случай) -1- Лекция 4: Теорема 7 (Фаркаша Минковского). Система уравнений Ax

Подробнее

Метод множителей Лагранжа в задаче конечномерного. выпуклое программирование.

Метод множителей Лагранжа в задаче конечномерного. выпуклое программирование. Дальневосточный математический журнал. 015. Том 15. 1. C. 53 60 УДК 519.853 MSC010 65K05, 90C5, 49N15 c А. В. Жильцов, Р. В. Намм 1 Метод множителей Лагранжа в задаче конечномерного выпуклого программирования

Подробнее

ДВА ПОДХОДА К ОПРЕДЕЛЕНИЮ АЛЬТЕРНАНСА

ДВА ПОДХОДА К ОПРЕДЕЛЕНИЮ АЛЬТЕРНАНСА ДВА ПОДХОДА К ОПРЕДЕЛЕНИЮ АЛЬТЕРНАНСА В. Ф. Демьянов vfd@ad9503.spb.edu В. Н. Малозёмов malv@math.spbu.ru 24 января 2013 г. Пусть G R n ограниченное замкнутое множество и C его выпуклая оболочка. В задачах

Подробнее

А.П.Попов. Методы оптимальных решений. Пособие для студентов экономических специальностей вузов

А.П.Попов. Методы оптимальных решений. Пособие для студентов экономических специальностей вузов А.П.Попов Методы оптимальных решений Пособие для студентов экономических специальностей вузов Ростов-на-Дону 01 1 Введение В прикладной математике имеется несколько направления, нацеленных в первую очередь

Подробнее

ГЛАДКАЯ АППРОКСИМАЦИЯ ВЫПУКЛЫХ ФУНКЦИЙ. Л.Н. Полякова. 9 апреля 2015 г.

ГЛАДКАЯ АППРОКСИМАЦИЯ ВЫПУКЛЫХ ФУНКЦИЙ. Л.Н. Полякова. 9 апреля 2015 г. ГЛАДКАЯ АППРОКСИМАЦИЯ ВЫПУКЛЫХ ФУНКЦИЙ Л.Н. Полякова lnpol07@mail.ru 9 апреля 015 г. 1. Введение. Некоторые определения и утверждения из выпуклого анализа. Выпуклый анализ является одним из наиболее глубоко

Подробнее

Первая студенческая олимпиада по математическому анализу Физический факультет МГУ им. М.В. Ломоносова 28 апреля 2016 года.

Первая студенческая олимпиада по математическому анализу Физический факультет МГУ им. М.В. Ломоносова 28 апреля 2016 года. Первая студенческая олимпиада по математическому анализу Физический факультет МГУ им. М.В. Ломоносова 28 апреля 2016 года Задача 1 Докажите, что функции f(x) = arctg x и g(x) = arctg 1+x отличаются на

Подробнее

2. Теорема существования и единственности решения скалярного уравнения. , т.е. (, ) f xy M в D.

2. Теорема существования и единственности решения скалярного уравнения. , т.е. (, ) f xy M в D. Лекция 3 Теорема существования и единственности решения скалярного уравнения Постановка задачи Основной результат Рассмотрим задачу Коши d f ( ) d =,, () = Функция f (, ) задана в области G плоскости (,

Подробнее

ПРИНЦИП ОБОБЩЁННЫХ СЖИМАЮЩИХ ОТОБРАЖЕНИЙ В ПСЕВДОМЕТРИЧЕСКИХ ПРОСТРАНСТВАХ

ПРИНЦИП ОБОБЩЁННЫХ СЖИМАЮЩИХ ОТОБРАЖЕНИЙ В ПСЕВДОМЕТРИЧЕСКИХ ПРОСТРАНСТВАХ УДК 51798868 ПРИНЦИП ОБОБЩЁННЫХ СЖИМАЮЩИХ ОТОБРАЖЕНИЙ В ПСЕВДОМЕТРИЧЕСКИХ ПРОСТРАНСТВАХ А И Перов Воронежский государственный университет При изучении систем уравнений (алгебраических дифференциальных

Подробнее

ДИСКРЕТНАЯ МАТЕМАТИКА И ЕЕ ПРИЛОЖЕНИЯ

ДИСКРЕТНАЯ МАТЕМАТИКА И ЕЕ ПРИЛОЖЕНИЯ Институт прикладной математики им. М. В. Келдыша Российской Академии Наук Московский государственный университет им. М.В. Ломоносова Механико-математический факультет ДИСКРЕТНАЯ МАТЕМАТИКА И ЕЕ ПРИЛОЖЕНИЯ

Подробнее

Ax = b, (1) x 0. a s1 x s 1. 0 ) = b и A( x + x s j

Ax = b, (1) x 0. a s1 x s 1. 0 ) = b и A( x + x s j Симплекс метод Рассмотрим следующую задачу линейного программирования: Задача 1. max(c, x), Ax = b, (1) x Здесь линейный оператор A действует из R n в R m, c R n, b R m. Считаем что m < n, и ранг матрицы

Подробнее

Лекция 4. Вариационные методы. Полуограниченные функционалы.

Лекция 4. Вариационные методы. Полуограниченные функционалы. Лекция 4. Вариационные методы. Полуограниченные функционалы. Корпусов Максим Олегович Курс лекций по нелинейному функциональному анализу 19 сентября 212 г. Обозначения пусть B это некоторое банахово пространство

Подробнее

А.В. Колесников. Вариационное исчисление. Высшая Школа Экономики. Математический факультет. Москва. 2013 гг.

А.В. Колесников. Вариационное исчисление. Высшая Школа Экономики. Математический факультет. Москва. 2013 гг. А.В. Колесников Вариационное исчисление Высшая Школа Экономики. Математический факультет. Москва. 2013 гг. Необходимые и достаточные условия второго порядка в простейшей вариационной задаче Необходимые

Подробнее

Лекция 5. Вариационные методы. Теорема о горном перевале.

Лекция 5. Вариационные методы. Теорема о горном перевале. Лекция 5. Вариационные методы. Теорема о горном перевале. Корпусов Максим Олегович Курс лекций по нелинейному функциональному анализу 30 сентября 2011 г. Введение В этой лекции мы рассмотрим важный в приложениях

Подробнее

ПРОЕКЦИОННО-ИТЕРАЦИОННАЯ РЕАЛИЗАЦИЯ МЕТОДА УСЛОВНОГО ГРАДИЕНТА МИНИМИЗАЦИИ ФУНКЦИОНАЛА В ГИЛЬБЕРТОВОМ ПРОСТРАНСТВЕ

ПРОЕКЦИОННО-ИТЕРАЦИОННАЯ РЕАЛИЗАЦИЯ МЕТОДА УСЛОВНОГО ГРАДИЕНТА МИНИМИЗАЦИИ ФУНКЦИОНАЛА В ГИЛЬБЕРТОВОМ ПРОСТРАНСТВЕ УДК 59.8 ПРОЕКЦИОННО-ИТЕРАЦИОННАЯ РЕАЛИЗАЦИЯ МЕТОДА УСЛОВНОГО ГРАДИЕНТА МИНИМИЗАЦИИ ФУНКЦИОНАЛА В ГИЛЬБЕРТОВОМ ПРОСТРАНСТВЕ Л.Л. ГАРТ Рассмотрен проекционно-итерационный метод, основанный на одном варианте

Подробнее

Глава 3. ДИНАМИЧЕСКОЕ ПРОГРАММИРОВАНИЕ

Глава 3. ДИНАМИЧЕСКОЕ ПРОГРАММИРОВАНИЕ Глава 3. ДИНАМИЧЕСКОЕ ПРОГРАММИРОВАНИЕ В основе метода динамического программирования (ДП) лежит идея рассмотрения, наряду с заданной индивидуальной оптимизационной задачей, целого семейства индивидуальных

Подробнее

4.3 Выпуклые задачи. Доказательство. ˆx absmin P f(x) f(ˆx) 0 = 0, x

4.3 Выпуклые задачи. Доказательство. ˆx absmin P f(x) f(ˆx) 0 = 0, x 4.3 Выпуклые задачи 4.3.1 Задачи без ограничений Пусть f : X R выпуклая функция, отображающая нормированное пространство X в расширенную прямую. Выпуклой задачей без ограничений называется следующая экстремальная

Подробнее

МП: Итерации Ньютона

МП: Итерации Ньютона Последовательность вида МП: Итерации Ньютона x + = x f x f = 0. x используют для приближенного решения уравнения f(x) = 0 и называют итерационной последовательностью Ньютона. В таком виде метод Ньютона

Подробнее

4.1 Элементы выпуклого анализа. Выпуклые множества. Введем некоторые понятия, которые используются в выпуклом анализе:

4.1 Элементы выпуклого анализа. Выпуклые множества. Введем некоторые понятия, которые используются в выпуклом анализе: 4 Выпуклые задачи Пусть в этом пункте X линейное нормированное пространство (для простоты понимания можно считать, что X = R n конечномерное пространство). 4.1 Элементы выпуклого анализа. Выпуклые множества

Подробнее

Лабораторная работа 2. Методы минимизации функций одной переменной, использующие информацию о производных целевой функции

Лабораторная работа 2. Методы минимизации функций одной переменной, использующие информацию о производных целевой функции Лабораторная работа Методы минимизации функций одной переменной, использующие информацию о производных целевой функции Постановка задачи: Требуется найти безусловный минимум функции одной переменной (

Подробнее

I курс, задача 1. Докажите, что функция Римана. 1, если x 0, 1 R( x), если x, m, n, m 0, и дробь несократима, 0, если x иррационально,

I курс, задача 1. Докажите, что функция Римана. 1, если x 0, 1 R( x), если x, m, n, m 0, и дробь несократима, 0, если x иррационально, I курс, задача. Докажите, что функция Римана, если 0, m m R( ), если, m,, m 0, и дробь несократима, 0, если иррационально, разрывна в каждой рациональной точке и непрерывна в каждой иррациональной. Решение.

Подробнее

ИЗБРАННЫЕ ЛЕКЦИИ ПО ЭКСТРЕМАЛЬНЫМ ЗАДАЧАМ

ИЗБРАННЫЕ ЛЕКЦИИ ПО ЭКСТРЕМАЛЬНЫМ ЗАДАЧАМ ИЗБРАННЫЕ ЛЕКЦИИ ПО ЭКСТРЕМАЛЬНЫМ ЗАДАЧАМ Часть первая Под редакцией проф. а Санкт-Петербург 2017 Содержание 3 Содержание Посвящается памяти Владимира Фёдоровича Демьянова (1938-2014) ПРЕДИСЛОВИЕ РЕДАКТОРА......................

Подробнее

ТЕМА 1. Метрические, нормированные и евклидовы пространства.

ТЕМА 1. Метрические, нормированные и евклидовы пространства. ТЕМА Метрические, нормированные и евклидовы пространства. Основные определения и теоремы Множество L называется (вещественным) линейным пространством, если для любых двух его элементов x, y определен элемент

Подробнее

Простейшие задачи вариационного исчисления

Простейшие задачи вариационного исчисления Глава VI. Простейшие задачи вариационного исчисления 1. Функционалы в линейном нормированном пространстве Опр. 6. 1. Функционалом J[y] в линейном нормированном пространстве E называется закон соответствия,

Подробнее

МОДИФИЦИРОВАННЫЙ СИМПЛЕКС-МЕТОД

МОДИФИЦИРОВАННЫЙ СИМПЛЕКС-МЕТОД МОДИФИЦИРОВАННЫЙ СИМПЛЕКС-МЕТОД В. Н. Малозёмов malv@math.spbu.ru 20 ноября 2010 г. Симплекс-метод решения задач линейного программирования является одним из выдающихся математических достижений 20-го

Подробнее

Численные методы решения задачи Коши для обыкновенных дифференциальных уравнений. f f(x, y 1,..., y n ), (x, y) D. y(x 0 ) = y 0. (1.

Численные методы решения задачи Коши для обыкновенных дифференциальных уравнений. f f(x, y 1,..., y n ), (x, y) D. y(x 0 ) = y 0. (1. Численные методы решения задачи Коши для обыкновенных дифференциальных уравнений 1. Постановка задачи Пусть в области D = {a x b, y i y i 0 b i } R n+1 Необходимо найти решение удовлетворяющее начальному

Подробнее

{ } { } { } Глава 2. ПОСЛЕДОВАТЕЛЬНОСТИ 2.1. ОСНОВНЫЕ ОПРЕДЕЛЕНИЯ

{ } { } { } Глава 2. ПОСЛЕДОВАТЕЛЬНОСТИ 2.1. ОСНОВНЫЕ ОПРЕДЕЛЕНИЯ Глава ПОСЛЕДОВАТЕЛЬНОСТИ ОСНОВНЫЕ ОПРЕДЕЛЕНИЯ Функция, определенная на множестве натуральных чисел N и принимающая числовые значения, называется числовой последовательностью или просто последовательностью

Подробнее

ЛЕКЦИЯ 4. Теория двойственности ЛП (продолжение) 1. Теоремы Фаркаша Минковского и Гордана

ЛЕКЦИЯ 4. Теория двойственности ЛП (продолжение) 1. Теоремы Фаркаша Минковского и Гордана ЛЕКЦИЯ 4 Теория двойственности ЛП (продолжение) 1. Теоремы Фаркаша Минковского и Гордана Необходимые условия экстремума 2. Необходимые условия оптимальности Куна Таккера 3. Критерий оптимальности (выпуклый

Подробнее

Метод Крылова и Черноусько.

Метод Крылова и Черноусько. Метод Крылова и Черноусько. Пусть управляемый процесс описывается системой обыкновенных дифференциальных уравнений ẋ = f(t, x, u), t [t 0, T ], x(t 0 ) = x 0, u(t) U, где x R n вектор фазовых координат,

Подробнее

Если существует предел y этой последовательности, она и будет решением исходной задачи, так как будет законен предельный переход.

Если существует предел y этой последовательности, она и будет решением исходной задачи, так как будет законен предельный переход. Метод Ритца Выделяют два основных типа методов решения вариационных задач. К первому типу относятся методы, сводящие исходную задачу к решению дифференциальных уравнений. Эти методы очень хорошо развиты

Подробнее

ЛЕКЦИЯ 23. Экстремум функции нескольких переменных.

ЛЕКЦИЯ 23. Экстремум функции нескольких переменных. ЛЕКЦИЯ Экстремум функции нескольких переменных Экстремум функции нескольких переменных Необходимые и достаточные условия существования экстремума Точка M, 0) называется точкой минимума максимума) функции

Подробнее

+ z n 1. Получено рекуррентное соотношение: Применяя это соотношение, найдем

+ z n 1. Получено рекуррентное соотношение: Применяя это соотношение, найдем Региональная олимпиада по математике для студентов технических специальностей вузов Декабрь 205 г., СибГАУ Задания для второго и старших курсов с решениями. Пусть E единичная матрица порядка n, а I квадратная

Подробнее

Д. М. Лебедев, Л. Н. Полякова ЗАДАЧА ПРОЕКТИРОВАНИЯ НУЛЕВОЙ ТОЧКИ НА КВАДРИКУ ) 1. Рассмотрим оптимизационную задачу: найти. где

Д. М. Лебедев, Л. Н. Полякова ЗАДАЧА ПРОЕКТИРОВАНИЯ НУЛЕВОЙ ТОЧКИ НА КВАДРИКУ ) 1. Рассмотрим оптимизационную задачу: найти. где Сер. 10. 013. Вып. 1 ВЕСТНИК САНКТ-ПЕТЕРБУРГСКОГО УНИВЕРСИТЕТА УДК 539.75 Д. М. Лебедев, Л. Н. Полякова ЗАДАЧА ПРОЕКТИРОВАНИЯ НУЛЕВОЙ ТОЧКИ НА КВАДРИКУ ) 1. Рассмотрим оптимизационную задачу: найти inf

Подробнее

ЛЕММА ГИББСА И ЕЁ ПРИЛОЖЕНИЯ. 10 октября 2017 г.

ЛЕММА ГИББСА И ЕЁ ПРИЛОЖЕНИЯ. 10 октября 2017 г. ЛЕММА ГИББСА И ЕЁ ПРИЛОЖЕНИЯ В. Н. Малозёмов v.malozemov@spbu.ru Г. Ш. Тамасян g.tamasyan@spbu.ru 0 октября 207 г. Данный доклад пополняет серию докладов по элементарным методам в экстремальных задачах..

Подробнее

Численное решение задач оптимизации

Численное решение задач оптимизации Цель работы: получение практических навыков построения алгоритмов решения задач оптимизации, их программной реализации на компьютере, оценки погрешности решения, сравнение эффективности различных методов

Подробнее

Продвинутые методы многомерной оптимизации. Решение СЛАУ с помощью метода сопряжённых градиентов

Продвинутые методы многомерной оптимизации. Решение СЛАУ с помощью метода сопряжённых градиентов Курс: Методы оптимизации в машинном обучении, Продвинутые методы многомерной оптимизации Рассмотрим задачу безусловной оптимизации в многомерном пространстве: f(x) min x R N. Ранее для решения этой задачи

Подробнее

Подстановкой этого уравнения в дискретизированное уравнение неразрывности, приведенное выше, получаем выражение для давления:

Подстановкой этого уравнения в дискретизированное уравнение неразрывности, приведенное выше, получаем выражение для давления: ЛЕКЦИЯ 2. Основы вычислительной аэрогидромеханики. Часть 2. В данной лекции рассматриваются различные алгоритмы решения для связи уравнений скорости и давления, методы решения СЛАУ. Алгоритм SIMPLE. 1.

Подробнее

И. О. Арушанян. Практикум на ЭВМ Безусловная минимизация функций многих переменных. МОСКОВСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ им. М.В.

И. О. Арушанян. Практикум на ЭВМ Безусловная минимизация функций многих переменных. МОСКОВСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ им. М.В. МОСКОВСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ им. М.В.ЛОМОНОСОВА Механико математический факультет Кафедра вычислительной математики И. О. Арушанян Практикум на ЭВМ Безусловная минимизация функций многих переменных

Подробнее

и имеет минимум, если. Максимум и минимум называют экстремумами функции. Из данного определения следует, что в окрестности точки максимума приращение

и имеет минимум, если. Максимум и минимум называют экстремумами функции. Из данного определения следует, что в окрестности точки максимума приращение Лекция 3 Экстремум функции нескольких переменных Пусть функция нескольких переменных u = f ( x,, x ) определена в области D, и точка x ( x,, x ) = принадлежит данной области Функция u = f ( x,, x ) имеет

Подробнее

СХОДИМОСТЬ СХЕМЫ SUBDIVISION

СХОДИМОСТЬ СХЕМЫ SUBDIVISION СХОДИМОСТЬ СХЕМЫ SUBDIVISION Н. В. Чашников nioay.chashniov@gmai.com 3 декабря 011 г. Данный доклад основан на книге [1]. Приведены необходимые и достаточные условия сходимости стационарной схемы subdivision

Подробнее

Лекция 13. Задачи оптимального управления

Лекция 13. Задачи оптимального управления Лекция 13 Задачи оптимального управления 1 мая 014 Содержательная постановка задачи оптимального управления закон движения фазовой точки (самолета или объекта управления) и закон воздействия управления

Подробнее

СУБГРАДИЕНТНЫЕ МЕТОДЫ ПЕРЕМЕННОЙ МЕТРИКИ, ИСПОЛЬЗУЮЩИЕ ШАГ АГМОНА-МОЦКИНА И ОДНОРАНГОВЫЙ ЭЛЛИПСОИДАЛЬНЫЙ ОПЕРАТОР 1

СУБГРАДИЕНТНЫЕ МЕТОДЫ ПЕРЕМЕННОЙ МЕТРИКИ, ИСПОЛЬЗУЮЩИЕ ШАГ АГМОНА-МОЦКИНА И ОДНОРАНГОВЫЙ ЭЛЛИПСОИДАЛЬНЫЙ ОПЕРАТОР 1 CZU 59.8 СУБГРАДИЕНТНЫЕ МЕТОДЫ ПЕРЕМЕННОЙ МЕТРИКИ, ИСПОЛЬЗУЮЩИЕ ШАГ АГМОНА-МОЦКИНА И ОДНОРАНГОВЫЙ ЭЛЛИПСОИДАЛЬНЫЙ ОПЕРАТОР П.И. СТЕЦЮК ABSRAC 3 В работе приведены два субградиентных метода переменной метрики

Подробнее

Семинар Лекция 9 БАНАХОВЫ ПРОСТРАНСТВА: ОБЩИЕ СВЕДЕНИЯ. 1. Общие вопросы теории нормированных пространств

Семинар Лекция 9 БАНАХОВЫ ПРОСТРАНСТВА: ОБЩИЕ СВЕДЕНИЯ. 1. Общие вопросы теории нормированных пространств Семинар Лекция 9 БАНАХОВЫ ПРОСТРАНСТВА: ОБЩИЕ СВЕДЕНИЯ. Общие вопросы теории нормированных пространств. Пространство L(N,N 2 ) банахово, если пространство N 2 банахово. 2. (Следствие.) Для любого нормированного

Подробнее

Лекция 11. УСЛОВНЫЙ ЭКСТРЕМУМ. = 0, 5. Следовательно,

Лекция 11. УСЛОВНЫЙ ЭКСТРЕМУМ. = 0, 5. Следовательно, Лекция 11. УСЛОВНЫЙ ЭКСТРЕМУМ 1. Понятие условного экстремума.. Методы отыскания условного экстремума.. Наибольшее и наименьшее значения функции двух переменных в замкнутой области. 1. Понятие условного

Подробнее

МОДИФИЦИРОВАННАЯ ФУНКЦИЯ ЛАГРАНЖА. М. В. Долгополик. 24 сентября 2015 г.

МОДИФИЦИРОВАННАЯ ФУНКЦИЯ ЛАГРАНЖА. М. В. Долгополик. 24 сентября 2015 г. МОДИФИЦИРОВАННАЯ ФУНКЦИЯ ЛАГРАНЖА М. В. Долгополик maxim.dolgopolik@gmail.com 24 сентября 2015 г. Аннотация. В докладе обсуждается один из способов построения модифицированной функции Лагранжа для задач

Подробнее

5. Теорема существования и единственности решения задачи Коши для нормальной системы ОДУ. определена и непрерывна в замкнутом ( m + 1)

5. Теорема существования и единственности решения задачи Коши для нормальной системы ОДУ. определена и непрерывна в замкнутом ( m + 1) Лекция 5 5 Теорема существования и единственности решения задачи Коши для нормальной системы ОДУ Постановка задачи Задача Коши для нормальной системы ОДУ x = f (, x), () состоит в отыскании решения x =

Подробнее

Доказательство теоремы Канторовича (теорема 9.1).

Доказательство теоремы Канторовича (теорема 9.1). Тема 11 Доказательство теоремы Канторовича теорема 9.1). Мы разобьем доказательство теоремы 9.1 на несколько шагов. Напомним, что мы уже доказали неравенство см. лемму 9.3. sup Jφ, ψ) inf Kπ), Φ c C b

Подробнее

Лекция 10. Метод Галеркина в сочетании с методом монотонности.

Лекция 10. Метод Галеркина в сочетании с методом монотонности. Лекция 10. Метод Галеркина в сочетании с методом монотонности. Корпусов Максим Олегович Курс лекций по нелинейному функциональному анализу 28 октября 2011 г. Постановка задачи. div( u p 2 u) = f(x), u

Подробнее

ГЛАВА 5. МАРКОВСКИЕ ПРОЦЕССЫ С НЕПРЕРЫВНЫМ ВРЕМЕНЕМ И ДИСКРЕТНЫМ МНОЖЕСТВОМ СОСТОЯНИЙ

ГЛАВА 5. МАРКОВСКИЕ ПРОЦЕССЫ С НЕПРЕРЫВНЫМ ВРЕМЕНЕМ И ДИСКРЕТНЫМ МНОЖЕСТВОМ СОСТОЯНИЙ ГЛАВА 5. МАРКОВСКИЕ ПРОЦЕССЫ С НЕПРЕРЫВНЫМ ВРЕМЕНЕМ И ДИСКРЕТНЫМ МНОЖЕСТВОМ СОСТОЯНИЙ В результате изучения данной главы студенты должны: знать определения и свойства Марковских процессов с непрерывным

Подробнее

О МЕТОДЕ СОПРЯЖЁННЫХ ГРАДИЕНТОВ

О МЕТОДЕ СОПРЯЖЁННЫХ ГРАДИЕНТОВ О МЕТОДЕ СОПРЯЖЁННЫХ ГРАДИЕНТОВ В. Н. Малозёмов malv@math.spbu.ru 28 апреля 2012 г. В докладе речь пойдёт об одном эффектном методе минимизации квадратичной функции, предложенном в начале 1950-х годов

Подробнее

ВАРИАЦИОННОЕ ИСЧИСЛЕНИЕ

ВАРИАЦИОННОЕ ИСЧИСЛЕНИЕ Глава ВАРИАЦИОННОЕ ИСЧИСЛЕНИЕ Лекция 9 Введение В этой главе мы будем рассматривать задачи отыскания экстремумов (максимумов или минимумов) функционалов Сразу отметим, что такие задачи относятся к числу

Подробнее

1.1. Определение цепи Маркова. Свойства матриц перехода.

1.1. Определение цепи Маркова. Свойства матриц перехода. 1. КОНЕЧНЫЕ ОДНОРОДНЫЕ ЦЕПИ МАРКОВА Рассмотрим последовательность случайных величин ξ n, n 0, 1,..., каждая из коорых распределена дискретно и принимает значения из одного и того же множества {x 1,...,

Подробнее

Двойственность в задаче Канторовича.

Двойственность в задаче Канторовича. Тема 3 Двойственность в задаче Канторовича. Запишем задачу Канторовича в виде задачи линейного программирования из правой части формулы в теореме 2.1. Будем рассматривать ρ и π как векторы: ρ t = (ρ 12,...,

Подробнее

Math-Net.Ru Общероссийский математический портал

Math-Net.Ru Общероссийский математический портал Math-Net.Ru Общероссийский математический портал Г. А. Григорян, Об одном методе нахождения неподвижного вектора стохастического оператора, Матем. заметки, 2014, том 95, выпуск 5, 708 717 DOI: https://doi.org/10.4213/z10264

Подробнее

Пусть в этом пункте X линейное нормированное пространство (для простоты понимания можно считать, что X = R n конечномерное пространство).

Пусть в этом пункте X линейное нормированное пространство (для простоты понимания можно считать, что X = R n конечномерное пространство). 1 4 Выпуклый анализ Пусть в этом пункте X линейное нормированное пространство (для простоты понимания можно считать, что X = R n конечномерное пространство). 4.1 Элементы выпуклого анализа 4.1.1 Выпуклые

Подробнее

5. Степенные ряды Степенные ряды: определение, область сходимости. Функциональный

5. Степенные ряды Степенные ряды: определение, область сходимости. Функциональный 5 Степенные ряды 5 Степенные ряды: определение, область сходимости Функциональный ряд вида ( a + a ) + a ( ) + K + a ( ) + K a ) (, (5) где, a, a, K, a,k некоторые числа, называют степенным рядом Числа

Подробнее

Math-Net.Ru Общероссийский математический портал

Math-Net.Ru Общероссийский математический портал Math-Net.Ru Общероссийский математический портал А. С. Антипин, Н. Мияйлович, М. Ячимович, Итеративный метод второго порядка для решения квазивариационных неравенств, Ж. вычисл. матем. и матем. физ., 013,

Подробнее

Федеральное агентство по образованию

Федеральное агентство по образованию Федеральное агентство по образованию Тихоокеанский Государственный Университет Факультет математического моделирования и процессов управления Специальность Программное обеспечение вычислительной техники

Подробнее

2. Решение нелинейных уравнений.

2. Решение нелинейных уравнений. Решение нелинейных уравнений Не всегда алгебраические или трансцендентные уравнения могут быть решены точно Понятие точности решения подразумевает: ) возможность написания «точной формулы», а точнее говоря

Подробнее

Тема курса лекций: ЧИСЛОВЫЕ РЯДЫ.

Тема курса лекций: ЧИСЛОВЫЕ РЯДЫ. Тема курса лекций: ЧИСЛОВЫЕ РЯДЫ. Лекция 2. Абсолютно сходящиеся ряды, признаки сходимости. Свойства абсолютно сходящихся рядов. Условная сходимость. Признаки сходимости Лейбница, Дирихле, Абеля. Далее

Подробнее