Дискуссионный математический форумМатематический форум

Математический форум Math Help Planet

Обсуждение и решение задач по математике, физике, химии, экономике

Теоретический раздел
Часовой пояс: UTC + 4 часа [ Летнее время ]
MathHelpPlanet.com RSS-лента Математического форума

Часовой пояс: UTC + 4 часа [ Летнее время ]




Начать новую тему Ответить на тему  [ Сообщений: 5 ] 
Автор Сообщение
 Заголовок сообщения: Как найти лучший параметр регуляризации в линейной регрессии
СообщениеДобавлено: 25 июн 2018, 20:56 
Не в сети
Начинающий
Зарегистрирован:
25 июн 2018, 20:24
Сообщений: 10
Cпасибо сказано: 2
Спасибо получено:
0 раз в 0 сообщении
Очков репутации: 1

Добавить очки репутацииУменьшить очки репутации
Допустим у нас есть задача линейной регресии с регуляризацией:
[math]x=argmin\, J(x)=argmin\,\left \|Ax-b \right \|_{2}^{2}+\lambda \left \|x \right \|_{2}^{2}=argmin\, x^TA^TAx-2b^TAx+b^Tb+\lambda x^Tx[/math]
где [math]A[/math] - это матрица, [math]b,x[/math] - это вектора, а [math]\lambda[/math] - это скаляр
Её решение, как известно:
[math]x=(A^TA+\lambda I)^{-1}A^Tb[/math]

Я не могу понять, как найти лучшее [math]\boldsymbol{\lambda}[/math], если нам уже известно точное значение x, которое равное вектору c.
По сути я не могу решить вот эту задачу минимизации:
[math]\lambda =argmin \left \| c-x(\lambda) \right \|_{2}^{2}=argmin \left \| c-(A^TA+\lambda I)^{-1}A^Tb \right \|_{2}^{2}[/math]

Пробовал брать производную приравнивать нулю, но не смог решить уравнение.

Вернуться к началу
 Профиль  
Cпасибо сказано 
 Заголовок сообщения: Re: Как найти лучший параметр регуляризации в линейной регрессии
СообщениеДобавлено: 26 июн 2018, 15:22 
Не в сети
Light & Truth
Аватара пользователя
Зарегистрирован:
15 мар 2016, 16:08
Сообщений: 3963
Cпасибо сказано: 39
Спасибо получено:
591 раз в 561 сообщениях
Очков репутации: 133

Добавить очки репутацииУменьшить очки репутации
aggravator писал(а):
Я не могу понять, как найти лучшее [math]\boldsymbol{\lambda}[/math], если нам уже известно точное значение x, которое равное вектору c.

Если вам известно [math]x[/math], то нет необходимости вводить регуляризацию. [math]x[/math] в виде формулы известно всегда, если матрица [math]A[/math] не вырождена. А на компьютере вычислить его в виде числа не всегда возможно из-за плохой обусловленности получаемых матриц. Но может и матрица [math]A[/math] быть вырождена. Уменьшая [math]\lambda[/math] мы уменьшаем теоретическую точность решения задачи и увеличиваем её практическую точность в виду уменьшения обусловленности решаемых уравнений.
aggravator писал(а):
По сути я не могу решить вот эту задачу минимизации:
[math]\lambda =argmin \left \| c-x(\lambda) \right \|_{2}^{2}=argmin \left \| c-(A^TA+\lambda I)^{-1}A^Tb \right \|_{2}^{2}[/math]
Пробовал брать производную приравнивать нулю, но не смог решить уравнение.

Это задача имеет решение при [math]\lambda = 0[/math] .

Вернуться к началу
 Профиль  
Cпасибо сказано 
 Заголовок сообщения: Re: Как найти лучший параметр регуляризации в линейной регрессии
СообщениеДобавлено: 26 июн 2018, 16:41 
Не в сети
Начинающий
Зарегистрирован:
25 июн 2018, 20:24
Сообщений: 10
Cпасибо сказано: 2
Спасибо получено:
0 раз в 0 сообщении
Очков репутации: 1

Добавить очки репутацииУменьшить очки репутации
Я так понимаю, что это задача имеет решение, при [math]\lambda=0[/math], только в том случае, если [math]Ac=b[/math], но в моём случае [math]Ac=b+n[/math], где [math]n[/math] шум. Решая эту задачу [math]\lambda =argmin \left \| c-x(\lambda) \right \|_{2}^{2}=argmin \left \| c-(A^TA+\lambda I)^{-1}A^Tb \right \|_{2}^{2}[/math], я хочу подобрать подходящую [math]\lambda[/math] для других x, точное значение которых мне не известно.

Вернуться к началу
 Профиль  
Cпасибо сказано 
 Заголовок сообщения: Re: Как найти лучший параметр регуляризации в линейной регрессии
СообщениеДобавлено: 26 июн 2018, 18:42 
Не в сети
Light & Truth
Аватара пользователя
Зарегистрирован:
15 мар 2016, 16:08
Сообщений: 3963
Cпасибо сказано: 39
Спасибо получено:
591 раз в 561 сообщениях
Очков репутации: 133

Добавить очки репутацииУменьшить очки репутации
aggravator писал(а):
Я так понимаю, что это задача имеет решение, при [math]\lambda=0[/math], только в том случае, если [math]Ac=b[/math]

А также в случае [math]c=(A^TA)^{-1}A^Tb[/math], то есть в вашем случае с шумом.

Вернуться к началу
 Профиль  
Cпасибо сказано 
 Заголовок сообщения: Re: Как найти лучший параметр регуляризации в линейной регрессии
СообщениеДобавлено: 26 июн 2018, 22:49 
Не в сети
Начинающий
Зарегистрирован:
25 июн 2018, 20:24
Сообщений: 10
Cпасибо сказано: 2
Спасибо получено:
0 раз в 0 сообщении
Очков репутации: 1

Добавить очки репутацииУменьшить очки репутации
Эмм, нет тогда бы не было смысла в регуляризации. [math]c\neq(A^TA)^{-1}A^Tb[/math], [math]c=(A^TA)^{-1}A^T(b+n)[/math]

Вернуться к началу
 Профиль  
Cпасибо сказано 
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 5 ] 

 Похожие темы   Автор   Ответы   Просмотры   Последнее сообщение 
Найти выборочное уравнение линейной регрессии Y на X

в форуме Математическая статистика и Эконометрика

Fiesta18

0

1147

29 май 2013, 23:26

Оценка линейной регрессии проходящей через 0;0

в форуме Математическая статистика и Эконометрика

Sum41

3

102

21 апр 2018, 23:01

Вопрос по задаче на уравнение линейной регрессии

в форуме Теория вероятностей

smag-anna

6

258

19 окт 2015, 21:00

Параметр линейной функции

в форуме Пределы числовых последовательностей и функций, Исследования функций

Fsq

12

540

09 дек 2012, 22:35

Лучший учебник для начинающих

в форуме Литература и Онлайн-ресурсы по математике

K_A

11

551

09 май 2017, 10:35

Быстрый алгоритм регуляризации

в форуме Математическая статистика и Эконометрика

edoq

1

142

19 дек 2016, 18:36

Пример матрицы подходящей для метода регуляризации Тихонова

в форуме Численные методы

adam11

0

200

13 дек 2016, 22:12

Найти все базисы линейной оболочки

в форуме Линейная и Абстрактная алгебра

brom

2

238

01 мар 2017, 01:36

С помощью линейной и параболической интерполяции найти

в форуме Численные методы

Ulya92

2

383

05 июн 2013, 20:14

Найти решение линейной системы методом исключения

в форуме Дифференциальные и Интегральные уравнения

75number

6

193

24 янв 2015, 18:51


Часовой пояс: UTC + 4 часа [ Летнее время ]



Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 1


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Перейти:  

Яндекс.Метрика

Copyright © 2010-2016 MathHelpPlanet.com. All rights reserved