Дискуссионный математический форумМатематический форум

Математический форум Math Help Planet

Обсуждение и решение задач по математике, физике, химии, экономике

Теоретический раздел
Часовой пояс: UTC + 3 часа [ Летнее время ]
MathHelpPlanet.com RSS-лента Математического форума

Часовой пояс: UTC + 3 часа [ Летнее время ]




Начать новую тему Ответить на тему  [ Сообщений: 5 ] 
Автор Сообщение
 Заголовок сообщения: Как найти лучший параметр регуляризации в линейной регрессии
СообщениеДобавлено: 25 июн 2018, 19:56 
Не в сети
Начинающий
Зарегистрирован:
25 июн 2018, 19:24
Сообщений: 10
Cпасибо сказано: 2
Спасибо получено:
0 раз в 0 сообщении
Очков репутации: 1

Добавить очки репутацииУменьшить очки репутации
Допустим у нас есть задача линейной регресии с регуляризацией:
[math]x=argmin\, J(x)=argmin\,\left \|Ax-b \right \|_{2}^{2}+\lambda \left \|x \right \|_{2}^{2}=argmin\, x^TA^TAx-2b^TAx+b^Tb+\lambda x^Tx[/math]
где [math]A[/math] - это матрица, [math]b,x[/math] - это вектора, а [math]\lambda[/math] - это скаляр
Её решение, как известно:
[math]x=(A^TA+\lambda I)^{-1}A^Tb[/math]

Я не могу понять, как найти лучшее [math]\boldsymbol{\lambda}[/math], если нам уже известно точное значение x, которое равное вектору c.
По сути я не могу решить вот эту задачу минимизации:
[math]\lambda =argmin \left \| c-x(\lambda) \right \|_{2}^{2}=argmin \left \| c-(A^TA+\lambda I)^{-1}A^Tb \right \|_{2}^{2}[/math]

Пробовал брать производную приравнивать нулю, но не смог решить уравнение.

Вернуться к началу
 Профиль  
Cпасибо сказано 
 Заголовок сообщения: Re: Как найти лучший параметр регуляризации в линейной регрессии
СообщениеДобавлено: 26 июн 2018, 14:22 
Не в сети
Light & Truth
Аватара пользователя
Зарегистрирован:
15 мар 2016, 15:08
Сообщений: 4108
Cпасибо сказано: 41
Спасибо получено:
617 раз в 583 сообщениях
Очков репутации: 138

Добавить очки репутацииУменьшить очки репутации
aggravator писал(а):
Я не могу понять, как найти лучшее [math]\boldsymbol{\lambda}[/math], если нам уже известно точное значение x, которое равное вектору c.

Если вам известно [math]x[/math], то нет необходимости вводить регуляризацию. [math]x[/math] в виде формулы известно всегда, если матрица [math]A[/math] не вырождена. А на компьютере вычислить его в виде числа не всегда возможно из-за плохой обусловленности получаемых матриц. Но может и матрица [math]A[/math] быть вырождена. Уменьшая [math]\lambda[/math] мы уменьшаем теоретическую точность решения задачи и увеличиваем её практическую точность в виду уменьшения обусловленности решаемых уравнений.
aggravator писал(а):
По сути я не могу решить вот эту задачу минимизации:
[math]\lambda =argmin \left \| c-x(\lambda) \right \|_{2}^{2}=argmin \left \| c-(A^TA+\lambda I)^{-1}A^Tb \right \|_{2}^{2}[/math]
Пробовал брать производную приравнивать нулю, но не смог решить уравнение.

Это задача имеет решение при [math]\lambda = 0[/math] .

Вернуться к началу
 Профиль  
Cпасибо сказано 
 Заголовок сообщения: Re: Как найти лучший параметр регуляризации в линейной регрессии
СообщениеДобавлено: 26 июн 2018, 15:41 
Не в сети
Начинающий
Зарегистрирован:
25 июн 2018, 19:24
Сообщений: 10
Cпасибо сказано: 2
Спасибо получено:
0 раз в 0 сообщении
Очков репутации: 1

Добавить очки репутацииУменьшить очки репутации
Я так понимаю, что это задача имеет решение, при [math]\lambda=0[/math], только в том случае, если [math]Ac=b[/math], но в моём случае [math]Ac=b+n[/math], где [math]n[/math] шум. Решая эту задачу [math]\lambda =argmin \left \| c-x(\lambda) \right \|_{2}^{2}=argmin \left \| c-(A^TA+\lambda I)^{-1}A^Tb \right \|_{2}^{2}[/math], я хочу подобрать подходящую [math]\lambda[/math] для других x, точное значение которых мне не известно.

Вернуться к началу
 Профиль  
Cпасибо сказано 
 Заголовок сообщения: Re: Как найти лучший параметр регуляризации в линейной регрессии
СообщениеДобавлено: 26 июн 2018, 17:42 
Не в сети
Light & Truth
Аватара пользователя
Зарегистрирован:
15 мар 2016, 15:08
Сообщений: 4108
Cпасибо сказано: 41
Спасибо получено:
617 раз в 583 сообщениях
Очков репутации: 138

Добавить очки репутацииУменьшить очки репутации
aggravator писал(а):
Я так понимаю, что это задача имеет решение, при [math]\lambda=0[/math], только в том случае, если [math]Ac=b[/math]

А также в случае [math]c=(A^TA)^{-1}A^Tb[/math], то есть в вашем случае с шумом.

Вернуться к началу
 Профиль  
Cпасибо сказано 
 Заголовок сообщения: Re: Как найти лучший параметр регуляризации в линейной регрессии
СообщениеДобавлено: 26 июн 2018, 21:49 
Не в сети
Начинающий
Зарегистрирован:
25 июн 2018, 19:24
Сообщений: 10
Cпасибо сказано: 2
Спасибо получено:
0 раз в 0 сообщении
Очков репутации: 1

Добавить очки репутацииУменьшить очки репутации
Эмм, нет тогда бы не было смысла в регуляризации. [math]c\neq(A^TA)^{-1}A^Tb[/math], [math]c=(A^TA)^{-1}A^T(b+n)[/math]

Вернуться к началу
 Профиль  
Cпасибо сказано 
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 5 ] 

 Похожие темы   Автор   Ответы   Просмотры   Последнее сообщение 
Найти выборочное уравнение линейной регрессии Y на X

в форуме Математическая статистика и Эконометрика

Fiesta18

0

1159

29 май 2013, 22:26

Оценка линейной регрессии проходящей через 0;0

в форуме Математическая статистика и Эконометрика

Sum41

3

103

21 апр 2018, 22:01

Вопрос по задаче на уравнение линейной регрессии

в форуме Теория вероятностей

smag-anna

6

261

19 окт 2015, 20:00

Параметр линейной функции

в форуме Пределы числовых последовательностей и функций, Исследования функций

Fsq

12

545

09 дек 2012, 21:35

Лучший учебник для начинающих

в форуме Литература и Онлайн-ресурсы по математике

K_A

11

576

09 май 2017, 09:35

Быстрый алгоритм регуляризации

в форуме Математическая статистика и Эконометрика

edoq

1

144

19 дек 2016, 17:36

Пример матрицы подходящей для метода регуляризации Тихонова

в форуме Численные методы

adam11

0

204

13 дек 2016, 21:12

найти уравнение прямой регрессии

в форуме Математическая статистика и Эконометрика

kote444ka

1

1277

28 май 2011, 13:45

Найти выборочное уравнение прямых линий регрессии

в форуме Математическая статистика и Эконометрика

Rename1

1

1288

06 май 2012, 21:18

Найти все базисы линейной оболочки

в форуме Линейная и Абстрактная алгебра

brom

2

251

01 мар 2017, 00:36


Часовой пояс: UTC + 3 часа [ Летнее время ]



Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 1


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Перейти:  

Яндекс.Метрика

Copyright © 2010-2018 MathHelpPlanet.com. All rights reserved