Дискуссионный математический форумМатематический форум
Математический форум Math Help Planet

Обсуждение и решение задач по математике, физике, химии, экономике

Теоретический раздел
Часовой пояс: UTC + 3 часа [ Летнее время ]
новый онлайн-сервис
число, сумма и дата прописью

Часовой пояс: UTC + 3 часа [ Летнее время ]




Начать новую тему Ответить на тему  [ Сообщений: 5 ] 
Автор Сообщение
 Заголовок сообщения: Как найти лучший параметр регуляризации в линейной регрессии
СообщениеДобавлено: 25 июн 2018, 19:56 
Не в сети
Начинающий
Зарегистрирован:
25 июн 2018, 19:24
Сообщений: 10
Cпасибо сказано: 2
Спасибо получено:
0 раз в 0 сообщении
Очков репутации: 1

Добавить очки репутацииУменьшить очки репутации
Допустим у нас есть задача линейной регресии с регуляризацией:
[math]x=argmin\, J(x)=argmin\,\left \|Ax-b \right \|_{2}^{2}+\lambda \left \|x \right \|_{2}^{2}=argmin\, x^TA^TAx-2b^TAx+b^Tb+\lambda x^Tx[/math]
где [math]A[/math] - это матрица, [math]b,x[/math] - это вектора, а [math]\lambda[/math] - это скаляр
Её решение, как известно:
[math]x=(A^TA+\lambda I)^{-1}A^Tb[/math]

Я не могу понять, как найти лучшее [math]\boldsymbol{\lambda}[/math], если нам уже известно точное значение x, которое равное вектору c.
По сути я не могу решить вот эту задачу минимизации:
[math]\lambda =argmin \left \| c-x(\lambda) \right \|_{2}^{2}=argmin \left \| c-(A^TA+\lambda I)^{-1}A^Tb \right \|_{2}^{2}[/math]

Пробовал брать производную приравнивать нулю, но не смог решить уравнение.

Вернуться к началу
 Профиль  
Cпасибо сказано 
 Заголовок сообщения: Re: Как найти лучший параметр регуляризации в линейной регрессии
СообщениеДобавлено: 26 июн 2018, 14:22 
Не в сети
Последняя инстанция
Аватара пользователя
Зарегистрирован:
15 мар 2016, 15:08
Сообщений: 9390
Cпасибо сказано: 122
Спасибо получено:
1726 раз в 1634 сообщениях
Очков репутации: 235

Добавить очки репутацииУменьшить очки репутации
aggravator писал(а):
Я не могу понять, как найти лучшее [math]\boldsymbol{\lambda}[/math], если нам уже известно точное значение x, которое равное вектору c.

Если вам известно [math]x[/math], то нет необходимости вводить регуляризацию. [math]x[/math] в виде формулы известно всегда, если матрица [math]A[/math] не вырождена. А на компьютере вычислить его в виде числа не всегда возможно из-за плохой обусловленности получаемых матриц. Но может и матрица [math]A[/math] быть вырождена. Уменьшая [math]\lambda[/math] мы уменьшаем теоретическую точность решения задачи и увеличиваем её практическую точность в виду уменьшения обусловленности решаемых уравнений.
aggravator писал(а):
По сути я не могу решить вот эту задачу минимизации:
[math]\lambda =argmin \left \| c-x(\lambda) \right \|_{2}^{2}=argmin \left \| c-(A^TA+\lambda I)^{-1}A^Tb \right \|_{2}^{2}[/math]
Пробовал брать производную приравнивать нулю, но не смог решить уравнение.

Это задача имеет решение при [math]\lambda = 0[/math] .

Вернуться к началу
 Профиль  
Cпасибо сказано 
 Заголовок сообщения: Re: Как найти лучший параметр регуляризации в линейной регрессии
СообщениеДобавлено: 26 июн 2018, 15:41 
Не в сети
Начинающий
Зарегистрирован:
25 июн 2018, 19:24
Сообщений: 10
Cпасибо сказано: 2
Спасибо получено:
0 раз в 0 сообщении
Очков репутации: 1

Добавить очки репутацииУменьшить очки репутации
Я так понимаю, что это задача имеет решение, при [math]\lambda=0[/math], только в том случае, если [math]Ac=b[/math], но в моём случае [math]Ac=b+n[/math], где [math]n[/math] шум. Решая эту задачу [math]\lambda =argmin \left \| c-x(\lambda) \right \|_{2}^{2}=argmin \left \| c-(A^TA+\lambda I)^{-1}A^Tb \right \|_{2}^{2}[/math], я хочу подобрать подходящую [math]\lambda[/math] для других x, точное значение которых мне не известно.

Вернуться к началу
 Профиль  
Cпасибо сказано 
 Заголовок сообщения: Re: Как найти лучший параметр регуляризации в линейной регрессии
СообщениеДобавлено: 26 июн 2018, 17:42 
Не в сети
Последняя инстанция
Аватара пользователя
Зарегистрирован:
15 мар 2016, 15:08
Сообщений: 9390
Cпасибо сказано: 122
Спасибо получено:
1726 раз в 1634 сообщениях
Очков репутации: 235

Добавить очки репутацииУменьшить очки репутации
aggravator писал(а):
Я так понимаю, что это задача имеет решение, при [math]\lambda=0[/math], только в том случае, если [math]Ac=b[/math]

А также в случае [math]c=(A^TA)^{-1}A^Tb[/math], то есть в вашем случае с шумом.

Вернуться к началу
 Профиль  
Cпасибо сказано 
 Заголовок сообщения: Re: Как найти лучший параметр регуляризации в линейной регрессии
СообщениеДобавлено: 26 июн 2018, 21:49 
Не в сети
Начинающий
Зарегистрирован:
25 июн 2018, 19:24
Сообщений: 10
Cпасибо сказано: 2
Спасибо получено:
0 раз в 0 сообщении
Очков репутации: 1

Добавить очки репутацииУменьшить очки репутации
Эмм, нет тогда бы не было смысла в регуляризации. [math]c\neq(A^TA)^{-1}A^Tb[/math], [math]c=(A^TA)^{-1}A^T(b+n)[/math]

Вернуться к началу
 Профиль  
Cпасибо сказано 
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему      Страница 1 из 1 [ Сообщений: 5 ]

 Похожие темы   Автор   Ответы   Просмотры   Последнее сообщение 
Коэффициенты линейной регрессии

в форуме Математическая статистика и Эконометрика

xostgad

4

250

23 дек 2019, 02:30

Прогнозирование с помощью линейной регрессии

в форуме Объявления участников Форума

Bego866

42

390

03 июл 2023, 20:14

Построение модели линейной регрессии

в форуме Математическая статистика и Эконометрика

MatteoMoretti

3

347

29 июл 2021, 15:47

Вопрос по задаче на уравнение линейной регрессии

в форуме Теория вероятностей

smag-anna

6

457

19 окт 2015, 20:00

Оценка линейной регрессии проходящей через 0;0

в форуме Математическая статистика и Эконометрика

Sum41

3

288

21 апр 2018, 22:01

Быстрый алгоритм регуляризации

в форуме Математическая статистика и Эконометрика

edoq

1

264

19 дек 2016, 17:36

Лучший учебник для начинающих

в форуме Литература и Онлайн-ресурсы по математике

K_A

11

1250

09 май 2017, 09:35

Пример матрицы подходящей для метода регуляризации Тихонова

в форуме Численные методы

adam11

0

437

13 дек 2016, 21:12

Кто показал лучший результат на выборах (задача)

в форуме Интересные задачи участников форума MHP

Syberex

5

250

22 ноя 2020, 19:15

Лучший университет России, в изучении математики

в форуме Размышления по поводу и без

Zadrot32216

25

915

27 апр 2019, 16:48


Часовой пояс: UTC + 3 часа [ Летнее время ]



Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 9


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Перейти:  
cron

Яндекс.Метрика

Copyright © 2010-2023 MathHelpPlanet.com. All rights reserved