Математический форум Math Help Planet
http://mathhelpplanet.com/

Метод наименьших квадратов; почему именно квадратов?
http://mathhelpplanet.com/viewtopic.php?f=64&t=40059
Страница 1 из 2

Автор:  tushkan [ 04 апр 2015, 15:19 ]
Заголовок сообщения:  Метод наименьших квадратов; почему именно квадратов?

Почему нет ему альтернативы- метода абсолютных значений? Ведь достигнутый эффект будет тем же самым- при минимальной сумме абсолютны разностей табличного и графического "y" график будет проходить именно по заданным точкам. Зато не нужно ничего возводить в квадрат, а нужно просто взять абсолютное значение каждой разности; это ведь проще, чем возведение в квадрат, не так ли? Спасибо, кто откликнется.

Автор:  Avgust [ 04 апр 2015, 20:55 ]
Заголовок сообщения:  Re: Метод наименьших квадратов; почему именно квадратов?

Я и так, и так делаю. Если функция хорошо описывает точки, то разница небольшая.

Автор:  Talanov [ 04 апр 2015, 22:05 ]
Заголовок сообщения:  Re: Метод наименьших квадратов; почему именно квадратов?

tushkan писал(а):
Почему нет ему альтернативы- метода абсолютных значений? Ведь достигнутый эффект будет тем же самым- при минимальной сумме абсолютны разностей табличного и графического "y" график будет проходить именно по заданным точкам. Зато не нужно ничего возводить в квадрат, а нужно просто взять абсолютное значение каждой разности; это ведь проще, чем возведение в квадрат, не так ли? Спасибо, кто откликнется.

При применении МНМ будут получаться другие значения нежели для МНК.

Автор:  tushkan [ 05 апр 2015, 06:08 ]
Заголовок сообщения:  Re: Метод наименьших квадратов; почему именно квадратов?

Avgust писал(а):
Я и так, и так делаю. Если функция хорошо описывает точки, то разница небольшая.
молодцом. Но почему именно квадратов? Нигде я не вижу метода наименьших модулей, кроме как у вас в сообщении!

Автор:  tushkan [ 05 апр 2015, 06:10 ]
Заголовок сообщения:  Re: Метод наименьших квадратов; почему именно квадратов?

Talanov писал(а):
При применении МНМ будут получаться другие значения нежели для МНК.
Позвольте! Это не аргумент. Мы не должны сравнивать значения МНК со значениями МНМ- нам это неинтересно. А нам интересно сравнение с МИНИМАЛЬНЫМ значением. С нулём в обоих случаях. И МНМ для этого лучше подходит по причинам, описанным выше- он проще. Но почему-то нигде не используется, почему?

Автор:  Talanov [ 05 апр 2015, 06:48 ]
Заголовок сообщения:  Re: Метод наименьших квадратов; почему именно квадратов?

tushkan писал(а):
И МНМ для этого лучше подходит по причинам, описанным выше- он проще. Но почему-то нигде не используется, почему?

Во-первых используется, а при наличии негауссовских помех работает лучше чем МНК. Во-вторых не проще. А МНК более распостранён, потому что позволяет вручную рассчитать коэффициенты регрессии. Сейчас с применением компьютеров это не стало существенным, но привычка осталась. И даже в этом случае МНМ-оценка сходится гораздо хуже чем МНК. Лично я уже лет 10 как отказался от МНК и использую либо МНМ, либо МНПР.

Автор:  dr Watson [ 05 апр 2015, 06:49 ]
Заголовок сообщения:  Re: Метод наименьших квадратов; почему именно квадратов?

Какой метод применить - это внематематический вопрос. Как оценить близость точек? В конечномерном пространстве первое, что приходит на ум - по расстоянию между ними. В ортонормированном базисе сумма квадратов разностей координат - это квадрат расстояния, то есть скалярный квадрат разности. Вот вам и МНК в чистом виде. В неортонормированном базисе тот же скалярный квадрат - это [math]\sum_{i,j}(x_i-y_i)a_{ij}(x_j-y_j)[/math] с симметрической, положительно определённой матрицей (матрицей Грама базисных векторов) - это ничем не хуже. На практике это означает, что некоторые координаты постановщик задачи считает весомее других. Если матрица единична это и есть МНК.

Автор:  tushkan [ 05 апр 2015, 07:05 ]
Заголовок сообщения:  Re: Метод наименьших квадратов; почему именно квадратов?

Talanov писал(а):
tushkan писал(а):
Во-первых используется
Гм. А и вправду, есть такой термин. Я просто не знал, что он именно так называется. Ну теперь осталось выяснить в каких таких случаях МНК лучше, чем МНМ- проще говоря в каких случаях проще возвести в квадрат число, нежели взять его абсолютное значение. И мне кажется, что это можно сделать без употребления таких слов, как "негауссовские помехи" и "коэффициенты регрессии". Или нет?

Ну вот допустим ряд чисел (отклонений "y" табличного от "y" визуального)

-2 3 5 -4 6 -3

Сперва примененим МНК, получим такой порождённый ряд:

4 9 25 16 36 9

+++++++++++++++++++++++++++++++++

А теперь применим МНМ и получим такой порождённый ряд:

2 3 5 4 6 3

Если кто-то предпочитает работать с первым рядом, нежели со вторым, наверное, я чего-то не понимаю в жизни. Конечномерное пространство, ортонормированный базис и прочая...

Автор:  Talanov [ 05 апр 2015, 07:09 ]
Заголовок сообщения:  Re: Метод наименьших квадратов; почему именно квадратов?

tushkan писал(а):
Ну вот допустим ряд чисел (отклонений "y" табличного от "y" визуального)

-2 3 5 -4 6 -3

Сперва примененим МНК, получим такой порождённый ряд:

4 9 25 16 36 9

+++++++++++++++++++++++++++++++++

А теперь применим МНМ и получим такой порождённый ряд:

2 3 5 4 6 3

Вы какую функцию регрессии используете?

Автор:  tushkan [ 05 апр 2015, 07:10 ]
Заголовок сообщения:  Re: Метод наименьших квадратов; почему именно квадратов?

Talanov писал(а):
Вы какую функцию регрессии используете?
ясно всё. Больше не беспокойтесь.

Страница 1 из 2 Часовой пояс: UTC + 3 часа [ Летнее время ]
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group
http://www.phpbb.com/