Регрессионная модель

Приветствую. Имеется задание, которое можно посмотреть по ссылке:
https://vk.com/doc95172780_657551476?ha ... YW9HO2iqKH
С заданиями 1 и 3 справился, а вот по выполнению второго задания имеются вопросы. Если правильно понимаю, нужно действовать по алгоритму, который приведен в примере. Дохожу до системы уравнений, делаю подмены сумм, а как дальше быть? была идея решить методом Крамера, но как это сделать, если у нас неизвестное количество переменных, а требуется конкретная формула для рассчетов коэффициентов a0, a1, ... an. Первое и третье задания делал с помощью маткада и немного прибегал к помощи python.Прикрепляю скрины с заданием и теорией

Это когда уравнений столько же, сколько неизвестных. Если брать задачу из варианта 2, который вы прикрепили, там только один регрессор X, а значит неизвестных коэффициента два: для X и для свободного члена (как и в прикрепленной теории).
Если [math]\textbf{A}[/math] — это матрица для X:

[math]\begin{bmatrix} 1 & -5 \\ 1 & -4.8 \\ \vdots & \vdots \\ 1 & 6.8 \\ 1 & 7 \end{bmatrix}[/math]

[math]\textbf{y}[/math] — это вектор для Y:

[math]\begin{bmatrix} -80 \\ -75.8 \\ \vdots \\ -127 \\ -132 \end{bmatrix}[/math]

и [math]\boldsymbol{\beta}[/math] — это вектор неизвестных коэффициентов:

[math]\begin{bmatrix} \beta_0 \\ \beta_1 \end{bmatrix}[/math]

то решается таким образом:
[math]\boldsymbol{\beta} = ( \textbf{A}^\intercal \textbf{A} )^{-1} \textbf{A}^\intercal \textbf{y}[/math]

Разве после манипуляций по аналогии с примером из теории мы не получаем систему уравнений, где столько же неизвестных. Не совсем понимаю, как в данном случае воспринимать X1, X2, ... Xn. Это значения X из таблицы или это независимые переменные и Ysr имеет зависимость от всех этих переменных, т.е. Ysr(X1, X2, ..., Xn). Я рассматривал X1, X2, ... Xn как независимые переменные. Прикрепляю фото выводов

Они должны быть все независимые, но в самой задаче [math]n = 1[/math] (дан только один вектор [math]X[/math], равный по длине [math]Y[/math]). В теории прикрепленной тоже ищут только два коэффициента для такого случай [math]a[/math] и [math]b[/math] (которые я назвал [math]\beta_0[/math] и [math]\beta_1[/math]).

Если за [math]\textbf{z}[/math] принять
[math]\textbf{z} = \textbf{A}^\intercal \textbf{y}[/math],
а за [math]\textbf{C}[/math] принять
[math]\textbf{C} = \textbf{A}^\intercal \textbf{A}[/math]
то в
[math]\textbf{C} \boldsymbol{\beta} = \textbf{z}[/math]
будет столько же неизвестных.
Но решение всё равно:
[math]\boldsymbol{\beta} = ( \textbf{A}^\intercal \textbf{A} )^{-1} \textbf{A}^\intercal \textbf{y}[/math]

Честно сказать, я уже не уверен, что правильно выполнил первое и третье задания. Не могли бы бегло посмотреть, правильный ли ход решения? Коэффициенты xs, xs2 и т.д. рассчитал отдельно по формулам.

я не понял вначале. Думал, что во втором задании нужно посчитать коэффиценты по приложенному Варианту 2.
Если выводить формулу, то кратко опять же:
Если [math]\textbf{A}[/math] — это матрица [math]m \times n[/math] для X, где первый столбец заполнен единицами (свободный член), а остальные [math]n - 1[/math] столбцов посвящены [math]m[/math] наблюдений [math]n - 1[/math] независимых регрессоров,
[math]\textbf{y}[/math] — это вектор для Y размером [math]m[/math] наблюдений
и [math]\boldsymbol{\beta}[/math] — это вектор [math]n[/math] неизвестных коэффициентов,

То решаем, как вы делали:
[math]\mathop{\arg \min}\limits_{ \boldsymbol{\beta} \in \mathbb{R}^n } \left\| \textbf{A} \boldsymbol{\beta} - \textbf{y} \right\|^2_2[/math]
Частная производная (хороший сайт для проверки производных для выражений из матриц и векторов)
[math]\nabla_{ \boldsymbol{\beta} } \left\| \textbf{A} \boldsymbol{\beta} - \textbf{y} \right\|^2_2 = 2 \textbf{A}^\intercal (\textbf{A} \boldsymbol{\beta} - \textbf{y}) = 2 \textbf{A}^\intercal \textbf{A} \boldsymbol{\beta} - 2 \textbf{A}^\intercal \textbf{y}[/math]

Соответственно приравниваем частную производную нулевому вектору размера [math]n[/math]:
[math]2 \textbf{A}^\intercal \textbf{A} \boldsymbol{\beta} - 2 \textbf{A}^\intercal \textbf{y} = \textbf{0}[/math]
[math]\textbf{A}^\intercal \textbf{A} \boldsymbol{\beta} = \textbf{A}^\intercal \textbf{y}[/math]
[math]\boldsymbol{\beta} = ( \textbf{A}^\intercal \textbf{A} )^{-1} \textbf{A}^\intercal \textbf{y}[/math]

2-й порядок — это частный случай 1-го, где в матрице [math]\textbf{A}[/math] имеем три столбца ([math]n = 3[/math]), где первый — это единицы (для свободного члена), второй — это вектор [math]\textbf{x}[/math] и третий — вектор [math]\textbf{x} \odot \textbf{x}[/math].

Не понимаю, откуда берется матрица А. В примерах к матрицам мы переходили, когда уже нашли частные производные, а здесь изначально система появилась. Записал так, как понял вас. Вы это имели ввиду?

Выглядит не очень. В этой матрице все значения, кроме единиц в первом столбце, должны быть уникальными.
Предположим такую извращенную задачу, при которой у вас есть 10 мышек с сахарным диабетом и 3 экспериментальных лекарственных препарата, которые предположительно влияют на уровень глюкозы в крови. Вы ввели каждой из 10 мышек абсолютно рандомные дозы каждого из этих трех препаратов (одновременно) и измерили спустя время уровень глюкозы в их крови.
Соответственно вы получили матрицу с 4 столбцами, в которой первый столбец это единицы (для свободного члена (типа, что будет, если доза каждого лекарства равна нулю)), 2-й столбец для дозы лекарства №1, 3-й столбец для дозы лекарства №2, 4-й столбце для дозы лекарства №3.
И в этой матрице 10 строк, по одной для каждой мышки.
Вектор [math]\textbf{y}[/math] для измерений глюкозы в крови, тоже длиной 10 (для каждой мышки).

Оригинальгый пример) немного переделал вариант записи. Так лучше?