Minimi quadrati

Il metodo dei minimi quadrati costruisce la stima $\hat{G}(x)$ del modello $G(x)$ minimizzando gli errori residui: $$Q({\beta }_0,{\beta }_1)=\sum _{i=1}^n{e}_i^2=\sum _{i=1}^n(y_i-{\hat{y}}_i{)}^2=\sum _{i=1}^n(y_i-\hat{G}(x_i){)}^2$$ ovvero, trovando un punto stazionario con il gradiente, da cui si ricava che: $${\hat{\beta }}_0=\bar{y}-{\hat{\beta }}_1\bar{x},{\hat{\beta }}_1=\frac{s_{xy}}{s_x^2}$$ dove $s_{xy}=\frac{1}{n-1}\sum _{i=1}^n(x_i-\bar{x})(y_i-\bar{y})$ e $s_x^2=\frac{1}{n-1}\sum _{i=1}^n(x_i-\bar{x}{)}^2$.

Il coefficiente angolare ${\hat{\beta }}_1$ è anche esprimibile con il coefficiente di correlazione $r_{xy}=\frac{s_{xy}}{s_y{s}_x}$: $${\hat{\beta }}_1=r_{xy}\frac{s_y}{s_x}$$ con cui si conferma che $X$ e $Y$ sono correlate positivamente o negativamente se ${\hat{\beta }}_1\ne 0$.

Variazione totale

La varianza totale dei valori che assume $\hat{G}$ è la somma dei quadrati totale¹: $$S{Q}_{\mathrm{tot}}=S{Q}_{\mathrm{reg}}+S{Q}_{\mathrm{res}}=\sum _{i=1}^n({\hat{y}}_i-\bar{y}{)}^2+\sum _{i=1}^n(y_i-{\hat{y}}_i{)}^2=\sum _{i=1}^n(y_i-\bar{y}{)}^2=(n-1)s_y^2$$

Se ne può ricavare il coefficiente di determinazione, che descrive quanto si adatta il modello ai dati: $$R^2=\frac{S{Q}_{\mathrm{reg}}}{S{Q}_{\mathrm{tot}}}=1-\frac{S{Q}_{\mathrm{res}}}{S{Q}_{\mathrm{tot}}}\in [0,1]$$ che nella regressione lineare vale $R^2=r_{xy}^2$, e quindi $1$ quando $X$ e $Y$ sono correlate linearmente.