Introduzione

In questa parte del testo consideriamo alcuni approcci per estendere il framework del modello lineare per la previsione di variabili di outcome quantitative (cioè, numeriche).

In particolare discuteremo alcuni modi per migliorare il modello lineare, sostituendo il classico adattamento ai minimi quadrati con alcune procedure di fitting alternative. La principale motivazione per considerare altre procedure di fitting è che questo possono portare a una migliore accuratezza previsionale ed interpretabilità del modello stesso. Nella pratica, spesso capita che alcune o molte delle variabili incluse nel modello di regressione multipla siano nei fatti non associate alla risposta. Includere queste variabili irrilevanti porta a una complessità non necessaria nel modello risultante. Rimuovendo queste variabili (cioè, impostando le stime dei corrispondenti coefficienti a zero) possiamo ottenere un modello più semplicemente interpretabile. I minimi quadrati potranno fornire stime dei coefficienti esattamente pari zero con una una probabilità praticamente nulla.

Negli esempi che seguono, vedremo acluni approcci per eseguire la selezione delle variabili (o delle cosiddette feature), cioè, per escludere variabili irrilevanti dal modello di regressione multipla:

1. Richiami sul modello lineare (LM)
2. Variazioni sul Modello Lineare (LM) (diverse tecniche di fitting alernative per modelli lineari classici);
3. Alberi di Regressione (Regression Trees: RTREE);
4. Una introduzione alle Tecniche di Bootstrap.
5. Una introduzione alle Reti Neurali (Neural Networks: NN)
6. Una introduzione alle Foreste Casuali