LASSO
| Categorie (Wiki): |
Nell'apprendimento statistico, LASSO (Least Absolute Shrinkage and Selection Operator) è un metodo di stima dei parametri finalizzato a prevenire il sovradattamento incorporando anche la selezione delle variabili (feature selection) tramite regolarizzazione : introducendo una penalizzazione sulla somma dei valori assoluti dei coefficienti del modello, viene indotta sparsità nella struttura, annullando esattamente i coefficienti delle variabili meno rilevanti [1].
Formulazione
[modifica | modifica wikitesto]In un problema di regressione lineare con osservazioni e predittori, si desidera modellare la risposta rispetto alla matrice dei dati . Assumendo che le variabili siano state centrate e standardizzate, il problema di stima dei minimi quadrati ordinari (OLS) minimizza la somma dei quadrati dei residui:
In LASSO si aggiunge un vincolo sulla norma del vettore dei parametri :
dove:
- indica la norma del vettore ;
- è l'iperparametro di regolarizzazione. Se , si ottiene la stima OLS; al crescere di , aumenta l'effetto di contrazione (shrinkage) azzerando gradualmente i coefficienti.
Sparsità
[modifica | modifica wikitesto]La differenza fondamentale tra la regolarizzazione (LASSO) e la regolarizzazione (Ridge) risiede nella geometria della regione di ammissibilità del vincolo:
- Regione : Corrisponde a un politopo (un rombo nel piano 2D) con vertici acuti posizionati lungo gli assi coordinati. Le curve di livello della funzione di costo OLS tendono a intersecare la regione del vincolo in corrispondenza di questi vertici, azzerando uno o più coefficienti .
- Regione : Corrisponde a una ipersfera (un cerchio in 2D). Le intersezioni avvengono generalmente in punti non giacenti sugli assi, riducendo l'ampiezza dei coefficienti senza mai azzerarli esattamente.
Poiché la funzione di costo non è differenziabile nell'origine (), l'ottimizzazione richiede l'impiego dei sub-gradienti. La condizione di ottimalità per il -esimo coefficiente è:
Algoritmi
[modifica | modifica wikitesto]Poiché il problema LASSO non ammette una soluzione in forma chiusa, si utilizzano algoritmi di ottimizzazione convessa specifici:
- Coordinate Descent: Aggiorna ciclicamente un parametro alla volta applicando l'operatore di soft-thresholding [2]:
- dove e .
- Least Angle Regression (LARS): Costruisce l'intero percorso delle soluzioni (regularization path) per tutti i valori di con una complessità computazionale paragonabile a un singolo modello OLS [3].
Estensioni
[modifica | modifica wikitesto]Ulteriori metodi correlati generalizzano il modello comprendendo altre forme di regolarizzazione:
- Elastic Net: Combina le penalizzazioni e per gestire casi con o variabili fortemente correlate [4]:
- Group Lasso: Estende la regolarizzazione a gruppi predefiniti di variabili, selezionandoli o azzerandoli simultaneamente [5].
Note
[modifica | modifica wikitesto]- ^ Robert Tibshirani, Regression Shrinkage and Selection Via the Lasso, in Journal of the Royal Statistical Society: Series B (Methodological), vol. 58, n. 1, 1996, pp. 267–288, DOI:10.1111/j.2517-6161.1996.tb02080.x.
- ^ (EN) Jerome Friedman, Trevor Hastie e Robert Tibshirani, Regularization Paths for Generalized Linear Models via Coordinate Descent, in Journal of Statistical Software, vol. 33, n. 1, 2010, DOI:10.18637/jss.v033.i01.
- ^ Bradley Efron, Trevor Hastie e Iain Johnstone, Least angle regression, in The Annals of Statistics, vol. 32, n. 2, 2004, DOI:10.1214/009053604000000067.
- ^ (EN) Hui Zou e Trevor Hastie, Regularization and Variable Selection Via the Elastic Net, in Journal of the Royal Statistical Society Series B: Statistical Methodology, vol. 67, n. 2, 2005, pp. 301–320, DOI:10.1111/j.1467-9868.2005.00503.x.
- ^ (EN) Ming Yuan e Yi Lin, Model Selection and Estimation in Regression with Grouped Variables, in Journal of the Royal Statistical Society Series B: Statistical Methodology, vol. 68, n. 1, 2006, pp. 49–67, DOI:10.1111/j.1467-9868.2005.00532.x.
Voci correlate
[modifica | modifica wikitesto]- Regolarizzazione (matematica)
- Regolarizzazione di Tichonov (Regressione Ridge / norma L2)
- Minimi quadrati
- Regressione lineare
- Apprendimento automatico
- Overfitting
- Compressione dei dati (Compressed sensing)
- Ottimizzazione convessa