Vai al contenuto
Wiki Pro Tech

LASSO

Contenuto enciclopedico fornito da Wikipedia · visualizzato su Wiki Pro Tech
LASSO
LASSO
Categorie (Wiki):

Nell'apprendimento statistico, LASSO (Least Absolute Shrinkage and Selection Operator) è un metodo di stima dei parametri finalizzato a prevenire il sovradattamento incorporando anche la selezione delle variabili (feature selection) tramite regolarizzazione L1: introducendo una penalizzazione sulla somma dei valori assoluti dei coefficienti del modello, viene indotta sparsità nella struttura, annullando esattamente i coefficienti delle variabili meno rilevanti [1].

In un problema di regressione lineare con n osservazioni e p predittori, si desidera modellare la risposta y∈ℝn rispetto alla matrice dei dati X∈ℝn×p. Assumendo che le variabili siano state centrate e standardizzate, il problema di stima dei minimi quadrati ordinari (OLS) minimizza la somma dei quadrati dei residui:

minβ∈ℝp12n‖y−Xβ‖22

In LASSO si aggiunge un vincolo sulla norma L1 del vettore dei parametri β:

minβ∈ℝp(12n‖y−Xβ‖22+λ‖β‖1)

dove:

  • ‖β‖1=∑j=1p|βj| indica la norma L1 del vettore β;
  • λ≥0 è l'iperparametro di regolarizzazione. Se λ=0, si ottiene la stima OLS; al crescere di λ, aumenta l'effetto di contrazione (shrinkage) azzerando gradualmente i coefficienti.

La differenza fondamentale tra la regolarizzazione L1 (LASSO) e la regolarizzazione L2 (Ridge) risiede nella geometria della regione di ammissibilità del vincolo:

  • Regione L1: Corrisponde a un politopo (un rombo nel piano 2D) con vertici acuti posizionati lungo gli assi coordinati. Le curve di livello della funzione di costo OLS tendono a intersecare la regione del vincolo in corrispondenza di questi vertici, azzerando uno o più coefficienti βj.
  • Regione L2: Corrisponde a una ipersfera (un cerchio in 2D). Le intersezioni avvengono generalmente in punti non giacenti sugli assi, riducendo l'ampiezza dei coefficienti senza mai azzerarli esattamente.

Poiché la funzione di costo L1 non è differenziabile nell'origine (βj=0), l'ottimizzazione richiede l'impiego dei sub-gradienti. La condizione di ottimalità per il j-esimo coefficiente è:

XjT(y−Xβ)=nλsign(βj)se βj≠0
|XjT(y−Xβ)|≤nλse βj=0

Poiché il problema LASSO non ammette una soluzione in forma chiusa, si utilizzano algoritmi di ottimizzazione convessa specifici:

  1. Coordinate Descent: Aggiorna ciclicamente un parametro βj alla volta applicando l'operatore di soft-thresholding [2]:
    βj(k+1)=Sλ/zj(1zjXjT(y−X−jβ−j))
    dove Sγ(z)=sign(z)max⁡(|z|−γ,0) e zj=‖Xj‖22.
  2. Least Angle Regression (LARS): Costruisce l'intero percorso delle soluzioni (regularization path) per tutti i valori di λ con una complessità computazionale paragonabile a un singolo modello OLS [3].

Ulteriori metodi correlati generalizzano il modello comprendendo altre forme di regolarizzazione:

  • Elastic Net: Combina le penalizzazioni L1 e L2 per gestire casi con p≫n o variabili fortemente correlate [4]:
minβ(12n‖y−Xβ‖22+λ(α‖β‖1+1−α2‖β‖22))
  • Group Lasso: Estende la regolarizzazione a gruppi predefiniti di variabili, selezionandoli o azzerandoli simultaneamente [5].
  1. ^ Robert Tibshirani, Regression Shrinkage and Selection Via the Lasso, in Journal of the Royal Statistical Society: Series B (Methodological), vol. 58, n. 1, 1996, pp. 267–288, DOI:10.1111/j.2517-6161.1996.tb02080.x.
  2. ^ (EN) Jerome Friedman, Trevor Hastie e Robert Tibshirani, Regularization Paths for Generalized Linear Models via Coordinate Descent, in Journal of Statistical Software, vol. 33, n. 1, 2010, DOI:10.18637/jss.v033.i01.
  3. ^ Bradley Efron, Trevor Hastie e Iain Johnstone, Least angle regression, in The Annals of Statistics, vol. 32, n. 2, 2004, DOI:10.1214/009053604000000067.
  4. ^ (EN) Hui Zou e Trevor Hastie, Regularization and Variable Selection Via the Elastic Net, in Journal of the Royal Statistical Society Series B: Statistical Methodology, vol. 67, n. 2, 2005, pp. 301–320, DOI:10.1111/j.1467-9868.2005.00503.x.
  5. ^ (EN) Ming Yuan e Yi Lin, Model Selection and Estimation in Regression with Grouped Variables, in Journal of the Royal Statistical Society Series B: Statistical Methodology, vol. 68, n. 1, 2006, pp. 49–67, DOI:10.1111/j.1467-9868.2005.00532.x.

Voci correlate

[modifica | modifica wikitesto]

Immagini