- Home
- Intelligenza Artificiale
- Cos’è l’Overfitting, e pe ...

Indice
- Il meccanismo profondo che porta all’idolatria dei dati
- Complessità e scarsità di dati come coppia letale
- Le manifestazioni pratiche nel deep learning moderno
- Regolarizzazione, validazione e l’arte del trattenersi
- La generalizzazione come vero obiettivo
Se si potesse risalire all’origine di tutti i fallimenti nel machine learning, dalla regressione lineare mal posta ai più sofisticati transformer neurali, si finirebbe per incontrare sempre lui, l’overfitting, ovvero l’eccesso di adattamento ai dati di addestramento. Questo fenomeno è così profondo e pervasivo da meritare l’etichetta di peccato originale dell’apprendimento automatico. Non è un bug, non è un errore di implementazione, ma una conseguenza diretta e inevitabile del modo in cui gli algoritmi imparano dai dati. Quando un modello impara troppo bene i dettagli superflui, il rumore e le peculiarità irrilevanti del training set, perde la capacità di generalizzare a nuovi dati mai visti. In altre parole, il modello diventa un memorizzatore perfetto del passato, ma un profeta fallimentare del futuro. E in questo ossimoro risiede tutta la drammatica ironia del machine learning, ossia che più un modello è potente, più è incline a cadere nella propria trappola.
Il meccanismo profondo che porta all’idolatria dei dati
Per comprendere l’overfitting, occorre abbandonare la metafora generica del “memorizzare senza capire” e addentrarsi nel bilanciamento teorico tra bias e varianza. Un modello in overfitting presenta una varianza estremamente elevata, perchè cambia in modo drastico anche con piccole variazioni nei dati di addestramento. Dal punto di vista geometrico, l’algoritmo costruisce una superficie decisionale così frastagliata e contorta da passare esattamente per ogni punto del training set, compresi gli outlier e gli errori di misurazione. Ciò che accade è una forma sottile di idolatria dei dati, vuol dire che il modello attribuisce significato causale a correlazioni puramente accidentali. Un classico esempio reale riguarda un sistema di visione artificiale addestrato a distinguere lupi da cani husky. Il modello aveva imparato a riconoscere non le fattezze animali, ma la presenza di neve nello sfondo, perché tutte le immagini di lupi nel training set erano state scattate in inverno. L’overfitting aveva trasformato un pattern ambientale irrilevante in una regola di classificazione.
Complessità e scarsità di dati come coppia letale
L’overfitting non emerge mai per caso, ma si manifesta quando due condizioni si combinano in modo letale. La prima è un’eccessiva capacità rappresentativa del modello, cioè un numero di parametri liberi sproporzionatamente alto rispetto alla complessità intrinseca del fenomeno da modellare. Una rete neurale con milioni di parametri applicata a un dataset di poche centinaia di esempi è un candidato perfetto per l’overfitting. La seconda condizione è la scarsità o la poca ricchezza dei dati di addestramento, che non coprono adeguatamente lo spazio delle possibili variazioni del fenomeno reale. Quando queste due condizioni coincidono, il modello non ha altra scelta che imparare a memoria il dataset, inclusi i suoi artefatti.
Le manifestazioni pratiche nel deep learning moderno
Nell’era dei grandi modelli, l’overfitting ha assunto forme più subdole e ingannevoli. Non si manifesta più solo come un calo drastico delle prestazioni sul test set, ma come una progressiva divergenza tra accuratezza su training e validazione, spesso accompagnata da un aumento della confidenza nelle previsioni errate. Un modello in overfitting profondo tende a produrre output con probabilità estremamente alte, vicine a zero o a uno, anche quando sono completamente sbagliati. Questa iper-confidenza è particolarmente pericolosa in applicazioni critiche come la diagnosi medica e la guida autonoma. Inoltre, nei modelli generativi come i transformer, l’overfitting si manifesta con la capacità di ricostruire quasi alla lettera sequenze presenti nel training set, generando testi e immagini che non sono creative variazioni ma vere e proprie copie memorizzate. Questo fenomeno, noto anche come memorizzazione testuale, è quello che sta producendo un bel po’ di rumore sul diritto d’autore e sulla privacy.
Regolarizzazione, validazione e l’arte del trattenersi
La buona notizia è che la scienza del machine learning ha sviluppato un arsenale di tecniche per domare l’overfitting, e tutte condividono un principio comune, ossia, il limitare deliberatamente la libertà del modello. La regolarizzazione L1 e L2, ad esempio, penalizza pesi troppo grandi, costringendo il modello a distribuire l’importanza su più caratteristiche invece di affidarsi a poche correlazioni spurie. Il dropout, nelle reti neurali, disattiva casualmente un sottoinsieme di neuroni a ogni iterazione, impedendo che singole unità diventino specializzate in pattern troppo specifici. L’early stopping, forse la tecnica più semplice ed efficace, interrompe l’addestramento proprio nel momento in cui l’errore sul set di validazione smette di diminuire e inizia a risalire. Ma al di là degli strumenti matematici, esiste una pratica più fondamentale e spesso trascurata, la separazione rigorosa dei dati in training, validazione e test set, con l’accortezza di non guardare mai il test set fino alla fine del progetto. Chi guarda il test set troppo presto, inconsapevolmente inizia ad adattarsi anche a quello. E l’overfinding, in fondo, è solo un overfitting più elegante.
La generalizzazione come vero obiettivo
Il superamento dell’overfitting richiede un cambiamento culturale profondo nella pratica del machine learning. Troppi progetti, anche in ambito professionale, misurano il successo esclusivamente sull’accuratezza sul training set, celebrando modelli che in realtà sono fragili e non generalizzabili. Il vero obiettivo non è mai stato fare il minimo errore sui dati che già conosciamo, ma prevedere correttamente ciò che non abbiamo mai visto. Un modello che generalizza bene è un modello che ha imparato i pattern autentici e invarianti del fenomeno, ignorando il rumore superficiale. Ed è proprio questa capacità di ignorare selettivamente che distingue l’intelligenza genuina dalla semplice memorizzazione. L’overfitting rimarrà sempre il peccato originale del machine learning, perché nasce dalla tensione fondamentale tra la potenza espressiva dei modelli e la finitezza dei dati. Ma riconoscerlo, dargli un nome e costruire sistemi di difesa consapevoli è il primo atto di maturità per chiunque voglia fare vera data science, e non semplice addestramento di memorie artificiali.






