L'illusione del Backtesting: perché il senno di poi è il nemico dell'investitore

Immagina di trovare una vecchia mappa del tesoro. La segui passo dopo passo e, incredibilmente, arrivi esattamente nel punto in cui è sepolto un forziere pieno d'oro. Emozionato, torni a casa e costruisci un'intera strategia di ricerca basata su quella mappa. Poi scopri che la mappa l'hai disegnata tu stesso la settimana prima, usando le informazioni del telegiornale che aveva già mostrato dove si trovava il tesoro.

Questa è, in sintesi, l'illusione del backtesting. È la pratica più diffusa e più pericolosa della finanza quantitativa. Ed è anche la più fraintesa. Chiunque può costruire una strategia che, guardando al passato, sembra infallibile. Il problema è che il mercato non si ripete mai nello stesso modo, e il senno di poi è un occhiale deformante che distorce ogni analisi.

In questo articolo esploreremo i meccanismi psicologici e statistici che rendono il backtesting così ingannevole, analizzeremo i bias più comuni, e vedremo come costruire strategie che abbiano una reale probabilità di funzionare nel mondo reale, non solo in quello dei dati storici.

Che cos'è il backtesting e perché seduce così facilmente

Il backtesting è una simulazione: prendi una strategia di investimento, la applichi a dati storici di mercato e osservi come avrebbe performato nel passato. Se avessi comprato azioni con P/E inferiore a 10 ogni gennaio e le avessi vendute ogni dicembre, quanto avrei guadagnato dal 1980 a oggi? Se avessi investito solo nei giorni in cui l'RSI scendeva sotto 30, cosa sarebbe successo? Il backtesting risponde a queste domande con precisione matematica, e lo fa con una rapidità che fino a trent'anni fa sarebbe stata impensabile.

La seduzione del backtesting è duplice. Da un lato, soddisfa il nostro bisogno di controllo: ci fa sentire intelligenti, come se avessimo scoperto una regola segreta che il mercato ha sempre rispettato. Dall'altro, ci dà l'illusione della prevedibilità. Se una strategia ha funzionato per quarant'anni, perché non dovrebbe funzionare anche domani?

Il problema è che il mercato non è un sistema fisico governato da leggi immutabili. È un sistema adattivo complesso, popolato da milioni di agenti che imparano, si adattano e cambiano comportamento proprio in risposta alle strategie che funzionano. Quando troppi investitori adottano la stessa regola, la regola smette di funzionare. È il paradosso della previsione finanziaria: più una strategia è conosciuta, meno è efficace.

L'overfitting: quando il modello impara il rumore

Nel gergo statistico, l'overfitting è il peccato capitale di ogni analista quantitativo. Si verifica quando un modello è così complesso e così finemente calibrato sui dati passati che finisce per catturare non il segnale, ma il rumore. Ogni oscillazione casuale, ogni anomalia irripetibile, ogni evento isolato viene interpretato come una regola.

Immagina di dover tracciare una linea che rappresenti la tendenza di una serie di punti. Un modello semplice traccia una linea retta, che cattura l'andamento generale ma ignora le piccole deviazioni. Un modello in overfitting, invece, disegna una curva sinuosa che passa esattamente sopra ogni singolo punto. Funziona perfettamente sui dati passati, ma appena arriva un nuovo punto, la curva è completamente fuori strada.

Nel contesto finanziario, l'overfitting si manifesta quando una strategia ha troppe variabili, troppe condizioni, troppe eccezioni. "Compra quando il P/E è sotto 12, ma solo se l'RSI è sotto 40 e il MACD ha incrociato al rialzo da non più di tre giorni e solo nei mesi da novembre ad aprile e soltanto se il VIX è sopra 20 ma sotto 35". Una strategia del genere può mostrare risultati spettacolari nel backtest. Ma la probabilità che tutti questi parametri si allineino di nuovo nello stesso modo in futuro è praticamente nulla.

Il matematico John von Neumann lo diceva con ironia: "Datemi quattro parametri e posso simulare un elefante. Datemene cinque e posso farlo anche volare". Nel backtesting, aggiungere parametri migliora quasi sempre il risultato sui dati passati. Ma peggiora quasi sempre la performance futura.

Il survivorship bias: la storia scritta dai vincitori

C'è una storia famosa, forse apocrifa, ma illuminante. Durante la Seconda Guerra Mondiale, l'esercito americano analizzò i danni subiti dagli aerei di ritorno dalle missioni. La conclusione fu che bisognava rinforzare le ali e la fusoliera, le zone più colpite. Poi arrivò Abraham Wald, uno statistico, che fece notare l'errore: stavano guardando solo gli aerei sopravvissuti. Quelli colpiti nella cabina di pilotaggio o nel motore non erano tornati affatto. Bisognava rinforzare proprio quelle zone, perché gli aerei colpiti lì non ce l'avevano fatta.

Il survivorship bias nella finanza funziona esattamente allo stesso modo. Quando fai un backtest sull'S&P 500 dal 1990 a oggi, stai analizzando solo le aziende che sono sopravvissute fino a oggi. Ma quante aziende sono uscite dall'indice in questi trent'anni? Quante sono fallite, sono state acquisite, sono diventate irrilevanti? Se la tua strategia di backtesting avesse selezionato casualmente un'azienda che oggi non esiste più, l'avresti persa per strada. Ma il database storico che stai usando, molto probabilmente, non te la mostra nemmeno.

Questo bias da solo può gonfiare i risultati di un backtest di diversi punti percentuali all'anno. Su un orizzonte di vent'anni, la differenza tra un backtest corretto e uno affetto da survivorship bias può essere la differenza tra il successo percepito e il fallimento reale.

Il look-ahead bias: il peccato imperdonabile

Se l'overfitting è un peccato veniale, il look-ahead bias è il peccato mortale. Si verifica quando, inconsapevolmente, usi nel tuo backtest informazioni che non sarebbero state disponibili al momento della decisione.

L'esempio più classico riguarda i dati contabili. I bilanci aziendali vengono pubblicati con settimane o mesi di ritardo rispetto alla data di chiusura. Se il tuo backtest compra un'azione il 1° gennaio basandosi sul P/E calcolato con gli utili dell'anno appena concluso, stai commettendo un errore: quei dati non erano ancora disponibili il 1° gennaio. Forse sono stati pubblicati a marzo. Forse ad aprile. Il tuo backtest, senza saperlo, sta prendendo decisioni con informazioni che nel mondo reale non avresti avuto.

Lo stesso vale per le revisioni degli indici. L'S&P 500 annuncia i cambiamenti nella composizione con un preavviso di alcuni giorni. Se il tuo backtest acquista o vende il giorno stesso in cui un'azienda entra o esce dall'indice, sta usando un'informazione che il mercato non aveva ancora. Sembra un dettaglio, ma su migliaia di operazioni l'effetto cumulativo può distorcere completamente i risultati.

La frontiera dell'overfitting: quando il backtesting diventa pericoloso

Esiste una fase ancora più avanzata di overfitting, che alcuni chiamano "data snooping" o "mining dei dati". È la pratica di testare centinaia, migliaia, a volte decine di migliaia di combinazioni diverse di parametri fino a trovare quella che, guarda caso, funziona meglio nel passato. Ma funziona meglio per puro caso, non perché abbia davvero catturato una regola di mercato.

Statisticamente, se provi un numero sufficiente di combinazioni, prima o poi troverai qualcosa che funziona. È la legge dei grandi numeri applicata alla finanza. Se lanci una moneta dieci volte, è improbabile che esca testa tutte e dieci le volte. Ma se lo fanno diecimila persone, è quasi certo che qualcuno otterrà dieci teste di fila. Quella persona non è un genio della statistica. È solo fortunata.

Nel mondo del trading algoritmico, questo fenomeno è devastante. Ci sono hedge fund che assumono decine di PhD in fisica e matematica solo per sviluppare e testare strategie. Ognuno di loro prova centinaia di varianti. La probabilità che, per puro caso, una di queste strategie mostri risultati eccezionali nel backtest è altissima. Ma la probabilità che quella strategia funzioni anche in futuro è molto, molto bassa.

Come costruire un backtesting robusto: i principi fondamentali

Arrivati a questo punto, potresti chiederti se il backtesting abbia ancora senso. La risposta è sì, ma solo se viene fatto con rigore, umiltà e consapevolezza dei suoi limiti. Ecco alcuni principi fondamentali che dovrebbero guidare ogni analisi quantitativa seria.

1. Meno parametri, più robustezza

Una strategia con due o tre parametri è quasi sempre più robusta di una con venti. I modelli semplici hanno meno probabilità di cadere nell'overfitting e tendono a generalizzare meglio su dati che non hanno mai visto. Come diceva Einstein, "tutto dovrebbe essere reso il più semplice possibile, ma non più semplice di così". Il backtesting dovrebbe cercare la semplicità, non la complessità fine a se stessa.

2. Dividere i dati in periodi di training e di test

La pratica standard prevede di dividere i dati storici in due parti: un periodo di training, su cui sviluppare e calibrare la strategia, e un periodo di test, su cui verificare se la strategia funziona su dati che non sono stati usati per costruirla. Se la strategia funziona bene sul training ma crolla sul test, è overfitted. Se funziona su entrambi, hai qualcosa di potenzialmente interessante.

3. Testare su mercati e periodi diversi

Una strategia che funziona solo sull'S&P 500 tra il 2009 e il 2020 non è una strategia robusta. Ha solo catturato uno dei più grandi mercati rialzisti della storia. Provala sull'Europa. Sul Giappone. Sui mercati emergenti. In periodi di alta inflazione, di recessione, di crisi finanziaria. Solo se sopravvive a questi stress test puoi iniziare a prenderla sul serio.

4. Considerare i costi di transazione e lo slippage

Molti backtest ignorano completamente i costi reali del trading: commissioni, spread bid-ask, slippage. Una strategia che fa il 15% annuo lordo ma ruota il portafoglio ogni settimana potrebbe facilmente trasformarsi in un 5% netto, o anche meno. I costi non sono un dettaglio: sono la differenza tra il successo teorico e il fallimento pratico.

5. Accettare l'umiltà statistica

Nessuna strategia funziona per sempre. Il mercato cambia, si adatta, evolve. Una strategia che funziona oggi potrebbe smettere di funzionare domani. Il backtesting non serve a trovare la strategia perfetta, ma a escludere quelle palesemente sbagliate. È uno strumento di eliminazione, non di selezione. Chi lo usa per cercare il "Santo Graal" del trading è destinato a restare deluso.

I segnali di allarme: quando il backtest mente

Ecco alcuni indicatori che dovrebbero farti immediatamente dubitare della validità di un backtest, specialmente se lo stai valutando per conto tuo o lo hai trovato in qualche forum di trading.

Conclusione: il backtesting come strumento, non come risposta

Il backtesting è come un bisturi: in mano a un chirurgo esperto, può salvare una vita. In mano a un principiante, può fare danni irreparabili. Non è il backtesting in sé a essere pericoloso, ma l'uso che se ne fa.

Il vero investitore quantitativo sa che il backtesting non fornisce risposte, ma ipotesi. Non garantisce il futuro, ma aiuta a escludere il passato che non si ripeterà. Non è una sfera di cristallo, ma un filtro per scartare le idee palesemente sbagliate prima che facciano danni al portafoglio.

La prossima volta che vedrai un backtest con risultati straordinari, ricorda la mappa del tesoro disegnata a posteriori. E chiediti sempre: questa strategia avrebbe funzionato se non avessi saputo come andava a finire? Se la risposta è no, hai tra le mani un'illusione, non una strategia.

L'umiltà è la virtù più rara e più preziosa dell'investitore. Il backtesting, quando usato con rigore, è uno strumento che rafforza proprio questa umiltà. Perché ti mostra non quanto sei bravo a prevedere il passato, ma quanto è difficile prevedere il futuro.