Prima di fidarti di una strategia, prova a distruggerla in questi 3 step

Sullo schermo c’era una riga sola.

RSI a 12 periodi, soglia 40, uscita dopo 27 candele, media mobile a 50. Yen, barre da un’ora. Dal 2012 al 2021: +16.809 dollari, costi inclusi.

Sotto, una curva dei rendimenti che saliva per quasi dieci anni senza fermarsi.

Anni fa avrei pagato volentieri per averla.

Sono sui mercati da quasi dieci anni e, davanti a quella curva, per qualche secondo la parte di me che voleva avere ragione ha vinto su quella che sa come funzionano queste cose.

Un prompt e il tempo di un caffè

L’esperimento era semplice.

Ho aperto Claude e gli ho chiesto una strategia come quelle che oggi si fanno generare in pochi minuti: un RSI per misurare quanto il prezzo è sceso, una media mobile per filtrare la tendenza e un’uscita dopo un numero fisso di candele.

Quattro parametri.

Poi, invece di sceglierli io, gli ho chiesto di provarli tutti.

• RSI da 2 a 14

• soglia da 10 a 40

• uscita da 3 a 30 candele

• media mobile da 50 a 300 barre

Ho aggiunto anche una seconda famiglia di strategie basata sulla rottura dei canali e ho lanciato tutto su undici mercati future: dall’S&P 500 all’oro, dall’euro allo yen.

Claude ha scritto il codice, l’ha eseguito e ha restituito il conto: 67.980 backtest.

Quando ho iniziato, per fare un decimo di quel lavoro servivano settimane. Bisognava scrivere il codice, sistemare i dati, lanciare le ottimizzazioni una per una e aspettare.

Questa volta è bastato il tempo di un caffè.

In cima alla classifica c’era la strategia sullo yen.

Per capire cosa facesse davvero, ho aperto una delle sue operazioni. Il 1° febbraio 2017 l’RSI dello yen scende a 39,1, sotto la soglia, mentre il prezzo è ancora sopra la media a 50 barre. La strategia compra all’apertura della candela successiva.

Poi aspetta. Senza stop loss e senza take profit, conta soltanto le candele.

Alla settima è sotto di 186 dollari. Alla ventisettesima chiude, comunque vada: +1.195 dollari.

Ripeti quel gesto per dieci anni e ottieni la curva che mi aveva convinto.

L’amico informatico aveva ragione

Pochi giorni prima di girare il video ero a Verona per la Mastery, due giornate dedicate alla costruzione e alla validazione delle strategie e poi ai portafogli.

Durante una pausa uno studente mi ha raccontato una storia che avevo già sentito tante volte, ma mai con quel finale.
Un suo amico informatico si era costruito un robot di trading. Il backtest era stupendo e la curva saliva.

Eppure non l’ha mai acceso.
«Gli sembrava tutto troppo semplice.»

È una delle cose più intelligenti che abbia sentito quest’anno sul trading automatico, e non l’ha detta un trader.

Quell’amico non sapeva nulla di overfitting, campioni o test fuori campione.
Aveva soltanto un dubbio: se è stato così facile trovarlo, forse non c’è niente da trovare.

Quel dubbio funziona una volta, quando il backtest l’hai costruito e sudato tu.

Alla trentesima strategia, quando l’AI te ne prepara sessantottomila prima di cena, inizi ad abituarti anche alle curve troppo belle.

Serve trasformare quel «troppo semplice» in domande precise.
Domande la cui risposta non dipenda da quanto ti piace il risultato.

Perché questa curva ha convinto anche me

Programmo da diciotto anni e lavoro sui mercati da dieci.
Con Quant Trader Academy ho visto passare centinaia di strategie: mie, degli studenti e di persone che me le inviano chiedendomi «secondo te funziona?».

Quasi tutte arrivavano accompagnate da una bella curva.

Quasi nessuna aveva affrontato una domanda scomoda.

Uso l’intelligenza artificiale ogni giorno.
Lo strumento che trova le strategie è diventato molto più veloce della testa che dovrebbe smontarle.

Così ho chiesto all’AI di provare a dimostrare che la strategia non funzionava.

#1: Cosa succede se sposto un numero?

Ho preso i parametri della vincitrice e li ho modificati di un solo passo.
RSI a 11 anziché 12, uscita dopo 24 candele anziché 27, e così via in tutte le direzioni.

Ho ottenuto trentacinque versioni vicine della stessa strategia, sullo stesso mercato e negli stessi anni.

Se la vincitrice avesse intercettato qualcosa di reale sullo yen, le versioni vicine avrebbero dovuto assomigliarle. Magari un po’ peggiori, con un rendimento inferiore o un drawdown più profondo, ma appartenenti alla stessa famiglia.

Ventuno su trentacinque perdono denaro.

La peggiore arriva a −29.818 dollari.

Basta muovere di poco gli stessi parametri per passare da +16.809 a −29.818 dollari. La strategia vincitrice è un picco isolato, circondato dal precipizio.

Io cerco un altopiano, cioè una zona nella quale molte combinazioni vicine producono risultati simili.
Una strategia solida non dovrebbe aver bisogno del parametro perfetto per sopravvivere.

#2: Cosa succede se le operazioni arrivano in un altro ordine?

La strategia ha eseguito 172 operazioni. Nel backtest, la sua perdita massima da un precedente picco, il drawdown, era di 4.356 dollari.

Sembrava gestibile.

Ma quel numero dipende anche da qualcosa che non possiamo controllare: l’ordine in cui arrivano (anzi, arriveranno) profitti e perdite.

Ho quindi rimescolato le operazioni mille volte, mantenendo gli stessi trade e lo stesso risultato complessivo.
Ho modificato soltanto la sequenza.

È un test Monte Carlo.

Serve a capire quanto sarebbe potuto peggiorare il percorso pur mantenendo le stesse identiche operazioni.

In una simulazione su venti, il drawdown supera 8.556 dollari.
Quasi il doppio rispetto a quello mostrato dalla curva originale.

Le stesse operazioni, disposte in un altro ordine, hanno quasi raddoppiato il rischio che avrei dovuto sopportare.

Se avessi dimensionato il conto prendendo come riferimento soltanto quei 4.356 dollari, una sequenza negativa perfettamente plausibile avrebbe potuto farmi spegnere il sistema nel momento peggiore.

#3: Cosa fa sui dati che non ha mai visto?

Questo è il test che conta di più e te l’ho nascosto 🙂 La simulazione e i test che hai visto sopra non include gli ultimi anni: la simulazione si fermava al 2021.

L’AI aveva cercato e ottimizzato le strategie sui dati dal 2012 al 2021.
I dati dal 2022 in poi erano rimasti chiusi e fuori da ogni ottimizzazione.

Ho aperto quel periodo e applicato la stessa strategia, con gli stessi parametri e senza modificare nulla.

Dal 2022: −7.135 dollari.

Una strategia che perde fuori campione non va automaticamente buttata.
Può attraversare una fase negativa o incontrare un mercato diverso.

Qui, però, i tre test raccontavano la stessa storia: parametri fragili, rischio sottostimato e risultati negativi sui dati nuovi.

Il bot dell’amico informatico, probabilmente, era fatto così.

Il costo quasi nullo dei tentativi

Quello che è successo sullo yen ha un nome poco affascinante: data snooping.

Se provi abbastanza combinazioni sul passato, prima o poi ne trovi una che sembra funzionare anche quando sotto non c’è alcun vantaggio reale.

Nel 2016 Thomas Wiecki, Andrew Campbell, Justin Lent e Jessica Stauth hanno analizzato 888 strategie create sulla piattaforma Quantopian, confrontando i backtest con almeno sei mesi di risultati fuori campione.

Lo Sharpe ratio del backtest spiegava meno del 2,5% dei risultati successivi.

Inoltre, più backtest aveva eseguito l’autore, maggiore tendeva a essere la distanza tra simulazione e realtà.

Allora il limite era il tempo umano.

Oggi fare un altro tentativo costa quasi zero.

L’AI può eseguire 67.980 backtest senza farti percepire di aver fatto 67.980 tentativi.

C’è anche un secondo rischio.

Un modello linguistico è stato addestrato su testi che contengono anni di notizie e informazioni sui mercati. Quando gli chiedi di prendere una decisione in una data del passato, potrebbe conoscere indirettamente ciò che è successo dopo.

Weixian Waylon Li, Mengyu Wang e Tiejun Ma hanno definito questo problema parametric look-ahead bias.

Quando hanno provato a ridurre l’effetto della memoria dei modelli prima dei test, in alcuni casi i rendimenti ottenuti sul campione si sono ridotti fino al 67,1%.

Nel mio esperimento Claude ha scritto il codice, ma sono stati i dati a produrre i risultati. Il modello non ha scelto le operazioni conoscendo il futuro, quindi quel rischio specifico non era presente.

Se invece chiedi direttamente a un’AI cosa avrebbe comprato in una certa data del passato, devi considerare che potrebbe conoscere il seguito della storia senza rendersi conto di stare usando quell’informazione.

Ne avevo scritto a giugno, quando l’AI aveva iniziato a generare indicatori in trenta secondi. Oggi il collo di bottiglia è la validazione; scrivere il codice può richiedere meno di un minuto.

Allora era un’ipotesi. Oggi sono 67.980 backtest.

Le strategie dell’Academy

Alla Mastery di ottobre, il nostro corso di 2 giorni in aula, abbiamo portato strategie costruite con il metodo che insegniamo nell’Academy.

Molti si concentrano sulla ricerca di strategie che producono profitti nel passato. Noi dedichiamo molto più tempo a cercare tutti i modi possibili per distruggerle.

Per “distruggere” intendo sottoporle a test che possano far emergere ogni punto debole: parametri troppo “stretti”, risultati concentrati in pochi periodi, drawdown sottostimati o prestazioni che spariscono appena cambiano le condizioni del mercato.

Di modi per generare strategie ne abbiamo molti.
Abbiamo anche sviluppato un builder capace di combinare oltre 1.700.000 pattern tra prezzo, volatilità, fasce orarie ed eccezioni.

Con l’arrivo dell’AI, generarne ancora di più è diventato facilissimo.

La competenza e il metodo servono per capire se quello che hai trovato contiene davvero qualcosa oppure è soltanto una bella combinazione del passato (che ti farà perdere soldi e smettere di investire in questo meraviglioso mondo dei mercati finanziari).

Per questo partiamo dalla natura del sottostante: come si muove, in quali fasce orarie, con quale volatilità e in quali condizioni tende a mostrare determinati comportamenti.
Da lì costruiamo le regole.

Poi proviamo a rompere il backtest che abbiamo ottenuto. Questo step lo chiamiamo VALIDAZIONE.

Un metodo vale qualcosa se riesce a bocciare anche le strategie di chi lo insegna.
Un metodo che non ti ha mai detto di no sta soltanto trovando un modo più elaborato per darti ragione.

Prima di mettere denaro reale su un sistema, il lavoro è provare a distruggerlo. Perché il mercato lo farà comunque, ma senza avvisarti e con i tuoi soldi dentro.

Ho raccolto le tre domande di questo articolo e gli altri quattro controlli che uso in una checklist gratuita. Per ogni test trovi:

• quali dati fornire all’AI;

• il prompt da copiare;

• il segnale che dovrebbe farti fermare.

Per il Monte Carlo, per esempio, basta la lista delle operazioni del backtest.

Scarica gratuitamente la checklist completa

Se vuoi vedere i 67.980 backtest e i tre test eseguiti uno dopo l’altro, trovi qui anche il video completo.

Guarda il video

Ti è mai capitato di innamorarti di una strategia?
Se ti va, rispondimi e raccontami com’è finita.

Ci risentiamo presto.

Un abbraccio,
Damiano

Questo articolo è uscito prima nella newsletter di Damiano su Substack.