se fossi in gattuso ragionerei così:
sveglia con calma e colazione con pastiera, pranzo verso le 15 si fa linguine allo scoglio e gamberoni grigliati, a merenda doppio giro di limoncello con gente che dorme sui tavoli e come inno questa canzone
https://t.co/AxBEiginoS
@pauldeb891 Ho sempre avuto l'impressione che la sua carriera sia svoltata più che altro con l'esplosione della Goggia che, portando risultati (che all'epoca latitavano), ha tolto pressione al resto della squadra femminile
@matteosalvinimi Ottima iniziativa Matteo!
Speriamo di vincere le prossime elezioni e di ottenere finalmente LA MAGGIORANZA PARLAMENTARE e creare finalmente UN GOVERNO DI COALIZIONE DI CENTRODESTRA che non se ne può più di questi SINISTRI al governo
colgo l'occasione per dire che tutto ciò che so del drama del tabaccaio lo so contro la mia volontà e che nemmeno la misericordia di dio potrà perdonare il grave danno che avete arrecato ai miei neuroni
Ispirato da un recente tweet di @Cr1st14nM3s14n0, ed evitando di complicare troppo (ad esempio, evito tutta la pippa sull'honest assessment, la convalida, il rebalancing).
Immaginiamo di essere seduti su un’auto a guida autonoma. È sera, l’asfalto è bagnato, magari piove leggermente.
Davanti a noi, qualcosa si muove sulla strada: un oggetto scuro, poco definito. L’auto ha pochi istanti per decidere cosa fare.
Per il computer di bordo (sperando che la decisione sia solo locale), la domanda è sempre la stessa: “Quello che vedo è un pericolo oppure no?”
Se è pericoloso → STOP.
Se non lo è → VAI.
Fine. Due scelte, nessuna via di mezzo. Sono ancora oggetti manichei, in fondo.
Immaginiamo di avere un archivio di situazioni che l’auto ha già visto, una specie di memoria storica. Dentro ci sono 1000 casi. In 995 di questi, l’ostacolo era solo una busta di carta che volava o rotolava per strada, una cosa innocua che possiamo tranquillamente ignorare. Ma in 3 casi si trattava di una persona che attraversava la strada. In 2 casi, poi, c’era un muro, o comunque un ostacolo solido contro cui è decisamente meglio non andare a sbattere.
Quindi, in questo nostro piccolo mondo osservato, le situazioni “tranquille” sono 995 su 1000. Quelle veramente pericolose sono solo 5. Poche, rare, ma diremmo decisive.
Ora immaginiamo di costruire un modello banalissimo, quasi ridicolo. Un modello che “impara” una sola cosa dal passato: nella stragrande maggioranza dei casi l’ostacolo era una busta di carta, quindi conviene dire sempre la stessa cosa: VAI. Sempre. Qualunque cosa appaia davanti. (È un errore molto più comune di quello che possiate pensare).
Se applichiamo questo “modello” ai nostri 1000 casi, succede più o meno questo: nei 995 casi in cui l’ostacolo è una busta, dire VAI è giusto. L’auto passa, tutto bene. Nei 3 casi in cui compare una persona, dire VAI è tragicamente sbagliato. Nei 2 casi in cui c’è un muro, dire VAI è di nuovo una pessima idea. Ma se guardiamo solo i numeri, abbiamo 995 decisioni corrette su 1000: una percentuale di successo del 99,5%!
Se ci fermiamo a quel numero, il modello sembra praticamente perfetto: “Ha ragione quasi sempre!”. Eppure, basta un attimo di buon senso per accorgerci che è il peggior modello possibile: non riconosce mai un vero pericolo. Non è certo il modello da generalizzare e portare in produzione. Sbaglia il 100% dei casi critici. Ogni singolo errore corrisponde a una persona investita o a un incidente grave. Il problema è che la bellissima percentuale del 99,5% è gonfiata dai casi facili, dalle buste di carta, cioè da tutto ciò che, in fondo, non ci preoccupa davvero.
L’accuracy, quella percentuale di previsioni “giuste”, mette sullo stesso piano la busta di carta e la persona. Un errore su una busta vale quanto un errore su un pedone. Ma noi, istintivamente, sappiamo che non è così. Sbagliare una busta è fastidioso al massimo, sbagliare una persona è una tragedia. Il numero, da solo, non fa questa distinzione.
Per rendere il quadro ancora più chiaro, immaginiamo ora il modello opposto. Quello iper-prudente, ansioso, terrorizzato dall’idea di sbagliare. Questo secondo modello decide che il mondo è un posto pericolosissimo e che non si è mai troppo prudenti. La sua regola è semplicissima: fermiamoci sempre. Qualsiasi cosa vediamo, STOP, inchiodiamo.
In questo caso, i 5 scenari davvero pericolosi vengono tutti riconosciuti come tali: persona o muro, comunque l’auto si ferma. Nessun incidente, dal punto di vista della sicurezza funziona alla grande. Ma c’è un piccolo dettaglio: l’auto si ferma anche davanti alle 995 buste di carta. Risultato: sicurezza massima, ma esperienza d’uso disastrosa. Non arriviamo mai da nessuna parte, ogni situazione è un’emergenza.
Se facciamo i conti, il modello ansioso fa pochissime previsioni “giuste” in senso numerico. E quindi la sua percentuale di successo sarà bassissima. Ma dal punto di vista della sicurezza è molto meglio del primo. E qui sta l'apparente contraddizione: il modello con l’accuracy altissima è pericoloso, quello con l’accuracy bassissima è sicuro (anche se impraticabile).
Questo ci dice una cosa molto semplice: quel numerone in percentuale (99,5%), preso da solo, non basta a raccontare la storia. MAI.
Nella vita reale, non tutte le situazioni pesano allo stesso modo. E non tutti gli errori hanno le stesse conseguenze. Fermarci per una busta di carta è un falso allarme: ci fa perdere un po’ di tempo, ci infastidisce, forse ci fa venire voglia di insultare l’auto o i programmatori, ma non cambia il corso delle cose. Certo, fermarsi sempre diventa ridicolmente impraticabile.
Investire una persona in mezzo alla strada, però, è un errore che cambia tutto. Se mettiamo insieme tutte queste cose in un unico numero, senza differenze, stiamo mescolando pere e mele.
La stessa logica vale in tanti altri ambiti. In medicina, sbagliare una volta su cento può voler dire semplicemente confondere un raffreddore con un���allergia, ma può anche voler dire non riconoscere un tumore raro (e neppure troppo). In banca, un errore su mille può essere concedere un piccolo prestito di troppo, oppure lasciar passare una frode gigantesca. Nei sistemi di allerta per disastri naturali, ignorare un segnale raro può equivalere a non evacuare una zona prima di un’alluvione.
Gli eventi rari ma estremi sono pochi, spesso quasi invisibili nelle statistiche “medie”, ma sono quelli che contano di più. Se il nostro modello è bravissimo nei casi banali e fallisce proprio su quelli cruciali, il numero che misura la sua bravura rischia di essere una specie di trucco ottico: ci mostra il quotidiano, ci nasconde la potenziale catastrofe.
Un buon modello deve saper gestire molte situazioni differenti. Svilupparlo non è banale, è una scienza, ma anche un po' un'arte. Non credete a chi vi dice che tutto è ottenibile in modo data-driven, perché poi vi schiantate o non vi muovete più.
E allora, la prossima volta che qualcuno vi dirà: “Questo modello è fantastico, ha il 99% di accuracy”, forse vi tornerà in mente l’auto che non si ferma mai. Potrete chiedervi: “Sì, ma su cosa ha ragione? E soprattutto: su cosa ha torto?”. Perché tra una busta di carta e una persona in mezzo alla strada, un algoritmo tende a contarle come due casi qualsiasi. Un algoritmo non ha, di per sé, un sistema valoriale. Ma noi, al posto di guida, sappiamo benissimo che non valgono per niente lo stesso.
Un'altra volta vi (ri)parlo di sensibilità, specificità e compagnia cantando. E magari anche del paradosso della predizione.