Molti articoli finiscono per esagerare la portata di uno studio, suggerendo che i risultati valgano per un pubblico molto più ampio rispetto a quello effettivamente coinvolto. Ecco qualche indicazione per evitare questo errore – e capire perché non è una buona idea affidarsi all’intelligenza artificiale per riassumere studi accademici.
Questo articolo è stato pubblicato originariamente su The Journalist’s Resource e viene condiviso qui in traduzione per gentile concessione.
Se per una ricerca si intervistasse un gruppo di uomini tra i 45 e i 65 anni in un circolo dei Veterans of Foreign Wars in West Virginia per sapere cosa pensano sul possesso di armi, è improbabile che le risposte ottenute possano rappresentare l’intera popolazione maschile in quella fascia d’età negli Stati Uniti. In questo scenario ipotetico, è piuttosto evidente che le opinioni raccolte da un gruppo di ex-militari in uno stato conservatore, dove la caccia è profondamente radicata nella cultura locale, non possano essere estese a tutti gli uomini del Paese.
In pratica, però, capire se i risultati di una ricerca siano generalizzabili a un’intera popolazione non è sempre così semplice. Spesso chi fa giornalismo non riesce a distinguere tra uno studio i cui risultati valgono solo per il campione coinvolto e uno che permette invece di trarre conclusioni su gruppi più ampi – ad esempio su scala cittadina, statale o nazionale. Questo porta inevitabilmente a errori nei contenuti pubblicati, con potenziali conseguenze serie.
Il pubblico si affida spesso alle notizie che parlano di ricerche scientifiche per prendere decisioni importanti su salute, finanze familiari, sicurezza o istruzione dei figli. Anche alcune figure professionali – come operatori sanitari che non leggono regolarmente articoli scientifici – si informano attraverso i giornali per aggiornarsi su nuovi trattamenti o sviluppi legati al loro lavoro.
“I media che riportano risultati scientifici contribuiscono a definire la percezione pubblica sulla loro rilevanza e sui loro limiti,” si legge in un’analisi pubblicata ad aprile 2025, dedicata alla copertura mediatica delle ricerche in ambito psicologico e comportamentale. “Quando le notizie omettono dettagli cruciali e presentano i risultati come se valessero per tutti, c’è il rischio che chi lavora nel settore applichi certe soluzioni in contesti dove invece funzionano poco o per niente.”
Questa guida nasce proprio per aiutare chi scrive a evitare uno degli errori più comuni: generalizzare troppo. I consigli che seguono sono frutto di un confronto con tre figure esperte in metodologia della ricerca accademica e comunicazione scientifica.
I sei consigli che seguono si basano sulle indicazioni e riflessioni di:
- Turhan Canli, professore di psicologia e psichiatria alla Stony Brook University, affiliato all’Alan Alda Center for Communicating Science dell’università e fondatore del centro SCAN (Social, Cognitive, and Affective Neuroscience) della stessa.
- Corinne Huggins-Manley, professoressa di metodologia della ricerca e valutazione presso l’Università della Florida, dove dirige anche la School of Human Development and Organizational Studies in Education.
- Maya Sen, professoressa di politiche pubbliche alla Harvard Kennedy School, affiliata all’Institute for Quantitative Social Science dell’università, al Taubman Center for State and Local Government e al James M. and Cathleen D. Stone Program in Wealth Distribution, Inequality & Social Policy.
1. Presta molta attenzione al campione dello studio
Quando una ricerca coinvolge delle persone, il campione è il gruppo di individui studiato. I campioni possono variare molto per dimensione e composizione: può trattarsi di 100 imprenditrici e imprenditori a Boston, 1000 studenti della stessa università in Ohio, oppure 10 milioni di adulti negli Stati Uniti che hanno assunto un farmaco dimagrante nell’ultimo anno.
Ma non è la grandezza del campione a determinare se i risultati possono essere generalizzati oltre il gruppo studiato. Ciò che conta davvero è quanto il campione sia rappresentativo della popolazione più ampia a cui si vogliono estendere i risultati. Se la maggior parte delle persone coinvolte in uno studio sono donne bianche, i risultati non possono essere applicati a tutte le donne. Allo stesso modo, se il campione è composto prevalentemente da persone con una laurea o che vivono nella stessa area del Paese, i risultati non sono validi per tutta la popolazione adulta a livello nazionale.
Corinne Huggins-Manley aggiunge che ciò che si scopre in un Paese non si può applicare a un altro. “Non importa quanto bene conduca uno studio negli Stati Uniti: non posso usare quei dati per dirti cosa succede in Cina”, spiega.
Leggi anche: 13 domande per valutare la qualità di uno studio
2. Cerca l’espressione “campione rappresentativo”
Un campione rappresentativo a livello nazionale rispecchia le caratteristiche della popolazione nazionale. Se, per esempio, si vuole sapere se le persone registrate per votare negli Stati Uniti sostengono una certa proposta di legge, si può intervistare un sottoinsieme di elettrici ed elettori le cui caratteristiche demografiche corrispondano a quelle dell’intero corpo elettorale. Se questo campione rappresentativo è contrario alla proposta, è molto probabile che anche la maggior parte delle persone iscritte al voto lo sia.
Se invece il gruppo intervistato non è rappresentativo a livello nazionale, allora sarebbe scorretto dire che i risultati riflettono le opinioni dell’intera popolazione.
Lo stesso vale, per esempio, per uno studio sui consumi di bibite tra i bambini dell’asilo o sulle abitudini sentimentali delle persone anziane: a meno che il campione non sia rappresentativo su scala nazionale, non si può generalizzare.
“Qualunque studio fatto bene cercherà sempre di selezionare partecipanti appartenenti alla popolazione di riferimento e di ottenere un campione rappresentativo”, ha scritto Canli, docente alla Stony Brook University, in una mail a The Journalist’s Resource.
Le persone che conducono lo studio possono usare anche altre formule per indicare che il campione è rappresentativo di un gruppo più ampio. Per esempio, potrebbero dire che un campione di proprietari di casa nella contea di Los Angeles “riflette fedelmente” o “corrisponde in modo accurato” a tutta la popolazione dei proprietari di casa nella stessa area: in questo caso, i risultati si possono estendere a quel gruppo.
Se un team di ricerca scrive che il proprio campione di residenti in Texas “rispecchia le caratteristiche della popolazione statale” oppure è un “campione rappresentativo” delle persone che vivono in Texas, allora i risultati dello studio si possono generalizzare a livello statale.
3. Attenzione agli studi troppo specifici: i risultati potrebbero valere solo in determinati contesti o per gruppi molto ristretti
I risultati di alcuni studi si applicano solo a persone con caratteristiche molto specifiche. Per esempio, donne nere tra i 25 e i 45 anni che vivono a New York e hanno partorito il primo figlio con un cesareo d’urgenza.
Alcuni risultati valgono solo in contesti ben precisi. Sen cita come esempio gli studi sugli “nudge”, le cosiddette spinte gentili: interventi che mirano a modificare il comportamento delle persone, come inviare sms per ricordare le udienze ai soggetti imputati, oppure mettere le banane vicino alla cassa della mensa scolastica per spingere i ragazzi a mangiare più frutta.
In questi casi è importante ricordare che un intervento può funzionare in un certo contesto e fallire completamente in un altro. “Nelle scienze sociali, molti studi controllati randomizzati (RCT) molto noti hanno validità limitata al contesto specifico in cui sono stati condotti, e non si possono generalizzare al di fuori di quel contesto”, spiega Sen.
4. Non dare per scontato che le medie nazionali valgano anche a livello locale
Molti studi accademici e report governativi riportano valori medi nazionali, come la percentuale di persone che ha accesso all’acqua arricchita di fluoro o i tassi di disoccupazione tra lavoratori nati nel paese e immigrati. Ma, così come è scorretto estendere dati locali all’intera nazione, è altrettanto sbagliato applicare automaticamente le medie nazionali alle singole regioni o stati, avverte Huggins-Manley.
Per esempio, nella tua città o regione, la percentuale di persone con accesso all’acqua con fluoro potrebbe essere molto più alta o più bassa rispetto alla media nazionale.
Purtroppo, molte analisi che presentano dati a livello nazionale non forniscono informazioni suddivise per stato o area geografica, il che rende difficile per giornalisti e giornaliste fare confronti a livello locale.
In questi casi, Huggins-Manley suggerisce di contattare chi ha realizzato lo studio per chiedere se dispone di dati suddivisi per stato, regione o città. Se li ha, potrebbe condividerli.
Leggi anche: 12 cose da fare (e da evitare) nelle interviste giornalistiche
5. Nel dubbio, chiedi a un esperto o un’esperta
Se non sei sicuro di aver interpretato correttamente i risultati di uno studio, Canli consiglia di contattare direttamente chi lo ha realizzato per chiarire i punti principali.
“Idealmente, chi scrive dovrebbe parlare direttamente con l’autore o gli autori per capire quale ritengono sia il messaggio chiave dello studio”, ha scritto via email.
Canli e Sen raccomandano anche di chiedere un parere a chi ha fatto grande ricerca sull’argomento e non abbia partecipato allo studio, per avere un parere esterno. A volte, spiegano, chi ha condotto la ricerca può non accorgersi di certe lacune o limiti. Inoltre, nel mondo accademico è normale – e auspicabile – che gli studi vengano analizzati in modo critico da altre figure esperte.
“Se l’articolo dovrà diventare un titolo importante, non fa male contattare qualche altra persona che non è stata coinvolta”, dice Sen. “Può dirti molto velocemente se ci sono errori evidenti o generalizzazioni eccessive”.
6. Non affidarti all’intelligenza artificiale per riassumere gli studi
Quando usi chatbot o motori di ricerca basati sull’intelligenza artificiale per riassumere una ricerca, è molto probabile che i risultati contengano errori. Gli strumenti di IA che si basano su Large Language Models (LLM) sono noti per inventare informazioni, per questo Canli e Huggins-Manley invitano chi fa informazione a non fidarsi dei loro riassunti.
Huggins-Manley fa notare anche che questi modelli non sono necessariamente in grado di distinguere tra ricerche di qualità e studi poco affidabili. I chatbot possono attingere anche da articoli ritirati o non sottoposti a revisione peer-to-peer, da ricerche preliminari e da fonti che presentano risultati ancora provvisori. “Si basano su un corpus di testi problematico”, osserva.
Diversi studi dimostrano che anche i chatbot possono generalizzare in modo eccessivo i risultati delle ricerche. I ricercatori Uwe Peters e Benjamin Chin-Yee hanno testato dieci modelli più o meno recenti e ampiamente utilizzati – compresi alcuni basati su versioni di ChatGPT – chiedendo loro di riassumere migliaia di studi pubblicati nelle principali riviste scientifiche e mediche.
Un punto chiave emerso: secondo i due studiosi, la maggior parte dei modelli analizzati tende spesso a generalizzare eccessivamente i risultati delle ricerche – come riportano in un articolo pubblicato all’inizio del 2025 sulla rivista Royal Society Open Science.
“Analizzando quasi 5.000 riassunti generati da LLM, abbiamo riscontrato tassi di sovrageneralizzazione fino al 73% in alcuni casi”, spiegano Peters, docente di filosofia presso l’Università di Utrecht, nei Paesi Bassi, e Chin-Yee, docente presso i dipartimenti di patologia, medicina interna e filosofia della Western University in Canada, in un saggio uscito ad aprile 2025 su The Conversation.
“In particolare, confrontando i riassunti generati dai modelli con quelli scritti da esperti umani, i chatbot erano quasi cinque volte più propensi a produrre generalizzazioni eccessive,” scrivono. “Ma forse l’aspetto più preoccupante è che i modelli più recenti – come ChatGPT-4o e DeepSeek – tendono a generalizzare di più, non di meno”.
Foto di Artem Podrez via Pexels.com
Senza Redazione ti è stato utile?
Se vuoi, puoi sostenere il progetto con un caffè virtuale.
Grazie mille!
SENZA REDAZIONE 