SENZA REDAZIONE

di Denise-Marie Ordway

Questo articolo è stato pubblicato originariamente su The Journalist’s Resource e viene condiviso qui in traduzione per gentile concessione.

---

La ricerca accademica è uno degli strumenti più preziosi a disposizione del giornalismo per raccontare le politiche pubbliche e chiedere conto a chi governa. È anche uno strumento che richiede competenze per essere usato al meglio.

Giornalisti e giornaliste con più esperienza si affidano alla ricerca per dare solidità al proprio lavoro e verificare le affermazioni delle fonti. Molti, però, faticano a distinguere tra uno studio di qualità e uno discutibile.

Abbiamo preparato questa lista di domande per aiutarti a riconoscere i campanelli d’allarme e non basarti su risultati problematici. Ti sarà utile anche per analizzare con maggiore attenzione gli studi che politici e rappresentanti istituzionali citano a sostegno delle loro posizioni.

Vale la pena sottolineare che molte di queste domande si applicano soprattutto alle ricerche quantitative, cioè quelle che analizzano dati numerici.

1. La ricerca è stata sottoposta a peer review?

La peer review è un processo formale in cui persone esperte di uno specifico ambito valutano e commentano il lavoro di altre. Funziona come un filtro di qualità: scarta le ricerche meno affidabili e contribuisce a migliorare quelle solide.

Chi fa revisione, però, non è un fact-checker o una “detective” contro le frodi. Il compito principale è verificare che le domande di ricerca siano formulate in modo chiaro e che il disegno dello studio, i metodi di campionamento e l’analisi siano appropriati. Inoltre, si valuta se i risultati contribuiscono ad avanzare la conoscenza nel campo e se chi ha condotto lo studio ha rispettato gli standard etici, soprattutto quando sono coinvolte persone o animali.

Leggi anche: Bias inconsci nel giornalismo: come riconoscerli e affrontarli

2. È pubblicata su una rivista accademica di alto livello?

Le riviste più prestigiose hanno maggiori probabilità di ospitare ricerche di alta qualità: sono più selettive sugli articoli che accettano e sottopongono i lavori a processi di revisione più rigorosi. Molte tra le più affidabili sono collegate a organizzazioni professionali come l’American Economic Association, la National Academy of Sciences, l’American Society for the Advancement of Science, l’American Educational Research Association e l’American Medical Association.

Un criterio usato per valutare il prestigio di una rivista è l’impact factor, un indice che misura quante volte, in un determinato periodo, un articolo medio pubblicato su quella rivista viene citato in altri lavori accademici. Va ricordato, però, che le riviste più nuove possono non avere ancora un impact factor e che, in alcuni casi, questo indice può risultare gonfiato artificialmente.

Il dato è consultabile nel database Journal Citation Reports: i valori vanno da zero a oltre 100. Ad esempio, The Lancet, una delle principali riviste di ricerca in salute pubblica, ha un impact factor di 88,5.

3. Altre persone nel mondo accademico si fidano di questo lavoro?

Un buon indicatore della credibilità di una ricerca è il numero di volte in cui viene citata in altri studi. Va ricordato, però, che possono volerci anni prima che un articolo accumuli un numero consistente di citazioni. Per verificarlo si possono usare strumenti come il motore di ricerca gratuito Google Scholar o il servizio a pagamento Web of Science.

Per capire cosa viene detto su un articolo specifico, c’è PubPeer, una piattaforma dove il lavoro scientifico viene commentato e discusso, spesso anche in forma anonima. Utile anche il bookmarklet di Altmetric, che consente di controllare l’Altmetric score: misura quante volte un paper è stato letto, scaricato, salvato, citato, menzionato o discusso online.

Un’altra risorsa importante è il Retraction Watch Database, che raccoglie le pubblicazioni ritirate, corrette o annullate e permette di fare ricerche anche per autore.

4. Chi ha finanziato la ricerca?

È importante sapere chi ha sostenuto economicamente uno studio e quale ruolo, se c’è stato, abbia avuto nel definirne il disegno, nel condurlo o nel presentare i risultati al pubblico. In genere, le fonti di finanziamento sono indicate verso la fine dell’articolo accademico.

5. Quali sono le credenziali di chi firma lo studio?

Sapere dove lavorano le autrici e gli autori, quali incarichi ricoprono e con quale frequenza i loro lavori sono stati pubblicati su riviste accademiche può aiutare a valutarne il livello di competenza in un determinato campo. Due indizi forti di autorevolezza sono una lunga esperienza di pubblicazioni su un tema specifico e il riconoscimento con premi prestigiosi, come lo Stockholm Prize in Criminology, lo Yidan Prize for Education Research o lo Johan Skytte Prize in Political Science.

6. Quanto è vecchio lo studio?

In settori come la tecnologia o gli studi sull’opinione pubblica, una ricerca di qualche anno fa può non essere più affidabile. La rilevanza di uno studio datato dipende in gran parte dal campo, dall’argomento trattato e dal fatto che la metodologia utilizzata sia ancora considerata etica e solida.

7. Ci sono conflitti di interesse?

Bisogna fare attenzione agli studi condotti da persone o enti che potrebbero trarre vantaggio dai risultati. Le riviste accademiche in genere richiedono ad autori e autrici  di dichiarare eventuali conflitti di interesse, ma non sempre questo avviene. Un modo per verificarlo è consultare l’Open Payments Database, un progetto dei Centers for Medicare & Medicaid Services negli Stati Uniti, che raccoglie dati sui pagamenti effettuati da aziende farmaceutiche e produttrici di dispositivi medici a professionisti della salute, comprese persone che svolgono ricerca in ambito pubblico.

Leggi anche: Per scrivere articoli migliori, pensa come un bambino

8. Qual è la dimensione del campione?

Negli studi basati su campioni, in genere campioni più grandi producono risultati più attendibili rispetto a quelli piccoli. Chi fa ricerca sulle persone – ad esempio elettori ed elettrici, studenti o motociclisti – spesso punta a campioni di almeno 1.000-1.500 individui.

9. Lo studio si basa su dati da sondaggi?

Ricercatori e ricercatrici, così come agenzie governative, associazioni e aziende private, utilizzano spesso sondaggi per raccogliere dati su una vasta gamma di temi. Tuttavia, la qualità di questi sondaggi può variare molto e influenzare le risposte. I risultati possono essere distorti, per esempio, se i partecipanti non sono stati selezionati in modo casuale. Anche l’ordine delle domande può incidere sulle risposte.

10. La metodologia è chiara e comprensibile?

Chi fa ricerca dovrebbe spiegare come ha affrontato le proprie domande di partenza, da dove ha ricavato i dati e in che modo li ha utilizzati. È importante anche che definisca con chiarezza i concetti chiave e descriva i metodi statistici usati nelle analisi. Questo livello di dettaglio è indispensabile perché altre persone possano verificare e replicare il lavoro.

11. I dati statistici sono presentati?

Chi scrive lo studio dovrebbe condividere i dettagli sui dati analizzati e i risultati numerici delle proprie elaborazioni. Questo permette ad altre persone di verificare calcoli e modelli statistici. In alcuni campi, i dataset vengono resi pubblici e consultabili da chiunque.

12. I risultati dello studio sono supportati dai dati?

Le persone che fanno ricerca serie sono molto caute nel descrivere le loro conclusioni: vogliono trasmettere con precisione ciò che hanno scoperto. Di solito indicano anche i punti deboli dei dati, del disegno dello studio o delle conclusioni. A volte, però, capita che i risultati vengano enfatizzati o minimizzati, o che ci siano discrepanze tra ciò che l’autore o l’autrice sostiene di aver trovato e ciò che i dati mostrano davvero.

Se hai difficoltà a interpretare i dati, puoi chiedere aiuto a una figura esperta in statistica. Esistono anche organizzazioni come SciLine, parte dell’American Association for the Advancement of Science, che aiutano chi fa giornalismo a entrare rapidamente in contatto con esperti ed esperte.

13. Si tratta di una meta-analisi o di uno studio controllato randomizzato?

Le meta-analisi e gli studi controllati randomizzati sono tra le forme di ricerca più affidabili. Questo non significa che uno studio debba per forza rientrare in queste categorie per essere di qualità, ma quando vengono condotti correttamente forniscono prove particolarmente solide.

In una meta-analisi (o meta-studio) si analizzano dati numerici raccolti da più ricerche individuali che affrontano la stessa domanda o una domanda simile. Aggregando i dati, è possibile ottenere stime più precise per descrivere la relazione tra variabili diverse — per esempio, la forza del legame tra personalità e capacità cognitive.

Gli studi controllati randomizzati, invece, sono considerati il “gold standard” per valutare l’efficacia di un programma, una politica, un farmaco o un altro intervento. Assegnando in modo casuale le persone a un gruppo di controllo o a un gruppo sperimentale, si riduce il rischio di distorsioni nei risultati. Questo metodo consente anche di confrontare i gruppi per capire se un intervento abbia causato o contribuito a determinate differenze.

---

The Journalist’s Resource desidera ringraziare per il loro contributo alla realizzazione di questa guida: Adam Berinsky, docente di Scienze Politiche al MIT (titolo Mitsui Professor of Political Science); Marybeth Gasman, titolare della cattedra Samuel DeWitt Proctor in Education presso la Graduate School of Education della Rutgers University; Morgan Hazelton, professoressa di Scienze Politiche e Diritto alla Saint Louis University; Ivan Oransky, cofondatore di Retraction Watch e giornalista in residence all’Arthur Carter Journalism Institute della New York University; e Thomas E. Patterson, titolare della cattedra Bradlee Professor of Government and the Press alla Harvard Kennedy School.

Foto di Polina Tankilevitch via Pexels.com