Lákavý titulek, hamižný časopis, hladoví čtenáři a utýraná data. Tak málo stačí k tomu, aby do médií pronikla nesmyslná studie. Americký novinář a vědec John Bohannon napálil německé i světové noviny a ukázal, že nutriční věda má problém: lidé spolknou skoro cokoli.
Zprávy o nutričních studiích, revolučních dietách a zaručených návodech na hubnutí se objevují denně. Jak moc se jim dá věřit? Kontrolují novináři své zdroje? A kolik energie věnují prověřování metodiky výzkumu?
Novinář a vědec John Bohannon se rozhodl, že to zkusí prověřit. A podle zásad tzv. „gonzo novinařiny“ tyto otázky nekladl expertům ani novinářům. Místo toho ze sebe počátkem roku 2015 udělal „ředitele německého Institutu pro dietu a zdraví“ a sestavil studii s názvem „Čokoláda s vysokým obsahem kakaa jako urychlovač hubnutí“ (dostupná na https://goo.gl/9TIlUH).
Sociální experiment: Skutečný výzkum, ale záměrně špatná věda
Aby měl sociální experiment nějakou vypovídající hodnotu, dali si Bohannon a jeho spolupracovníci záležet na tom, aby se nikde nedopouštěli žádné lži. Tedy alespoň ne nad rámec toho, co je v obvykle prezentované „nutriční vědě“ běžné.
Ve spolupráci s německými dokumentaristy Peterem Onnekenem a Dianou Löblovou tedy zafinancovali a realizovali skutečný lékařský výzkum. Přes Facebook naverbovali pokusné subjekty a rozdělil je do tří skupin. „Jednu skupinu jsme instruovali, aby dodržovala dietní režim s nízkým zastoupením uhlohydrátů a navíc do něj denně zařadila 42 gramů čokolády s 81% obsahem kakaa (čokoládová skupina). Další skupinu účastníků jsme instruovali, aby se stravovala podle stejné diety, ale bez dodatečné čokolády (skupina s omezeným množstvím uhlohydrátů). Třetí skupinu jsme požádali, aby jedla podle vlastního uvážení bez jakýchkoliv omezení,“ uvedli autoři. Doktor Gunter Frank všechny účastníky prohlédl a vzal jim vzorek krve před a po experimentu. Vážit se měli účastníci sami.
Na takové metodice na první pohled není nic špatného, ale druhý pohled už odhalí dva zásadní problémy: velmi malý vzorek pacientů (pouhých patnáct lidí celkem) a velmi krátkou dobu trvání studie. Oněch „několik týdnů“ byly ve skutečnosti týdny tři. „To například nestačí ani k tomu, aby se podchytil vliv menstruačního cyklu u žen,“ připomíná Bohannon. Další nedostatek studie spočívá v tom, že už tak velmi malé skupiny nebyly srovnatelné co do složení na základě věku. „Nezdržovali jsme se tím,“ říká Bohannon, jehož cílem bylo sestavit takovou studii, která sice naplňuje formální požadavky, ale je plná křiklavých nedostatků.
Grafy na skřipci: Když měříte dost věcí, něco vyjde
Pak nastoupil statistik Alex Droste-Haars, který naměřená data dva dny mučil, dokud z nich nedostal přesvědčivě vypadající výsledky. Hlavní trik spočíval v tom, že výzkumníci dopředu neřekli, podle jakých kritérií budou výsledky hodnotit. Mohli si tak vybrat právě ty hodnoty, které náhodou vyšly. Je to podobné, jako kdybyste nechali patnáct lidí házet kostkou tak dlouho, dokud jim nepadne šestka, a pak je označili za šťastlivce.
Hlavním problémem je v tomto případě tzv. p-hacking, tedy pohrávání si s pravděpodobnostmi tak, aby vyšly statisticky významně. Za hranici významnosti je obvykle považováno p<0,05, což znamená, že je pouze 5% šance, že k výsledku došlo náhodou.
Jenže pokud nějaký experiment opakujeme tak dlouho, dokud nám nevyjde, nemá tento experiment sám o sobě žádnou vypovídající hodnotu. Podobný je i princip u měření více veličin: protože vědci neřekli dopředu, jaká je jejich hypotéza, mohli ve veličinách hledat souvislosti tak dlouho, dokud nějaké nenašli.
Výsledkem víkendového týrání dat byly úhledné a jasné hodnoty: tmavá čokoláda pomáhá lidem hubnout o deset procent rychleji a bez nástupu jo-jo efektu. Také pečlivě vybrané hodnoty z krevních testů potvrzovaly pozitivní vliv čokolády.
Podotkněme, že o vlivu čokolády na hubnutí existují i mnohé další studie. To, že je Bohannonův výzkum záměrně nekvalitní, neznamená, že čokoláda nemůže mít (pozitivní či negativní) vliv na úbytek váhy. Cílem této studie bylo něco jiného - zjistit, jak se bude či nebude šířit.
Predátorské časopisy: Za poplatek vám publikují cokoli
Hotovou studii Bohannon poslal do asi dvaceti vědeckých časopisů s honosně znějícím názvem a pochybnou pověstí. „Naše práce byla do 24 hodiny přijata k publikaci v několika časopisech. Asi je zbytečné dodávat, že neprocházela žádným oponentním řízením,“ popisuje Bohannon.
„Z nápadníků jsme si nakonec vybrali časopis the International Archives of Medicine. Dříve patřil velkému nakladatelství BioMedCentral, ale nedávno změnil majitele. Šéf nového nakladatele, Carlos Vasquez, psal, že jsme vytvořili vynikající rukopis, a že za pouhých 600 eur by mohl být bezodkladně přijat do jejich prémiového časopisu.“
Přestože editor časopisu oficiálně tvrdí, že všechny články jsou podrobovány důkladné kontrole a recenznímu řízení, práce Bohannonova týmu byla publikována za méně než dva týdny po stržení peněz z kreditní karty. „Ve studii jsme nemuseli změnit ani řádku,“ připomíná Bohannon.
Novináři a věda: Chybělo ověření a zasazení do kontextu
Článek tedy vyšel v jakéms takéms vědeckém časopise. To ale k jeho slávě nestačí. K novinářům jej bylo potřeba nějak dotlačit - a to pokud možno co nejrychleji, aby byl článek ještě aktuální. Bohannon oslovil svého nejmenovaného známého, který jej zasvětil do tajů vědeckého PR.
„Klíčem k využití novinářů je jejich lenost,“ všímá si Bohannon. „Když jim informace předložíte ve správné podobě, je to, jako kdybyste ty články v novinách psali sami. Většinou to tak skoro je, protože mnoho reportérů prostě zkopírovalo naši tiskovou zprávu a vložilo ji do svého článku.“ Jelikož Bohannon se sám živí jako vědecký novinář (píše například pro Science nebo Wired), doufal vlastně, že se na studii moc novin nenachytá. „Kvůli nám - kvůli novinářům jako vy a já - je svět zaplavován zprávami o nekvalitních vědeckých studiích,“ řekl pro NPR sebekriticky.
Řada novin, především bulvárních listů, zprávu publikovala, aniž by se zajímala o očividné nedostatky. Největším úlovkem byl zřejmě německý list Bild, kde se zpráva objevila na titulní straně, hned pod článkem o letecké katastrofě Germanwings.Někdy se novináři ozvali, aby zjistili, jak se píše Bohannonovo jméno. Nikdo se nezeptal na počet lidí ve studii.
„Nejvíce mne překvapilo, kolik novin studii převzalo. Asi největší zadostiučinění jsem pocítil, když jsem zmínku zahlédl v magazínu Shape,“ řekl pro Technet.cz John Bohannon. A pro čtenáře má důležitou radu: „Přestaňte číst časopisy a sloupky o dietách. Nestojí to za to.“
Dále jej překvapilo, že se nedočkal žádných nadávek od novinářů, které takto zesměšnil. Paradoxně prý naopak rozhněval některé vědce. „Několik vědců se do mne naváží, protože se domnívá, že jsem si měl tento sociologický experiment nechat schválit etickým panelem,“ řekl pro Technet.cz Bohannon. „To jenom ukazuje, že neví, co taková institucionální etická komise (IRB) vlastně je. Ale asi jim dělá dobře se nad tím pohoršovat.“
Za zmínku stojí, že seriózní noviny se této studii o čokoládovém hubnutí obloukem vyhnuly. Ani to ale není podle Bohannona povzbudivé: „Právě ta bulvární média mají přece největší sledovanost. Články nejspíše četly milióny lidí.“
Podobně špatné studie jsou podle Bohannona v oboru výživového poradenství na denním pořádku: „Tohle odvětví je na tom opravdu špatně. Vědecké postupy jsou zcela ignorovány. A přitom to, co jíme, se přímo dotýká našeho zdraví. Je to stejně důležitá věda, jako onkologie nebo astrofyzika.“
Bohannon varuje, že jeho studie nebyla co do metodiky o nic horší než jiné články o dietách. Lidé by se proto měli zajímat o metodiku výzkumu. Důvěřovat by pak měli jen novinářům, kteří zasazují podobné poznatky do kontextu nebo požádají o názor odborníka z oboru. Jinak se totiž zprávy o nových dietách sotva liší od zpráv aprílových.