Teadus nii nagu see olema peaks
Teadlane püstitab hüpoteesi, mõtleb välja katse, kuidas seda hüpoteesi testida, viib selle katse läbi, analüüsib andmeid, saab vastuse oma küsimusele (mis toetab või lükkab ümber hüpoteesi), kirjutab kokku artikli ja avaldab selle. Lihtne!
Nii peaks olema. Kahjuks toimub teadustöö tihti hoopis umbes nõnda: Teadlane mõtleb välja katse, viib selle läbi, analüüsib andmeid, ei saa mitte mingeid tulemusi, analüüsib uuesti andmeid, ei saa mitte mingeid tulemusi, analüüsib uuesti andmeid, saab mingid tulemused, mille kohta alguses hüpotees puudus, leiutab loo, kuidas kõike seda soppa selgitada, avaldab tulemused. Saab sulli ja feimi (ja näiteks doktorikraadi)
Probleem on selles, et see ring tulemuste analüüsi ja mingite / mitte mingite tulemuste saamisel viib tihti kas teadlikult või teadmatult selleni, et avaldatakse tulemusi, mis tegelikult ei tähenda mitte midagi – iga uue tehtava analüüsiga kerkib tõenäosus, et midagi leitakse, kuna rohkem teste tähendab ka seda, et tõenäosus, et tulemused pole vale-positiivsed (valed), väheneb (Kui just ei kontrollita vale-positiivsete tulemuste leidmist üle kõikide tehtud analüüside. Ma ei pea silmas mitte ainult kõiki neid analüüse, mida kirjeldatakse artiklis, vaid KÕIKI neid analüüse, mida tehti, enne kui kirjeldatavate tulemusteni jõuti.) Sellised tulemused ei tähenda mitte midagi, nad on valed.
Miks peaks teaduses midagi taolist juhtuma? Miks tehakse rohkem ja rohkem lisaanalüüse, et saada tulemusi (mis midagi ei tähenda)? Põhjus on selles, et teadussüsteem hindab uusi ja põnevaid avastusi, artiklitena avaldatakse ainult tulemusi. Ja doktorandid ja järeldoktorandid ja grupijuhid ja professorid on ka inimesed – doktorandid tahavad lõpetada oma doktoritööd ja saada edukat järeldoktorantuuri kohta, järeldoktorid võitlevad grupijuhtide ja professoripositsioonide pärast, grupijuhid ja professorid võitlevad rahastuse ja kuulsuse pärast. Ja kõik nad saavad seda, mida nad vajavad, ainult siis, kui nad avaldavad teadustulemusi. Probleem on selles, et praeguseni on kogu teadussüsteem üsna kiivas – tulemuseks loetakse ainult seda, kui leitakse mingi efekt (näiteks, et kahe katsetingimuse EEG-jäljed erinevad teineteisest). Tegelikult on aga nii, et kui katse on hästi läbi viidud ja analüüsid on õiged, siis on ka efekti mitteleidmine huvitav tulemus. Kuid tänasel päeval seda tulemuseks ei loeta – seda ei saa avaldada, selle eest ei anta doktorikraadi, seda ei saa panna CVsse, see ei too grandirahasid, see ei too tsiteeringuid.
Teadlased on inimesed, neil on inimlikud vead. Ja praegune teadussüsteem võimendab seda jura, mis nende inimlike vigade tõttu tekib – avaldatakse palju-palju pahna. Pea igaüks on nõus tegema lisaanalüüse (mida manuskriptis ei kirjeldata ja mida valepositiivsete hindamisel arvesse ei võeta), et leida mingi efekt. Efekti on võimalik artiklina avaldada. On inimlik natuke andmetega maadelda, et leida midagi ägedat, midagi seksikat, mille abil saada artikkel kas heasse ajakirja või siis lihtsalt, et üldse midagi – ükskõik mida – leida, et saada artikkel üldse – ükskõik millisesse – ajakirja. Me kõik saame ju aru, et kui keegi kogub 2 aastat katseandmeid ja ei leia ühtki efekti ja seega ei leia midagi, mida saaks artiklina avaldada, siis see on frustreeriv, see on raske. Ja inimlikult me saame isegi aru, kui siis natukene vaadatakse mööda tõenäosustest, tehakse lisaanalüüse, proovitakse andmetest midagi uut leida. Halval juhul ei saa ei noorteadlane ise ega ka grupijuht aru, et midagi valesti tehakse (kuna ei mõisteta tõenäosusi). Proovitakse uuesti, muudetakse analüüsis parameetreid. Filtreeritakse teisiti, kasutatakse teist sagedusteisendust, tehakse teist-tüüpi analüüsi. Proovitakse uuesti, võetakse kaks katseisikut välja, mõõdetakse kaks uut katseisikut. See ei ole mingi nali või hüpoteetiline lugu, vaid see on kirjeldus sellest, mida kõikjal maailmas tehakse. Ja ehkki see on teaduslikult vale, suudame me seda inimlikult mõista. Kui pole efekte, pole artikleid. Ja kui pole artikleid, jääb doktorikraad saamata, jääb lastele lõunasöök toomata, on võimalik saada järeldoktorikoht ainult kuskil kohas, millest keegi midagi varem kuulnud pole. Teadlased on inimesed, praegune teadussüsteem lüpsab neist välja halvima.
Seega on tore, et ka paljud minust targemad on aru saanud, et nii ei saa edasi minna. Nii jätkates ei ole enam võimalik teha teadust, sest teadusest saab pseudoteadus, show ja äri. Üks väga konkreetne idee selle jura peatamiseks on välja pakutud Chris Chambersi poolt ajakirjas Cortex – katsed registreeritakse enne läbiviimist, hüpoteesid ja täpsed meetodid pannakse projekti kirja, kirjeldatakse täpselt, kuidas viiakse läbi analüüs. Retsensendid hindavad seda katseplaani, annavad oma kriitika selle katseplaani kohta, kuid kui ta on hea – kui küsimus on tähtis, hüpoteesid on mõistlikud, meetodid on õiged ja statistiline analüüs on hästi läbi mõeldud -, võetakse artikkel “põhimõtteliselt vastu”. See tähendab, et kui teadlane viib katse läbi nii nagu katseplaanis kirjas ja analüüsib andmeid nii nagu katseplaanis kirjas, võetakse artikkel vastu hoolimata sellest, missugused on tulemused. Ükskõik, kas leitakse ägedad seksikad tulemused või ei leita mitte midagi, artikkel võetakse vastu.
Ma leian, et see on fantastiline lähenemine ja ma loodan, et kõik noored teadlased kasutavad seda võimalust, mida ajakiri Cortex pakub. See vabastab pingest leida midagi tähtsat, see vabastab survest, mis tuleb ülaltpoolt, see võimaldab teha teadust. Muidugi päris nii lihtne see pole, sest artiklite avaldamiseks valivad kohti ikkagi bossid ja just bossid on need, kes tahavad ägedaid seksikaid tulemusi – bossid on need, kes saavad aru, et Cortexi lähenemine on õige, kuid kes teavad ka, et kui tuleb negatiivne tulemus, siis isegi kui ta avaldatakse artiklina Cortexis, ei kogu negatiivne tulemus (enamasti) palju tsiteeringuid. Need on just bossid, kes vaatavad oma tsiteeringute arve ja tahavad veel ja veel ja veel … Niisiis on arvata, et Cortexi samm ei muuda koheselt suures plaanis midagi, aga kõik suured muutused algavad väikestest sammudest, seega suur kummardus Chris Chambersile. Loodan siiralt, et lähiaastatel saame ka ise midagi seal ajakirjas avaldada.
Loe ka Chris Chambersi enda blogipostitust antud initsiatiivist.
Teadvuse Suure Probleemi Lahendamine 
Hi – I just dropped in to say great post and thanks for the coverage of the Cortex initiative. The point you make about preregistration relieiving pressure and tension is very apt (I hope my translator captured your point correctly). Many of the scientists we have talked to expressed the same sentiment, that dropping our obsession with obtaining perfect results can help us get back to the main task: doing science.
Registered Reports launch on May 1st and we hope to get many submissions. If all goes well I hope we can see this model of publishing spread to other journals.
Ajakirjast Cortex:
Mingil ajavahemikul 1990-2000 aastatel oli Cortex kuulus või “kuulus” selle poolest, et käsikirja esitamisest avaldamiseni kulus kusagil 1.8 kuni 3 aastat (!). Umbes viimase 1-2 aasta jooksul on toimunud järsk muutus: avaldamiskiirus on järsult suurenenud ning ka ajakirja mõjutegur on hetkel päris hea. Hiljuti olin palutud Cortex’ile retsensendiks ja kogu protseduurist oli aru saada, et endist uimerdamist enam ei sallita (ehkki ise olin suhteliselt kiire nagu tavaliselt kombeks on olnud). Jaani poolt tutvustatud ettevõtmine lisab Cortexile veelgi kaalukust, näidates selle ajakirja edumeelsust. On ilmselt üks väike probleem — kasvanud kiirus, mõju ja uue tänuväärse formaadi üllitamine arvatavsti põhjustavad esitatavate käsikirjade tulva, mistõttu kiirus tulevikus ilmselt jälle kannatab (kui just Elsevier aastas rohkem ajakirjanumbreid — st trükiruumi ja – kulusid — toimetajale lubama ei hakka).
Paistab asjakohane viide: http://www.explosm.net/comics/3155/
Võib-olla see idee on hea mõne inimese jaoks mõnel teadusalal. Aga minu arust teadus pole selline ja ei peaks ka selline olema. Teadlased, nagu inimesed üldse, püüavad asjast aru saada, segaseid asju selgeks teha. Väga harva on sul mingi kindel hüpotees. Ja siis saad ka juba poole katse peal aru, et see hüptees oli loll. Aga millegipärast arvatakse, et teadus peab olema hüpoteeside kontrollimine. Ja kui üliõpilane teeb lihtsalt enda arust huvitava katse, et vaadata, mis see näitab, siis õpetaja käsib tal vormistada asi „teaduslikult“ ja mõelda tagantjärele välja mingi „hüpotees“ mida siis justkui kontrollitakse. Ja samasugust rumalat juttu ajavad sageli toimetajad, retsensendid ja teaduse rahastajad. Võimalik, et teaduse tegemise õpikuid kirjutavad need, kes pole ise midagi uurinud.
Vahetevahel muidugi tuleb ette ka hüpoteeside kontrollimist. Ja kui sa veenvalt lükkad ümber mõne üldtunnustatud hüpoteesi, siis see arvatavasti ka praegu avaldamata ja viitamata ei jää. Ja arvatavasti on sul siis ka juba mingi parem hüpotees olemasolevate andmete seletamiseks. Aga sellised artiklid, mille põhiliseks tulemuseks on üks statistiline „effekt“, ei tasu tavaliselt lugemise vaeva, ükskõik milline lugu sinna juurde on luuletatud.
Aga kui veidi tõsisemalt asja võtta, siis see “hüpotees-katse-tulemused” mudel siiski kirjeldab enamasti vaid loodus- ja sotsiaalteadusi, siis kui eesmärgiks on midagi kirjeldada. Kui eesmärgiks on normatiivsed väided (nt filosoofia, õigusteadus) siis tavaliselt ei alustata hüpoteesist ega jätkata katsetega.
Arvan, et ka negatiivse tulemuse saamine on väärtuslik. Seega katsed, kus ei saada tavamõistes statistiliselt olulisi erinevusi hüpoteesi kinnitamiseks/ümberlükkamiseks on siiski vajalik ennede tulemuste avaldamine ajakirjades. Nende “ebaõnnestunud” katsete väärtus kerkib eriti metaanalüütiliste andmete kokkuppanekul, kust ei tohikski olla kallutatust ainult positiivsete tulemuste poole. Näiteks on olemas ka mitmed negatiivsetele tulemustele orienteeritud ajakirjad nii meditsiinis kui ka ökoloogias.
Nõus, Priit. Negatiivsed tulemused on väga väärtuslikud – muuhulgas aitab see mul aega kokku hoida, kui ma näen, et keegi on juba minu ideega katse läbi viinud ja efekti mitte leidnud. Kui keegi on “minu” idee peale juba tulnud, efekti mitte leidnud, aga pole seda avaldanud (kuna efektide mitteleidmist ei võeta vastu), siis ma uurin kirjandust, järeldan võidukalt, et olen tulnud originaalse mõtte peale ja kaotan aasta enda ajast, et seda uurida.
Igal juhul näitavad just metaanalüüsid (vähemalt psühholoogias ja neuroteaduses) seda suurt “publitseerimiskallutust” (publication bias, avaldatakse pigem efektiga positiivseid tulemusi) ja viitavad muuhulgas ka võimalusele, et üsna suurt osa tulemustest muudetakse efektideks räpaste meetodite abil. Nimelt ilmneb metaanalüüse läbi viies, et on ootamatult palju katseid, mille tulemus on õige napilt signifikantne (statistiliselt oluline), justkui oleks keegi neid pisut üle statistilise olulisuse piiri aidanud, ja et paljude efektide statistiline jõudlus on väga madal, justkui oleks keegi katse nõrka statistilist jõudlust kuidagimoodi korvanud (või siis oli tegu lihtsalt õnnesärgis sündinud teadlastega, kes peaksid tihemini lotot mängima).
Kõik on õige. Siiski lisan ühe ääremärkuse, mida samuti tuleks arvestada. Psühholoogias ja muudes käitumisteadustes on uuritav objekt — inimene oma psüühika ja reageeringutega — sageli suurte individuaalsete erinevustega ning universaalseid efekte, mille p väärtus ning effect size on märkimisväärselt “head” on paljude uurimisküsimuste puhul raske leida. Ja seda mitte ilmtingimata seetõttu, et efekti ei olegi, vaid seetõttu, et sageli on mingi osa isikutest nö outlierid; viimast jällegi mitte seetõttu, et nad “valed/halvad” katseisikud oleksid, vaid et nad on ebatüüpilised või kuuluvad valimi sellisesse osasse, mis moodustabki populatsioonist nt 20% või 1/3. Seega ükskõik kui palju katseid juurde teha, efekt jääb ikkagi marginaalseks; vahel signifikantne olles, vahel mitte (ja seda nii ühe uurimisrühma raames kui ka uurimisrühmade vahel). (Põhjuseid, miks selline asi pole erand, vaid paljudel juhtudel reegel, on palju, eeelkõige jaotuvad nad muidugi keskkonnamõjude ja geenivariatiivsuse ja -ekspressiooni valda.) Seetõttu on sageli mõttekas mitte käega lüüa, vaid sügavamalt asja uurida ja asuda selgitama individuaalset efektide eripära, erinevaid võimalikke tüpoloogiaid. Mõistagi toob see sageli juurde veel järjekordse tüütu uue faktori, mis teeb eksperimentaatori elu veel “vastikumaks” ja statistilised analüüsid mahukamaks. Aga lõpptulemus võib olla kahekordselt väärtuslik. Esiteks me võime teada saada, et meile huvipakkuv (nt hüpoteesikohane) nähtus või omadus ikkagi on olemas (ehkki teatud tingimustel) ja tehtud töö pole raisku läinud. Teiseks on meil nüüd rikkam (täpsem, nüansirohkem teadmine). Kolmaski motiiv: sellises olukorras on üsna suur tõenäosus, et paljud ongi käega löönud ja mujale “jahti pidama” läinud, aga visa ja järjekindel olles nö lootusetu probleemi juures ja diferentseeritud, madalama taseme tüpoloogiaid eeldavat analüüsi tehes võib tõepoolest nugget’i leida.
Soovitus lähedastel teemadel: äsja ilmus Akadeemias Jüri Alliku kirjutis nõuannetega noortele teadlastele. Soovitan seda kindlasti lugeda, sest seal on palju õpetlikku ja kasulikku. Suure osaga kirjapandust olen minagi nõus. Siiski mõned kommentaarid Jüri jutule tunduvad asjakohased.
Teadus on aspektirohke kultuurivaldkond, kus põimuvad paljud nii sisulised empiirilise uurimisainega seotud küsimused, teadusfilosoofia küsimused ning kindlasti ka teaduspoliitika. Kõik nad on olulised. Ilmselt pole saladuseks seegi, et erinevate teadlaste jaoks on nendel aspektidel erinev kaal isikliku teadusliku karjääri prioriteete silmas pidades. Kas siis sügav teaduslik uudishimu mõne nähtuse loodusteaduslikult/sotsiaalteaduslikult adekvaatseks mõistmiseks või avastuse tegemiseks (sõltumata sellest, kui “seksikas” teema parajasti on või kui palju tsiteeringuid tuleb või kui suur on lootus saada finantsvahendeid), püüd leida vastuseid olemuslikele üldfilosoofiliste probleemidele (sõltumata ajakirja mõjutegurist, milles avaldatakse) või tahe teha edukat karjääri kuulsuse võtmes (näiteks oskuslikult toetusraha taotledes, valides uurimisteemasid ja koostööpartnereid lähtudes sellest, mis tõotab suuremat edu, luues häid suhteid poliitiliste võtmeisikutega vmt). Lisanduvad veel soov ja võime olla edukas teadusorganisaator tulemusliku kollektiivi ülesehitamisel jne. Ilmselt on nendel motiividel oma mõistlik proportsioon; absolutiseerida mõnda nendest oleks ebamõistlik või utoopiline. Küsimus on sellest, MILLINE on see proportsioon. Jüri artiklis on hästi ja tugevasti esindatud just teaduspoliitiline aspekt. Seda on kindlasti kasulik teada. Siiski võiks soovitada, et teadusest ei kaoks ka nö teadusromantikud, kes — enamasti väga hästi teades, kuidas tegelik teadus toimub ja toimib ka selle poliitilises mõttes ning hea tahtmise korral osates ka vastavaid “murumämge” mängida — löövad käega seltskonnapoliitikale, kasulike liitude loomisele, demagoogiakiusatusele. Paraku aga, püüdes jääda realistiks, tuleb tõdeda selle “tõu” hääbumist. Selliseid oma rada kõndijaid küll on, aga nende panus teadusse on muutunud omapäraseks, kulisside taga toimivaks. Olles teaduses olnud varsti 40 aastat julgen arvata, et saan teha üldistuse: nende “romantikute” roll on muutunud “lüpsilehma” rolliks. Nad pakuvad sageli vägagi häid teoreetilisi või eksperimentaalseid ideid, kuid tänu teaduspoliitilisele põikpäisusele (või naiivsusele) ei jõua ise nende najal olümpolsele, Need ideed lihtsalt võetakse üle (vahel ka otseselt varastatakse) eduoskusega teaduskollektiivide ja/või teadlaste poolt. Neil on lihtsalt rohkem jõudu, vahendeid, osavust, nähtavust. Muidugi võib väita, et teadus on avalik hüve ja egoistlik teadusisik, kes tahab oma ideid eranditult enda nimega siduda, teisi eirates, peabki saama “karistatud” ning et enda ideedega tulebki minna, “müts näpus”, koputama eduka “teaduskorporatsiooni” presidendi või CEO uksele. See on kindalsti võimalik ja sageli teadusele üldiselt mõeldes kasulikki. Aga …
Aitäh pika kommentaari eest. Jüri Alliku soovitused on ingliskeelse versioonina veebis vabalt kättesaadavad – http://blog.ut.ee/7-recipes-for-becoming-a-top-researcher/ + http://blog.ut.ee/4-new-recipes-for-becoming-a-top-researcher/ ; eesti keeles on esimesed 7 retsepti leitavad samuti veebist – http://www.novaator.ee/ET/inimene/aja_tegur_psuhholoogias/ .
Teaduse poliitilised ja majanduslikud aspektid väljenduvad selles, et teadustöö protsessi asemel keskendutakse tulemustele. Sellega kaasneb ambitsioonikate juhendajate poolt avaldatav surve ja (vahel külmaverelise kaalutluse, vahel meeleheite tõttu) erinevate nippide abil p väärtuste fiktiivne alandamine. Selline teaduskultuur on ilmselt sundinud paljusid noori teadusromantikuid teadusest lahkuma või pannud neid vähemalt selle peale mõtlema.
While I agree with the spirit of most of the ideas expressed here, I feel I have to raise the possibility that the publishing of negative results might actually be a counterproductive trend in certain fields. In my own line of work which focuses on single cell and network electrophysiology, it is very common for people to spend the first 1-3 years of their PhD just playing around with the preparation and fine-tuning the conditions under which you can get the prep to ‘behave’ interestingly. It is very tricky to decide at what point should you declare the experiment a failure, because it often happens that seemingly minor aspects of the technique- speed of entry into tissue, composition of recording solutions etc have a critical effect on prep behavior and this takes a while to find out. We publish positive results because we can be more easily sure that they are real effects, rather than just mistakes of the experimenter (of course the effects we are talking about are usually much stronger than just ‘statistically significant’). In my field, the right way to do experiments is to fuck around until you get something to sort of work, and then do enough experiments to make sure that the effect is certainly real. That is probably the part that is often missing in experimental psychology or monkey neuroscience. Experiments are tricky to do and nobody really wants to spend another 3 years training new monkeys to make sure that the effects of your initial data analysis were real. But that is exactly what you should do in an exploratory field like neuroscience. Do some preliminary experiments and analysis to ‘see what there is to see’, then choose a high enough n for your study to make sure that the effect you are finally looking at would be revealed beyond doubt. In my limited experience, negative results are even more likely to be bullshit then positive ones.