PISA (Programme for International Student Assessment) er alþjóðleg könnun á vegum Efnahags- og framfarastofnunarinnar (OECD) sem mælir lesskilning 15 ára nemenda og læsi þeirra á stærðfræði og náttúruvísindi. PISA er lögð fyrir á þriggja ára fresti og tilgangur PISA er að mæla hvort nemendur sem eru við það að ljúka skólaskyldu námi hafi öðlast þá þekkingu og færni sem gerir þeim kleift að taka fullan þátt í samfélaginu. PISA leggur sérstaka áherslu á að meta hvort nemendur geti yfirfært það sem þeir læra í skóla yfir á ný verkefni og nýjar aðstæður.  

Niðurstöður úr PISA veita þátttökulöndum áreiðanlegar upplýsingar um þekkingu og færni nemenda á lykilsviðum náms, ásamt viðhorfum þeirra og venjum tengdum námi, með reglulegu millibili.  Þátttökulönd geta þannig bæði fylgst með þróun á stöðu eigin nemenda og séð hvernig þeir standa í alþjóðlegum samanburði. 

PISA einbeitir sér fyrst og fremst að mati á frammistöðu nemenda í lesskilningi, stærðfræði og náttúruvísindum, því það eru undirstöðugreinar í skyldunámi nemenda. PISA safnar líka mikilvægum upplýsingum um viðhorf nemenda og áhuga, metur færni á formlegan hátt, eins og til dæmis getu til samvinnu við þrautaúrlausnir og kannar tækifæri til þess að meta aðra mikilvæga hæfni sem er til dæmis tengd almennri færni, sköpunargáfu og frumkvæði. PISA notast við efni sem finna má í námskrám um allan heim og lýtur að getu nemenda til að beita þekkingu og færni og til að greina, rökstyðja og miðla upplýsingum á skilvirkan hátt á meðan þeir skoða, túlka og leysa verkefni. PISA mælir hvorki fyrir um né styður neina eina námskrá, né er könnuninni beitt til að finna samnefnara.

Í hverri könnun PISA er lögð sérstök áhersla á eitt þriggja matssviða og í PISA 2018 var lesskilningur í brennidepli.

PISA notast fyrst og fremst við krossaspurningar í könnunum sínum því þær eru áreiðanlegar, skilvirkar og auðvelda vísindalegar greiningar. Krossaspurningar PISA eru margbreytilegar í sniði, allt frá því að beina athygli að einu orði í texta, tengja saman upplýsingar eða velja rétt svar úr lista yfir mörg möguleg svör. Um þriðjungur spurninga í PISA-könnunum eru opnar spurningar þar sem nemandinn þarf að tjá svar sitt í eigin orðum og sérþjálfað starfsfólk metur svo samkvæmt stöðluðum viðmiðum. 

Á heimasíðu OECD er hægt að skoða verkefni úr lesskilningshluta PISA 2018 á öllum tungumálum. Sýniverkefnin voru ýmist hluti af forprófun eða aðalprófun PISA 2018 en voru ekki notuð í útreikningi á frammistöðu nemenda. Þar er að finna íslenskar útgáfur af verkefnunum Spjallsíða um kjúklinga og Rapa Nui en yfirlit yfir verkefnin er að finna hér.

 

Aðalmarkmið PISA er að veita yfirvöldum í þátttökulöndum upplýsingar og stuðning við ákvarðanatöku sem snýr að stefnumótun í menntamálum. Könnun sem lögð er fyrir á þriggja ára fresti sér löndum fyrir reglubundnum upplýsingum  (gögn og greiningar) sem nýta má til þess að móta stefnu og framkvæmdaáætlanir. Ef könnunin væri tíðari  myndi ekki nægur tími gefast  til þess að sjá áhrif inngripsins og ef hún væri sjaldnar lögð fyrir yrði ekki hægt að bregðast nógu hratt við versnandi frammistöðu. Meðalaldurinn (fimmtán ár) var valinn vegna þess að á þessum aldri nálgast flestir unglingar í aðildarríkjum OECD lok skyldunáms. Úrtak skóla og nemenda er eins víðtækt og mögulegt er til þess að það endurspegli bakgrunn og getu nemenda í hverju landi eins vel og kostur er.

OECD leitast við að bera kennsl á stefnur og starfshætti sem virðast virka í löndum sem sýna góða frammistöðu eða hafa sýnt merki um miklar framfarir í PISA-könnunum gegnum árin. Stofnunin gefur út skýrslu um athuganir sínar og styður við bakið á þeim löndum sem vilja nýta sér reynslu annarra ríkja. Efnahags- og framfarastofnunin er mjög meðvituð um að aðstæður eru mjög mismunandi í þátttökulöndum (um 80 lönd tóku þátt í PISA árið 2018). Sama kennslulíkanið hentar ekki alls staðar. Það er hvorki mögulegt né við hæfi að taka menntakerfi eins lands og innleiða það óbreytt í öðru landi.

Í könnun á vegum OECD frá 2012 í þátttökuríkjum PISA kemur fram að mikill meirihluti svarenda sagði að menntastefnur þeirra ríkja sem standa sig vel í könnuninni eða sýna miklar framfarir, hefðu haft áhrif á þeirra eigin stefnumótun. Svipaður fjöldi svarenda gaf líka til kynna að PISA hefði haft áhrif á þróun nýrra þátta í námsmati. Margir sögðu einnig að kenningarammar PISA hefðu verið bornir saman við aðalnámskrá í heimalandinu. Þeir hefðu haft áhrif á námskrárgerð, námsmat og mótun á sameiginlegum stöðlum á landsvísu, mótun viðmiða um lestur, innleiðingu hæfniviðmiða í þeirra eigin námskrám sem svipar til PISA og við að setja upp hæfnistaðla.

Á vef OECD og í útgefnu efni stofnunarinnar er að finna allar lykilupplýsingar um þær aðferðir og úrvinnslu sem liggja að baki PISA-könnununum og er efnið aðgengilegt almenningi. Þar má finna kenningaramma sem útskýra hvað PISA metur, hvers vegna og hvernig matinu er háttað, dæmi um prófspurningar og spurningalista og ítarlega skýrslu fyrir hverja könnun sem inniheldur nákvæmar tæknilegar upplýsingar um allar hliðar mats og greiningar. Þar er einnig að finna gagnagrunna með niðurstöðum úr PISA og leiðbeiningar um notkun þeirra sem rannsakendur geta nýtt sér við frekari greiningar og athuganir á gögnunum.  OECD birtir einnig handbækur um framkvæmd könnunarinnar, gæðastaðla í þýðingum, og aðrar mikilvægar upplýsingar. Auk starfsmanna og verktaka OECD taka hundruð sérfræðinga og fræðimanna frá þátttökulöndum þátt í þróun kannananna, greiningu þeirra og skýrslugerð. Ítarefni um þessa aðila má finna bæði í PISA-skýrslum og á vefsíðu OECD um PISA.

Í öllum rannsóknum þar sem sömu spurningar eru lagðar fyrir á ólíkum tungumálum og er ætlað að mæla sömu þekkingu eða hæfni þarf að vanda þýðingar til að tryggja áreiðanleika og samanburðarhæfni.

Öllum þátttökulöndum í PISA er gert að fylgja gæðastöðlum OECD við þýðingar PISA-prófverkefna og spurninga. Þýðendur þáttökulanda fylgja ítarlegum þýðingarleiðbeiningum OECD sem miða að því að samræmi á milli frumtexta og þýðinga sé eins gott og kostur er og að prófverkefni reyni á sömu þekkingu eða hæfni á frummáli og í þýðingu.

Verklagið er þannig að tveir þýðendur þýða frumtexta hvor í sínu lagi með hliðsjón að leiðbeiningum OECD. Úr verða tvær svipaðar þýðingar yfir á tungumál viðkomandi lands, sem þriðji þýðandi vinnur svo með, velur og hafnar, eða endurþýðir, einnig með tilliti til leiðbeininga OECD. Frumtexti PISA-verkefna er til bæði á ensku og frönsku og lönd þýða ýmist úr báðum málum eða eingöngu úr ensku, en hafa þá tækifæri til að hafa franska þýðingu til hliðsjónar.

Þýðingarferlinu lýkur með því að fjórði þýðandi, á vegum PISA, sem oftast hefur einnig sérþekkingu á viðkomandi efni, ber saman þýðingu og frumtexta, og tryggir að leiðbeiningum hafi verið fylgt og að frumútgáfa sé sambærileg þýddri útgáfu verkefnis eða spurningar.  

Að loknum þýðingum eru öll nýþýdd prófverkefni forprófuð (lögð fyrir stórt úrtak nemenda í tilraunaskyni) og frammistaða í hverju verkefni skoðuð. Ef teljanleg frávik mælast í frammistöðu í ákveðnu verkefni er þýðingin skoðuð sérstaklega og ef þýðingarmistök koma í ljós þrátt fyrir ofangreindar ráðstafanir er þýðingin leiðrétt áður en aðalprófun fer fram. 

Þýðendur íslensku lesskilningverkefnanna í PISA 2018 voru löggiltir þýðendur með langa reynslu, bæði af þýðingum og af kennslu í grunnskólum. Þýðandi sem vann að samræmingu þýðinganna tveggja var löggiltur þýðandi og íslenskufræðingur. 

Gæðastaðla, þýðingarferli og leiðbeiningar OECD til þýðenda prófverkefna má kynna sér nánar í væntanlegu riti OECD, PISA 2018 Technical Report. 

Megintilgangur PISA er að gefa heildarmynd af þekkingu og færni nemenda í þátttökulöndum við lok skólaskyldu þeirra. Skipulag og tölfræðilegur grunnur könnunarinnar miðar fyrst og fremst að því að veita slíka heildarmynd, sem kemur beint niður á nákvæmni og áreiðanleika í mati á einstökum nemendum. Þetta hefur það í för með sér að PISA er ekki til þess fallin að veita áreiðanlegar upplýsingar um frammistöðu fámennra nemendahópa eins og þeirra sem tilheyra einstökum skólum.

Í stuttu máli er ástæðan sú að PISA dreifir stóru mengi verkefna á heildarúrtak nemenda í hverju landi til að ná sem best utan um sem flesta ólíka fleti á hæfni þeirra. Þannig getur verið misjafnt hvaða prófverkefni, og af hvaða sviðum, einstakir nemendur taka í PISA, jafnvel innan sama skóla. Niðurstöður fyrir einstaka skóla geta þannig gefið ónákvæma eða jafnvel skakka mynd af raunverulegri hæfni og getu nemenda þeirra.