Spurt og svarað um PISA

  • Hvað er PISA?

    PISA (Programme for International Student Assessment) er alþjóðleg könnun á vegum Efnahags- og framfarastofnunarinnar (OECD) sem mælir lesskilning 15 ára nemenda og læsi þeirra á stærðfræði og náttúruvísindi. PISA er lögð fyrir á þriggja ára fresti og tilgangur PISA er að mæla hvort nemendur sem eru við það að ljúka skólaskyldu námi hafi öðlast þá þekkingu og færni sem gerir þeim kleift að taka fullan þátt í samfélaginu. PISA leggur sérstaka áherslu á að meta hvort nemendur geti yfirfært það sem þeir læra í skóla yfir á ný verkefni og nýjar aðstæður.  

    Niðurstöður úr PISA veita þátttökulöndum áreiðanlegar upplýsingar um þekkingu og færni nemenda á lykilsviðum náms, ásamt viðhorfum þeirra og venjum tengdum námi, með reglulegu millibili.  Þátttökulönd geta þannig bæði fylgst með þróun á stöðu eigin nemenda og séð hvernig þeir standa í alþjóðlegum samanburði. 

  • Hvað metur PISA og hvers vegna?

    PISA einbeitir sér fyrst og fremst að mati á frammistöðu nemenda í lesskilningi, stærðfræði og náttúruvísindum, því það eru undirstöðugreinar í skyldunámi nemenda. PISA safnar líka mikilvægum upplýsingum um viðhorf nemenda og áhuga, metur færni á formlegan hátt, eins og til dæmis getu til samvinnu við þrautaúrlausnir og kannar tækifæri til þess að meta aðra mikilvæga hæfni sem er til dæmis tengd almennri færni, sköpunargáfu og frumkvæði. PISA notast við efni sem finna má í námskrám um allan heim og lýtur að getu nemenda til að beita þekkingu og færni og til að greina, rökstyðja og miðla upplýsingum á skilvirkan hátt á meðan þeir skoða, túlka og leysa verkefni. PISA mælir hvorki fyrir um né styður neina eina námskrá, né er könnuninni beitt til að finna samnefnara.

    Í hverri könnun PISA er lögð sérstök áhersla á eitt þriggja matssviða og í PISA 2022 var stærðfræðilæsi í brennidepli.

  • Hvers konar verkefni eru notuð í PISA og hvers vegna?

    PISA notast fyrst og fremst við krossaspurningar í könnunum sínum því þær eru áreiðanlegar, skilvirkar og auðvelda vísindalegar greiningar. Krossaspurningar PISA eru margbreytilegar í sniði, allt frá því að beina athygli að einu orði í texta, tengja saman upplýsingar eða velja rétt svar úr lista yfir mörg möguleg svör. Um þriðjungur spurninga í PISA-könnunum eru opnar spurningar þar sem nemandinn þarf að tjá svar sitt í eigin orðum og sérþjálfað starfsfólk metur svo samkvæmt stöðluðum viðmiðum. 

    Á heimasíðu OECD er hægt að skoða verkefni úr stærðfræðilæsi á öllum tungumálum. Sýniverkefnin voru ýmist hluti af forprófun eða aðalprófun PISA 2022 en voru ekki notuð í útreikningi á frammistöðu nemenda.

     

  • Hvers vegna er PISA-könnunin lögð fyrir á þriggja ára fresti og hvers vegna eru fimmtán ára gamlir nemendur metnir?

    Aðalmarkmið PISA er að veita yfirvöldum í þátttökulöndum upplýsingar og stuðning við ákvarðanatöku sem snýr að stefnumótun í menntamálum. Könnun sem lögð er fyrir á þriggja ára fresti sér löndum fyrir reglubundnum upplýsingum  (gögn og greiningar) sem nýta má til þess að móta stefnu og framkvæmdaáætlanir. Ef könnunin væri tíðari  myndi ekki nægur tími gefast  til þess að sjá áhrif inngripsins og ef hún væri sjaldnar lögð fyrir yrði ekki hægt að bregðast nógu hratt við versnandi frammistöðu. Meðalaldurinn (fimmtán ár) var valinn vegna þess að á þessum aldri nálgast flestir unglingar í aðildarríkjum OECD lok skyldunáms. Úrtak skóla og nemenda er eins víðtækt og mögulegt er til þess að það endurspegli bakgrunn og getu nemenda í hverju landi eins vel og kostur er.

  • Hvernig get ég aflað mér frekari upplýsinga um PISA-könnunina og hver þróar hana?

    Á vef OECD og í útgefnu efni stofnunarinnar er að finna allar lykilupplýsingar um þær aðferðir og úrvinnslu sem liggja að baki PISA-könnununum og er efnið aðgengilegt almenningi. Þar má finna kenningaramma sem útskýra hvað PISA metur, hvers vegna og hvernig matinu er háttað, dæmi um prófspurningar og spurningalista og ítarlega skýrslu fyrir hverja könnun sem inniheldur nákvæmar tæknilegar upplýsingar um allar hliðar mats og greiningar. Þar er einnig að finna gagnagrunna með niðurstöðum úr PISA og leiðbeiningar um notkun þeirra sem rannsakendur geta nýtt sér við frekari greiningar og athuganir á gögnunum.  OECD birtir einnig handbækur um framkvæmd könnunarinnar, gæðastaðla í þýðingum, og aðrar mikilvægar upplýsingar. Auk starfsmanna og verktaka OECD taka hundruð sérfræðinga og fræðimanna frá þátttökulöndum þátt í þróun kannananna, greiningu þeirra og skýrslugerð. Ítarefni um þessa aðila má finna bæði í PISA-skýrslum og á vefsíðu OECD um PISA.

  • Hvernig eru PISA-prófverkefnin þróuð og þýdd? Eru prófverkefnin erfiðari á einu tungumáli en öðru?

    Prófverkefni í PISA taka mið af kenningaramma hvers sviðs og þátttökulönd hafa kost á að senda inn tillögur að nýjum verkefnum. Þegar verkefni hafa verið valin veita lönd endurgjöf sem nýtist meðal annars til að tryggja að það halli ekki á nemendur vegna menningarbundinna umfjöllunarefna.

    Í rannsóknum þar sem sömu spurningar eru lagðar fyrir á ólíkum tungumálum og er ætlað að mæla sömu þekkingu eða hæfni þarf að vanda þýðingar til að tryggja áreiðanleika og samanburðarhæfni. Þátttökulöndum PISA er gert að fylgja ferlum og stöðlum OECD við þýðingar PISA-prófverkefna og spurninga  Þýðendur þátttökulanda fylgja ítarlegum þýðingarleiðbeiningum sem miða að því að samræmi á milli frumtexta og þýðinga sé eins gott og kostur er og að prófverkefni reyni á sömu þekkingu eða hæfni á frummáli og í þýðingu. Verklagið er þannig að tveir þýðendur þýða frumtexta hvor í sínu lagi með hliðsjón af leiðbeiningum OECD. Úr verða tvær svipaðar þýðingar yfir á tungumál viðkomandi lands, sem þriðji þýðandi vinnur svo með, velur og hafnar, eða endurþýðir, einnig með tilliti til leiðbeininga OECD. Frumtexti PISA-verkefna er til bæði á ensku og frönsku og lönd þýða ýmist úr báðum málum eða eingöngu úr ensku en hafa þá tækifæri til að hafa franska þýðingu til hliðsjónar.

    Þýðingar á nýjum stærðfræðiverkefnum í PISA 2022 á Íslandi voru úr ensku en frönsk þýðing var höfð til hliðsjónar. Þýðendur höfðu íslenskt námsefni fyrir unglingastig grunnskóla í stærðfræði til hliðsjónar í þýðingum. Lögð var áhersla á að huga að lesendahópnum og forðast að nota að óþörfu sjaldgæfari orð eða orðasambönd sem ólíklegra er að 15 ára nemendur hafi heyrt eða lesið. Þátttökulönd fá einnig tækifæri til aukayfirlesturs með tilliti til réttrar hugtakanotkunar og samræmis við innlent námsefni. Öll ný verkefni í stærðfræðilæsi í PISA 2022 voru lesin yfir af sérfræðingum í stærðfræði og stærðfræðimenntun af Menntavísindasviði Háskóla Íslands og tillit tekið til athugasemda þeirra.   Fjórði þýðandi á vegum OECD les að lokum yfir prófverkefni og spurningar og tryggir að leiðbeiningum hafi verið fylgt og að frumútgáfa sé sambærileg þýddri útgáfu. Lokayfirlestur á verkefnum og spurningum er svo í höndum þátttökulands.

    Að þýðingum loknum eru öll nýþýdd prófverkefni forprófuð (lögð fyrir stórt úrtak nemenda í tilraunaskyni) og tölfræði fyrir hvert virkni allra verkefna  skoðuð. Ef teljanleg frávik sjást í tilteknu verkefni er þýðingin skoðuð sérstaklega og ef þýðingarvillur koma í ljós er þýðing leiðrétt áður en aðalprófun fer fram.

    Gæðastaðla, þýðingarferli og leiðbeiningar OECD til þýðenda prófverkefna má kynna sér nánar í væntanlegu riti OECD, PISA 2022 Technical Report. 

  • Metur PISA frammistöðu í einstökum skólum? Er hægt að skoða hvernig skólar standa sig í PISA?

    Megintilgangur PISA er að gefa heildarmynd af þekkingu og færni nemenda í þátttökulöndum við lok skólaskyldu þeirra. Skipulag og tölfræðilegur grunnur könnunarinnar miðar fyrst og fremst að því að veita slíka heildarmynd, sem kemur beint niður á nákvæmni og áreiðanleika í mati á einstökum nemendum. Þetta hefur það í för með sér að PISA er ekki til þess fallin að veita áreiðanlegar upplýsingar um frammistöðu fámennra nemendahópa eins og þeirra sem tilheyra einstökum skólum.

    Í stuttu máli er ástæðan sú að PISA dreifir stóru mengi verkefna á heildarúrtak nemenda í hverju landi til að ná sem best utan um sem flesta ólíka fleti á hæfni þeirra. Þannig getur verið misjafnt hvaða prófverkefni, og af hvaða sviðum, einstakir nemendur taka í PISA, jafnvel innan sama skóla. Niðurstöður fyrir einstaka skóla geta þannig gefið ónákvæma mynd af því hvernig hæfni og geta nemenda þeirra þróast yfir tíma.