Oppimistulosten mediaseuranta

Mitä ongelmaa ratkaistiin?

PISA-tutkimuksissa ilmenneiden oppimistulosten laskun syiden selvitystä ja oppimistulosten parantamista varten on perustettu työryhmä. Sen tehtävänä on toteuttaa selvitys, jossa etsitään oppimistulosten laskuun vaikuttavia syitä sekä esitetään ratkaisuja oppimistulosten parantamiseksi. Työryhmän jäsen opetus- ja kulttuuriministeriöstä oli kiinnostunut mediassa käytävästä keskustelusta oppimistulosten laskuun liittyen.

Mitä tehtiin?

Toimeksiantajalta saatiin analysoitavaksi aineisto, joka sisälsi noin 370 uutisartikkelia PISA-tutkimuksen tuloksista Suomessa. Suurin osa aineistosta analysoitiin muodostamalla uutisartikkeleista tekstiaineisto, johon hyödynnettiin tekstianalytiikkaa. Yleiskuvaa aineistosta muodostettiin puhdistamalla aineistosta ei-merkityksellisiä sanoja ja visualisoimalla aineistosta löytyvien sanojen toistuvuuksia. Oppimistulosten laskun syitä ja ratkaisuja etsittiin TF-IDF(TermFrequency-InverseTermFrequency)- ja KWIC(KeyWord-In-Contexts)-analyysien avulla. TF-IDF-analyysin tavoitteena on etsiä sanoja, jotka toistuvat useassa artikkelissa, muttei yhdessä artikkelissa usein. KWIC-analyysi poimii annetuilla hakutermeillä löytyvät maininnat artikkeleista.

Lisäksi muodostettiin 20 uutisartikkelin testiaineisto, josta syitä ja ratkaisuja haettiin hyödyntämällä valtiokonttorin Azure-ympäristöön rakennetua OpenAI:n tarjoamaa laajaa kielimallia. Analyysien tuloksia verrattiin artikkeleissa mainittuihin syihin ja ratkaisuihin, joita opetus- ja kulttuuriministeriössä oli poimittu manuaalisesti.

Mitä saavutettiin?

Tekstianalytiikalla saatiin muodostettua nopeasti yleiskuva aineiston aihesisällöistä sekä onnistuttiin osittain löytämään oppimistulosten laskuun vaikuttavia syitä ja niihin ratkaisuehdotuksia. Haasteena oli kuitenkin löytää syyt ja ratkaisut kattavasti koko aineistosta.

Laaja kielimalli onnistui generoimaan manuaalista läpikäyntiä vastaavia tuloksia melko kattavasti. Kielimallinkin osalta haasteena oli löytää kaikki artikkeleissa luetellut syyt ja ratkaisut. Tätä ongelmaa onnistuttiin kuitenkin eliminoimaan melko hyvin kyselyparametrejä säätämällä.