Teksasa izmantos AI vērtēšanas sistēmu, lai novērtētu valsts noteiktos eksāmenus

Teksasas izglītības aģentūra (TEA) savā vērtēšanas sistēmā pārbauda ģeneratīvo mākslīgo intelektu (Gen AI). Jaunajā vērtēšanas paņēmienā tiks izmantoti tērzēšanas roboti, piemēram, OpenAI ChatGPT, lai saprastu lietotājus un sazinātos ar tiem.

Teksasa šogad pieņems darbā daudz mazāk cilvēku vērtētāju, jo tā viņus aizstāj ar jaunu, ar AI darbinātu vērtēšanas sistēmu. Teksasas štata akadēmiskās gatavības novērtējuma (STAAR) eksāmeni varētu būt paraugs, lai aizstātu lielāko daļu greideru ar Gen AI.

Teksasas apmācības Gen AI vērtēšanas sistēma, lai aizstātu cilvēku vērtētājus

Tiek ziņots, ka Teksasas izglītības aģentūra ir apstiprinājusi, ka tā ir “automātiska vērtēšanas sistēma atvērtiem jautājumiem par Teksasas štata akadēmiskās gatavības novērtējumu lasīšanai, rakstīšanai, zinātnei un sociālajām studijām”.

Šā gada valsts noteiktie eksāmeni Teksasā būs vēsturiski. Skolēniem, kas šonedēļ ieradīsies uz STAAR eksāmeniem, būs daudz mazāk greideru nekā pagājušajā gadā. Dabiskās valodas apstrādes dzinējs, ko parasti sauc par ģeneratīvo AI, novērtēs lielāko daļu viņu atbilžu.

STAAR tests nosaka studentu izpratni par valsts noteikto mācību pamatprogrammu. Teksasas štats to pārveidoja pagājušajā gadā. Interesanti, ka testā tagad ir daudz mazāk jautājumu ar atbilžu variantiem. Teksasa tos ir aizstājusi ar “atvērtiem jautājumiem” vai “konstruētiem atbildes vienumiem”.

Saskaņā ar Teksasas tribīnejaunieviestajiem atvērtajiem jautājumiem būtu “sešas līdz septiņas reizes vairāk konstruētu atbilžu vienumu”.

Vienkārši sakot, šādiem atvērtiem jautājumiem ir vairākas pieņemamas atbildes, salīdzinot ar tikai vienu atbildi uz jautājumu ar atbilžu variantiem. Līdz ar to šādiem jautājumiem ir nepieciešams daudz vairāk laika un vērtētāju, lai iegūtu punktus, sacīja Hosē Rioss, Teksasas Izglītības aģentūras studentu vērtēšanas direktors.

Citiem vārdiem sakot, šie jautājumi ievērojami palielina vērtēšanas sarežģītību. Un šeit Gen AI patiesi spīd. Tādām platformām kā ChatGPT ir pierādīta pieredze atbildēs uz sarežģītiem vaicājumiem vairākos vienkāršības un dziļuma līmeņos.

Teksasa lēš, ka Gen AI katru gadu ietaupīs no 15 līdz 20 miljoniem USD

TEA ir apmācījusi Gen AI vērtēšanas sistēmu, izmantojot 3000 atbildes. Drošības nolūkos Gen AI tiek pakļauts atbildēm, kurām ir veiktas divas cilvēku vērtēšanas kārtas. Tiek ziņots, ka AI vērtēšanas dzinējs ir iemācījies atbildes raksturlielumus, un tas ir ieprogrammēts, lai piešķirtu tādus pašus punktus, kādus būtu piešķīris cilvēks.

Cilvēku greideri atkārtoti novērtēs ceturto daļu no visiem datorā novērtētajiem rezultātiem. Turklāt dažas atbildes, kas var sajaukt AI vērtēšanas sistēmu, piemēram, slengs vai atbildes, kas nav angļu valodā, tiks nodotas vērtētājiem.

TEA ir aprēķinājusi, ka tas ietaupīs USD 15–20 miljonus gadā, samazinot vajadzību pēc pagaidu cilvēkiem. Statistiski runājot, Teksasa šogad plāno pieņemt darbā mazāk nekā 2000 greideru. Vēl 2023. gadā Lone Star State bija nolīgusi aptuveni 6000 vērtētāju viena un tā paša eksāmena kārtošanai. Lieki piebilst, ka vairāki pedagogi pauduši bažas par jauno vērtēšanas tehniku.