A la intel·ligència artificial se li entravessen les PAU: ChatGPT només obté un 8,36 sobre 14

Les possibilitats que ofereix la intel·ligència artificial són tantes que fins i tot espanten. La nova sensació del món tecnològic es diu ChatGPT, un bot que se serveix de la IA perconversar amb els usuaris, donar resposta a multitud de preguntes complexes i fins i tot fer tasques sobre el llenguatge natural de manera precisa i coherent, com redactar tota mena de textos de manera creativa, de poemes a assajos. El bot conversacional d’OpenAI, fundada per Elon Musk, sorprèn per la seva capacitat creativa i intel·lectual, però els experts adverteixen que també reprodueix falsedats. En aquest sentit, un grup de professors de Jaén s’ha proposat posar a prova la capacitat de la intel·ligència artificial de ChatGPT sotmetent-lo als exàmens de les proves d’accés a la universitat (PAU). El resultat no és tan brillant com s’esperava: el xatbot ha obtingut una puntuació de 8,36 sobre 14.

Juan de Dios Marín, professor de màrqueting de l’institut Virgen del Carmen i promotor de l’estudi, explica que la idea va sorgir davant la democratització de l’ús d’aquesta intel·ligència artificial. L’objectiu era comprovar la seva utilitat i les fonts de les quals se serveix per elaborar una informació abans que els alumnes comencin a experimentar sols amb ella.

Per això, el grup de professors va decidir portar a terme aquesta investigació amb els exàmens de selectivitat. El ChatGPT ha hagut de respondre a preguntes reals i d’exàmens actuals davant la presència dels professors que van participar del tribunal de les últimes PAU sobre sis matèries diferents: anglès, matemàtiques aplicades, castellanà, història d’Espanya, economia de l’empresa i filosofia.

No podria estudiar les carreres més demandades

Amb la nota de cort obtinguda, un 8,36 sobre 14, es quedaria a les portes de moltes de les carreres més demandades a Catalunya, com Medicina i Biomedicina, Infermeria, es doble grau de Dret i Administració d’Empreses, Psicologia, Fisioteràpia i diverses enginyeries, com la Informàtica.

Marín ha explicat que els resultats obtinguts han seguit els criteris d’avaluació de les PAU del 2022 de la Universitat de Jaén, als quals no tenia accés la IA, «ja que ChatGPT està entrenat fins al 2021». El bot ha superat la selectivitat «amb les seves llums i ombres». D’una banda, ha aconseguit una puntuació de 9 en anglès, «una nota que indica que té un coneixement sòlid de la gramàtica i la sintaxi de l’idioma», asseguren els professors.

«El bot no està preparat per realitzar representacions gràfiques»

«El bot no està preparat per realitzar representacions gràfiques»No obstant, en les altres matèries les puntuacions van ser molt més baixes: 2,5 en matemàtiques, 2,75 en química, 6 en llengua castellana, 4 en història d’Espanya, 5,5 en economia i 5,5 en filosofia, mentre que en biologia ha tret un 8,8. Marín considera que «com que el xat està pensat per desenvolupar una conversa amb una persona, les notes han sigut millors en assignatures de lletres», però en canvi «no està preparat per realitzar representacions gràfiques, per això ha suspès matemàtiques.

Malgrat que ChatGPT va demostrar tenir un bon coneixement de la gramàtica i la sintaxi, els professors que han participat en la correcció van concloure que les respostes de la IA eren superficials i que no citava les seves fonts. La intel·ligència artificial d’OpenAI no ha utilitzat un llenguatge tècnic i ha tractat els temes de manera massa general, sense mostrar un pensament crític ni una opinió personal. En alguns casos fins i tot semblava que s’inventava els resultats per fer les seves respostes més coherents.

Notícies relacionades

Elena Gil Lizasoain : "Les empreses se’n poden beneficiar, però la IA no és la resposta a tots els problemes"

¿Quins reptes comporta l’ús d’IA?

«És important destacar que a ChatGPT se li han proporcionat les preguntes sense cap tipus de context o informació addicional. Això pot haver influït en la seva capacitat per respondre amb profunditat i, per tant, en els seus resultats», ha assenyalat Marín, que creu que si li haguessin donat un context, com per exemple dir-li que està fent un examen de química, hauria trobat més dades.

Els professors entenen que la investigació demostra que, malgrat el gran avenç de la intel·ligència artificial, «encara hi ha molt a fer abans que les màquines puguin competir amb els éssers humans en termes de coneixement i pensament crític».