IA: blestem sau oportunitate?
În ultima vreme am tot auzit o grămadă de colegi de generație care lucrează în mediul universitar plângându-se de faptul că IA le-a distrus capacitatea de a evalua studenții, fiindcă astăzi toți își scriu eseurile cu ChatGPT.
De fapt, lucrurile nu sunt chiar așa de tragice. IA poate fi, deopotrivă, un blestem și o oportunitate pentru ei și pentru studenții lor. Pentru ei, ca profesori, cea mai mare oportunitate e că au posibilitatea să respire adânc, să-și șteargă lacrimile, să accepte realitatea și să învețe ei înșiși să folosească IA în așa fel încât să-i ajute fix la ceea ce se plâng că îi încurcă: la evaluarea studenților.
Bunăoară, iată ce răspunsuri interesante am primit eu de la cele opt instrumente IA pe care le folosesc în mod constant atunci când le-am dat să „ronțăie” următorul prompt:
„Am foști colegi de facultate (sunt absolvent de filozofie) care au ajuns profesori universitari și azi se plâng că toți studenții își fac eseurile cu ChatGPT. Practic, ei nici nu mai pot evalua studenții, nici nu-i mai pot nota corespunzător, deoarece aceștia vin cu eseuri gata făcute cu ChatGPT. Ce i-ai sfătui să facă în așa fel încât studenții să nu mai poată apela așa ușor la ChatGPT?”
În total am primit peste 25 de sugestii, care pot fi grupate în câteva categorii:
A. Soluții sadice propuse de IA: examene clasice
A. 1. Accentul pus pe examenele orale. Acesta e cel mai sadic sfat și, probabil, soluția pentru care studenții îi vor urî cel mai tare pe profesori. Variațiuni: prezentări în clasă, seminare interactive etc. Dar e și cel mai simplu de implementat: nu mai vrei să fii „păcălit” de studenți? Ascultă-i la oral.
A. 2. Examen scris. Un sfat aproape la fel de sadic pe care îl oferă, practic, toate instrumentele consultate. „Copii, o foaie de hârtie și scoateți pixu'...”.
B. Soluții intermediare: examinarea procesului, nu doar a rezultatului final
Să zicem că profesorul ține morțiș să le ceară studenților compunerea unui eseu.
B. 1. Se poate lega cerința de o experiență personală hiper-recentă („Analizează conceptul de imperativ categoric al lui Kant prin prisma experienței tale de tânăr ucrainean care a fugit de războiul de acasă.”), de discuții concrete de la clasă („Dezvoltă argumentul x prezentat de colegul cutare la seminarul de data trecută.”) sau - asta adaug eu - de o carte sau un articol de specialitate foarte, foarte nou (pe care, practic, niciun IA nu a avut timp să-l integreze în mințișoara lui).
Practic, IA nici nu se va putea pune în pielea studentului, nici nu va ști ce anume s-a discutat la seminar sau la lecția anterioară, nici nu va avea de unde să aibă habar de conținutul cutărui articol de specialitate recent. Cel mai probabil va începe să „halucineze”.
IA abordează limbajul probabilistic. Atunci când un instrument IA formulează o propoziție, el de fapt calculează o serie de probabilități care îi zic ce cuvânt să urmeze după alt cuvânt. Când probabilitățile nu sunt suficiente de sigure, se produce „halucinația”. E fix ca un student prins cu fofârlica. Vrea să spună ceva, poate că își aduce aminte, vag, ceva, din ceea ce ar trebui să spună, dar la final din gura lui ies numai prostii.
B. 2. Se poate pune accentul pe procesul scrierii.
Când eram eu student (în anii 1990) unul dintre profesorii care lucrau cel mai mult cu noi la seminare era M. R. Solcan. Acesta avea obiceiul să te noteze „pe eseu” - fix de ceea ce se plâng profesorii acum.
Însă scrierea unui eseu la Solcan nu era așa de simplă. Mai întâi trebuia să-ți alegi un subiect oarecare, unul care îți făcea ție plăcere și care avea legătură cu subiectul cursului (Solcan preda „Filozofie politică”). Apoi trebuia să prezinți un draft și să discuți cu profesorul, care era și titular la seminar, conținutul pe larg al eseului. După care începeai să scrii și prezentai variantele succesive ale eseului. Tot procesul se desfășura de-a lungul unui semestru. Solcan lua eseurile săptămâna asta și le aducea data viitoare colorate ca la circ: folosea vreo patru markere diferite și trebuia să știi că galbenul reprezintă ideile insuficient dezvoltate, roșul ideile la care nu ai precizat sursele, verdele argumentele interesante etc. În funcție de acest cod de culori refăceai eseul și îl aduceai iar, după care îl primeai din nou, citit și colorat. În total, pe parcursul unui trimestru erau șase asemenea iterații, dar adevărul e că toți cei care rezistau până la final chiar reușeau să producă un eseu cu adevărat interesant pe tema pe care o aveau în vedere.
Bineînțeles, în acest caz niciun ChatGPT nu-l poate ajuta cu adevărat pe student dacă nu știe despre ce e vorba. Iar dacă știe... foarte bine dacă utilizează un instrument IA! Ca să fie sigur că e stăpân pe situație, profesorul poate impune doar o listă limitată de posibile referințe bibliografice, una care să fie ușor de verificat, deoarece s-a observat că instrumentele IA halucinează foarte mult la referințele bibliografice. „Dezvoltă argumentul cutare / prezintă problema cutare folosindu-te numai de cărțile / articolele / autorii x, y, z.” (de preferință cărți, articole, autori cât mai recenți). Dacă LLM-ul a halucinat, adică studentul a folosit ChatGPT, poate fi „prins” imediat. Profesorul poate cere scrierea draftului la clasă, pentru a fi sigur că studentul a gândit cu capul lui subiectul pe care vrea să-l dezvolte.
C. Soluții de secol XXI - integrați IA, că nu vă mușcă!
Nu e nimic de speriat în felul în care funcționează instrumentele IA, însă ceea ce trebuie să înțelegem cu toții e că ele sunt astfel programate încât scopul lor nu e mimarea excelenței, ci înlocuirea mediocrității.
Cum așa?
Păi, foarte simplu. IA - indiferent că vorbim de LLM-uri, adică modele de limbaj, sau IA orientate către imagine, sunet (muzică) sau video - au la bază un principiu simplu: ele abordează probabilistic limbajul, sau ceea ce au ele de făcut (imagini, sunete...), și, practic, „calculează” permanent ce frânturi de cuvinte și ce părți de vorbire au șansele cele mai ridicate de a se afla undeva anume în frază, la un moment dat. Ele nu sunt niște mașinării gânditoare, în sensul gândirii unui om, ci niște mașinării probabilistice care și-au ajustat parametrii de înțelegere a limbajului, și diversele tipare de vorbire, pe cantități uriașe de texte. Din acele calcule probabilistice se nasc frazele coerente pe care le vedem noi. Într-un fel, lucrul acesta e fascinant pentru că, la prima vedere, nu te-ai gândi că limbajul poate fi abordat probabilistic. Și totuși despre asta e vorba.
Și totuși, aici e și „călcâiul lui Ahile” al acestor LLM-uri, pentru că noțiunea pe care se bazează o atare abordare a limbajului e așa-zisa „convergență către centrul distribuției”, adică opțiunile luate în calcul conduc în general către cea mai comună dintre ele. De exemplu, dacă punem un LLM să-și imagineze un fragment literar în care un om se duce să cumpere „ceva” de la o benzinărie, vom observa că LLM-urile vor imagina invariabil pe cineva care cumpără doar patru lucruri posibile: benzină, o sticlă cu apă, o cafea sau un sandviș. Pentru că astea sunt opțiunile cele mai comune de luat în calcul, deși de la o benzinărie se pot cumpăra multe alte lucruri. Dacă vrem, de exemplu, să-l pună pe personajul nostru să cumpere „lichid de parbriz” sau „rovinietă” – lucruri mai puțin obișnuite – trebuie să specificăm explicit în prompt /comandă acest lucru.
Având în vedere acest mic amănunt și gândindu-mă iarăși la figura profesorului Solcan, care era foarte pasionat de tehnică și care ar fi fost cu siguranță încântat să pună IA la treabă, iată ce s-ar putea face:
1. Colaborați activ cu studentul: puneți-l să vă arate prompt-ul (comanda) cu care și-a generat eseul și discutați propuneri de rafinare. Puneți-l să rafineze promptul, sau să argumenteze împotriva conținutului generat cu ChatGPT, sau să-și imagineze un prompt care ar putea genera erori și halucinații. Nu uitați: una dintre principalele „îndemânări”/skills pentru angajații viitorului, inclusiv pentru absolvenții de științe umaniste, va fi să utilizeze corect, dar și să recunoască utilizarea incorectă a IA!
2. „Battle of LLM-s” (asta e ideea mea): se poate stabili cu studentul un prompt (o comandă) pentru un eseu. Studentul va produce eseul respectiv într-un LLM la alegerea lui, apoi va trebui să-l urce într-un alt LLM care să i-l critice paragraf cu paragraf (de exemplu, eseul poate fi scris în ChatGPT și critica poate fi făcută cu Grok sau invers). Sau, pur și simplu, „să-și dea cu părerea (e bun/nu e bun)”. Veți vedea că se va naște o întreagă discuție, deoarece LLM-urile își vor lua în serios sarcina de a „critica” sau de a „da sugestii” (LLM-urile sunt astfel programate încât nu știu să răspundă „nu știu”, sau „nu pot”, sau „nu vreau” decât foarte rar), care va fi cu atât mai dificilă cu cât „convergența către centrul distribuției” a realizat-o deja primul răspuns, deci al doilea LLM va trebui cumva să ofere răspunsuri sau sugestii care să iasă din medie. Eu m-am distrat recent punând câteva LLM-uri să discute între ele pe marginea întrebării: „Mai este posibilă metafizica după Kant?”. Profesorul poate ruga studentul să evidențieze argumentele corecte, argumentele greșite, ce au folosit corect LLM-urile, unde au greșit, ce au omis etc. Nu uitați: LLM-urile au tendința de a reduce totul la o medie, la mijloc, la mediocritas! Subtilitățile tind să le scape din vedere. Exact asta ar putea face diferența dintre un student slab și unul bun: studentul slab va observa ce „subtilități” au trecut „pe sub radarul” ambelor LLM-uri și la eseul inițial, și la „critică”, și se vor familiariza, totodată, și cu ideea că IA nu produce nicidecum conținut infailibil sau imposibil de îmbunătățit, ba dimpotrivă.
O singură idee a fost comună în toate răspunsurile primite: nu încercați să interziceți, că e futil. Nu veți reuși.
Notă de final: exceptând ultima propunere, restul chiar mi-au fost sugerate de diverse instrumente IA utilizate.
Lucian Sârbu este născut în 1975. Studii universitare de filozofie și de marketing. A colaborat de-a lungul timpului la diverse reviste culturale (Literatorul, Calende, Argeș, Observator Cultural etc.) cu proze, recenzii, traduceri, eseuri. Începând cu anul 2007 a scris sub pseudonimul „Manole” cel mai popular blog de imobiliare din România, „Balonul imobiliar”, descifrând bula imobiliară într-o perioadă în care discursul dominant nu comunica altceva decât că „economia duduie”. Autor al unui volum de eseuri intitulat „Adevăr și democrație” apărut în anul 2001 la Editura Paideia.
