Il "barare" dell'intelligenza artificiale è più sconcertante di quanto immaginassero i professori

C'è una corsa agli armamenti nel campus e i professori stanno perdendo.

Ascolta questo articolo

00:00

12:19

Ascolta altre storie su hark

Questo articolo è stato presentato in Una storia da leggere oggi, una newsletter in cui i nostri redattori consigliano una sola lettura imperdibile di The Atlantic, dal lunedì al venerdì. Iscriviti qui.

IA al cento per cento. Questo è ciò che il software ha concluso riguardo al compito di uno studente. Uno dei professori del programma accademico che dirigo si è imbattuto in questa scoperta e mi ha chiesto cosa farne. Poi un altro ha visto lo stesso risultato – 100% AI – per un articolo diverso di quello studente e si è chiesto anche lui: cosa significa? Non lo sapevo. Ancora non lo so.

Il problema si divide in più problemi: se è possibile sapere con certezza che uno studente ha utilizzato l’intelligenza artificiale, cosa significa “usare” l’intelligenza artificiale per scrivere documenti e quando tale uso equivale a imbrogliare. Anche il software che aveva segnalato i documenti dei nostri studenti era multilivello: Canvas, il nostro sistema didattico, eseguiva Turnitin, un popolare servizio di rilevamento del plagio, che aveva recentemente installato un nuovo algoritmo di rilevamento dell'intelligenza artificiale. La presunta prova dell'imbroglio era emersa da un nido di scatole nere ed-tech.

Questa è la vita universitaria alla fine del primo anno accademico di ChatGPT: un cumulo di incriminazioni e confusione. Nelle ultime settimane ho parlato con dozzine di educatori e studenti che ora si trovano ad affrontare, per la prima volta, un'ondata di "imbrogli" dell'intelligenza artificiale. Le loro storie mi hanno lasciato senza parole. I rapporti provenienti dai campus suggeriscono che gli usi legittimi dell’intelligenza artificiale nell’istruzione possono essere indistinguibili da quelli senza scrupoli e che identificare gli imbroglioni – per non parlare di responsabilizzarli – è più o meno impossibile.

Un tempo gli studenti condividevano gli esami o consegnavano compiti ai compagni di classe. Poi hanno iniziato a esternalizzare i compiti, aiutati da Internet. Le aziende online come EssayShark (che afferma di vendere tesine solo per "scopi di ricerca e riferimento") hanno professionalizzato questo processo. Ora è possibile per gli studenti acquistare le risposte per i compiti da un servizio di "tutoraggio" come Chegg, una pratica che i ragazzi chiamano "chegging". Ma quando lo scorso autunno sono stati lanciati i chatbot basati sull’intelligenza artificiale, tutti questi metodi di truffa del passato sembravano obsoleti. "Ora crediamo che [ChatGPT] stia avendo un impatto sul tasso di crescita dei nostri nuovi clienti", ha ammesso il CEO di Chegg in una conferenza sugli utili questo mese. Da allora la società ha perso circa 1 miliardo di dollari in valore di mercato.

Altre aziende potrebbero trarre vantaggio dallo stesso sconvolgimento. Nel 2018, Turnitin incassava già più di 100 milioni di dollari di entrate annuali per aiutare i professori a individuare le irregolarità. Il suo software, integrato nel materiale didattico che gli studenti utilizzano per consegnare il lavoro, confronta i loro contributi con un database di materiale esistente (inclusi altri documenti degli studenti che Turnitin ha precedentemente consumato) e segnala il materiale che potrebbe essere stato copiato. L’azienda, che afferma di servire 15.000 istituti scolastici in tutto il mondo, è stata acquisita per 1,75 miliardi di dollari nel 2019. Il mese scorso ha lanciato un componente aggiuntivo per il rilevamento dell’intelligenza artificiale (senza che gli insegnanti possano rinunciarvi). Le contromisure dei chatbot basati sull’intelligenza artificiale, come i chatbot stessi, stanno prendendo il sopravvento.

Ora, mentre la primavera del primo chatbot volge al termine, il nuovo software di Turnitin sta fornendo un diluvio di identificazioni positive: questo documento era "18% AI"; quello, "100% AI". Ma cosa significano realmente questi numeri? Sorprendentemente, scandalosamente, è molto difficile dirlo con certezza. In ciascuno dei casi di "AI al 100%" di cui ho sentito parlare, gli studenti hanno insistito sul fatto di non aver lasciato che ChatGPT o qualsiasi altro strumento di intelligenza artificiale svolgessero tutto il loro lavoro.

Ma secondo l'azienda, questa designazione suggerisce effettivamente che il 100% di un saggio - come in ciascuna delle sue frasi - è stato generato dal computer e, inoltre, che questo giudizio è stato espresso con una certezza del 98%. Un portavoce di Turnitin ha riconosciuto via e-mail che "il testo creato da un altro strumento che utilizza algoritmi o altri sistemi informatici", inclusi correttori grammaticali e traduttori automatici, potrebbe portare a un falso positivo e che alcuni scritti "autentici" possono essere simili all'intelligenza artificiale. -scrittura generata. "Alcune persone semplicemente scrivono in modo molto prevedibile," mi ha detto. Tutti questi avvertimenti sono presi in considerazione nelle affermazioni dell'azienda di avere una certezza del 98% nelle sue analisi?