L'Università del Kansas presenta un rilevatore AI avanzato per il rilevamento della scrittura accademica

di Srikanth9 giugno 2023, 13:02279Visualizzazioni

La chimica dell'Università del Kansas Heather Desaire ha introdotto una tecnologia all'avanguardia in grado di rilevare il testo scientifico generato da ChatGPT con un'impressionante precisione del 99%. Questa innovazione utilizza un generatore di testo di Intelligenza Artificiale (AI). Gli straordinari risultati di Desaire sono stati documentati nella rinomata rivista peer-reviewed "Cell Reports Physical Science", dove non solo ha dimostrato l'efficacia del suo metodo di rilevamento dell'intelligenza artificiale, ma ha anche fornito il codice sorgente necessario ad altri per replicare questo strumento rivoluzionario.

Heather Desaire, presidente della cattedra di Chimica Keith D. Wilner presso la KU, ha sottolineato l'urgente necessità di strumenti accurati di rilevamento dell'intelligenza artificiale per sostenere l'integrità scientifica. Desaire ha espresso preoccupazione per i generatori di testo AI come ChatGPT, affermando che fabbricano fatti. Nell’ambito dell’editoria scientifica accademica, dove vengono condivise scoperte rivoluzionarie e l’avanguardia della conoscenza umana, è fondamentale prevenire l’inclusione di falsità credibili che potrebbero inquinare la letteratura. Desaire ha riconosciuto l'assenza di un metodo automatizzato infallibile per identificare questi elementi ingannevoli noti come "allucinazioni". Quando fatti scientifici autentici si mescolano con contenuti convincenti ma inventati generati dall’intelligenza artificiale, l’affidabilità e il valore delle pubblicazioni inevitabilmente diminuiscono.

Ha spiegato che l'efficacia del suo metodo di rilevamento si basa sulla concentrazione specifica sugli scritti scientifici comunemente presenti nelle riviste sottoposte a revisione paritaria. Restringendo il campo di applicazione in questo modo, il suo approccio raggiunge una maggiore precisione rispetto agli strumenti di rilevamento dell’intelligenza artificiale esistenti come il rilevatore RoBERTa, che mirano a identificare l’intelligenza artificiale in tipi di scrittura più generali.

Desaire ha affermato che è possibile sviluppare un metodo altamente accurato per distinguere tra la scrittura umana e quella ChatGPT. Tuttavia, per raggiungere tale precisione è necessario limitare l’analisi a un gruppo specifico di esseri umani che scrivono in modo distinto. Al contrario, i rilevatori AI esistenti sono progettati come strumenti generali applicabili a vari tipi di scrittura. Sebbene servano bene allo scopo previsto, non sono così precisi come uno strumento appositamente studiato per uno scopo particolare e ristretto.

Nella sua ricerca, Desaire ha evidenziato la criticità dell’accuratezza quando si accusano gli individui di utilizzare clandestinamente l’intelligenza artificiale, sottolineando la necessità di evitare frequenti errori di identificazione. Tuttavia, ha riconosciuto che raggiungere l’accuratezza spesso implica sacrificare la generalizzabilità. Desaire ha collaborato con il suo gruppo di ricerca alla KU, che comprendeva Romana Jarosova, professoressa assistente di ricerca di chimica, David Huax, analista di sistemi informativi, e gli studenti laureati Aleesa E. Chua e Madeline Isom. Il successo del team nel rilevamento del testo basato sull'intelligenza artificiale può essere attribuito all'incorporazione dell'intuizione umana nell'ideazione del codice, andando oltre la dipendenza dal rilevamento di modelli di apprendimento automatico.

Desaire ha rivelato che il loro approccio prevedeva un set di dati significativamente più piccolo e un grado più elevato di intervento umano per identificare le distinzioni cruciali per il loro rilevatore. Nello specifico, hanno costruito la loro strategia utilizzando solo 64 documenti scritti da persone e 128 documenti generati dall’intelligenza artificiale come dati di addestramento. La dimensione del set di dati è circa 100.000 volte inferiore a quella normalmente utilizzata per addestrare altri rilevatori.

Desaire ha sottolineato l'importanza di questa differenza, equiparandola al divario tra il costo di una tazza di caffè e quello di una casa. Il vantaggio del loro piccolo set di dati era la rapida capacità di elaborazione e tutti i documenti potevano essere esaminati a fondo dagli esseri umani. Sfruttando il loro intelletto umano, sono stati in grado di identificare differenze preziose all’interno dei set di documenti, piuttosto che fare affidamento esclusivamente su strategie precedentemente sviluppate per distinguere tra contenuti umani e generati dall’intelligenza artificiale.

L'approccio di Desaire, come affermato da KU, è stato sviluppato in modo indipendente, senza fare affidamento sulle strategie utilizzate nei precedenti metodi di rilevamento dell'IA. Di conseguenza, la loro tecnica possiede elementi distinti che sono del tutto unici nel campo del rilevamento del testo tramite intelligenza artificiale. Desaire ha ammesso di non aver nemmeno consultato la letteratura esistente sul rilevamento del testo tramite intelligenza artificiale finché non hanno avuto uno strumento funzionale proprio. Invece di seguire il pensiero convenzionale degli informatici nel rilevamento del testo, si sono affidati al loro intuito per determinare cosa sarebbe stato efficace, esprimendo anche un leggero senso di imbarazzo per il loro approccio non convenzionale.