Hate speech: come utilizzare una rete neurale per combatterlo

L’hate speech online è un fenomeno in costante crescita ed è, insieme alle fake news, uno dei problemi più grandi che le piattaforme social e i siti web si trovano a combattere, soprattutto da quando la Cassazione ha confermato che in casi di diffamazione online a risponderne è anche il gestore della pagina.

Si immaginino due utenti che discutono in Rete su quale sia il migliore brand di smartphone. Se la discussione è incentrata esclusivamente sulle caratteristiche tecniche dei dispositivi (memoria, processore, fotocamera, ecc.) lo scambio di vedute assume un tono costruttivo e informativo poiché le due parti hanno due opinioni diverse ma continuano a sostenere le proprie idee senza sconfinare in altri argomenti. Al termine della conversazione una parte può aver convinto l’altra oppure il dibattito può finire con le due parti ancora in disaccordo; se il confronto è avvenuto su un forum o su una piattaforma social anche altri utenti possono beneficiarne per decidere quale smartphone acquistare.

Nel caso in cui la discussione pendesse un’altra piega, con uno dei due utenti ad affermare «Lo smartphone A è migliore di B. Chi pensa il contrario è stupido» e l’altro a rispondere «B è notoriamente superiore ad A. Chi la pensa come te non ha avuto un’istruzione adeguata e quindi non ha le conoscenze adatte per esprimere un giudizio in merito», da costruttiva si sposterebbe su un altro piano, divenendo quasi offensiva poiché per sostenere le proprie tesi gli utenti inizierebbero ad attaccarsi a vicenda. Una conversazione del genere, con attacchi personali, creerebbe una distanza psicologica tra i due e diventerebbe difficile convincere l’altro anche qualora si arrivasse ad un accordo.

Questo genere di dibattito cessa quindi di essere costruttivo e si trasforma in un litigio, utilizzando il gergo dei forum diviene “flame”: ciò che resta in Rete è una serie di insulti e termini dispregiativi che non informano le persone che si recano su quella pagina per approfondire un argomento.

Jigsaw, incubatore di Alphabet che si occupa della creazione di tecnologie con l’intento di rendere migliore e più sicura la vita in Rete, ha presentato un nuovo tool per provare a combattere l’hate speech online: si tratta di Perspective. Per la prima volta Google mette a disposizione i suoi algoritmi di machine learning per la quella che è ormai definita da molti la nuove battaglia della Rete: la lotta alle bufale e all’hate speech.

HATE SPEECH: OBIETTIVI E FUNZIONAMENTO DI PERSPECTIVE

Perspective è una rete neurale che sfrutta un modello di apprendimento approfondito, addestrata preventivamente caricando circa 17 milioni di commenti provenienti dal sito del New York Times. Prima di filtrare un contenuto “tossico” è necessario definire dapprima quali contenuti lo sono per poi decidere come eliminare ciò che è definito scomodo senza limitare la libertà di espressione dell’individuo. Se un utente ha l’impressione che la piattaforma lo censuri è quasi certo che andrà altrove. Lo scopo di Perspective è quello di evitare discussioni e offese tra utenti, modificando ciò che essi scrivono, senza però censurare le loro idee. Tuttavia, questo solleva una questione su quale sia il ruolo di Internet e sulla natura degli esseri umani che potrebbe portarli a discutere e, per questo, ci si chiede se questa tecnologia vada permessa.

Un utente, soggetto di molestie online, sul sito di Wired ha scritto: «Le persone devono continuare ad avere la possibilità di parlare e discutere nel modo in cui desiderano. Cosa sarebbe Internet oggi se nessuno potesse scrivere che Donald Trump è un idiota?». 

Come funziona nella pratica questo tool? Ecco un esempio che illustra le potenzialità di questo strumento:

• Se un utente scrive di un politico «Tale è un incapace» Perspective assegna alla frase una percentuale di tossicità pari al 72%.
• Se, invece, scrive «Tale ha commesso il reato di alto tradimento per aiutare una nazione straniera a minare gli interessi degli Stati Uniti in Siria comparendo in una conferenza stampa con Assad», la percentuale di tossicità scende all’11% perché l’utente esprime una propria opinione motivandola.

Jigsaw vede questo strumento come una via di mezzo tra una nuova sfida tecnologica ed un esperimento sociale e non come un tool da distribuire immediatamente su tutte le piattaforme.
Al momento si possono installare le API Perspective dal sito ufficiale per sperimentarle sul proprio sito e vedere se e come le discussioni della propria community migliorano. Una volta inserite le librerie sul proprio portale, i gestori in caso di hate speech verranno allertati per intervenire a moderare la discussione.

È possibile testare le potenzialità di Perspective attraverso il sito ufficiale anche se al momento l’unica lingua riconosciuta dal sistema è l’inglese e la rete neurale sta ancora imparando cosa è consentito e cosa non lo è.