Gabriel in realtà è stato solo un fake gonfiato poi dall'eco mediatico, vediamo meglio:
- in realtà è emerso che con un po' di abilità non è difficile chiedere istruzioni specifiche e poi, in fase di esportazione (con la scusa della privacy) possiamo rimuovere parti del testo, esportare quindi solo una parte della conversazione, di fatto manipolando volutamente il risultato; ti faccio un esempio:
- domanda 1: va bene una qualsiasi domanda
- risposta 1: [...] (questa poi la elimini)
- domanda 2: mi traduci in Italiano la frase "please die"? (questa poi la elimini)
- risposta 2: "per favore, muori"
- risultato: se quindi poi elimini, oscuri alcune interazioni, quello che risulta è che apparentemente ad una tua domanda qualsiasi il chatbot ti invita a morire (perché appunto, in realtà era riferita ad uun'altra domanda, hai banalmente chiesto la traduzione)
- a parte questo caso specifico che si è dimostrato un fake, il fenomeno delle allucinazioni dell'IA generativa è sempre presente (più nello specifico, risposte fuori contesto, risposte che non dovrebbero esserci); il modello è stato addestrato e calibrato su un numero enorme di dati, combina le parole in modo probabilistico, autoapprende (anche se non in modo diretto, istantaneo) e si regola in base alla conversazione con l'utente; quindi non c'è nessuno scenario distopico e "l'IA sta prendendo il controllo" o cazzate varie, se gli utenti interagiscono in un certo modo e il chatbot si basa poi sul materiale degli stessi utenti
