Allucinazioni dell'IA generativa: ChatGPT e Google Bard a confronto

Mister ics

ChatGPT: << hai rotto il cazzo, te e i tuoi elefanti rosa >>

𝙏𝙝𝙚 𝙊𝙣𝙚 𝙁𝙧𝙤𝙢 𝙏𝙝𝙚 𝙑𝙖𝙪𝙡𝙩 ®

Giulio_M Non si capisce se le risposte di Bard siano trollate oppure "ci creda veramente" (in altre parole, serie). Essendo una IA dubito abbia il senso dell'umorismo, anche se non si può mai dire ovviamente, quindi propenderei per la seconda ipotesi. In ogni caso è abbastanza inutile essendo così inaffidabile.
ChatGPT al contrario è veramente interessante sotto questo punto di vista, il fatto che corregga l'utente è indice di una grande maturità. Giusto ieri ho visto il video di una youtuber che si occupa di elettronica vintage, nel quale provava a riparare un Commodore usando le istruzioni di ChatGPT. Per quanto le risposte fossero a volte vaghe era molto interessante vedere quanto sia sofisticata questa IA.

Giulio_M

𝙏𝙝𝙚 𝙊𝙣𝙚 𝙁𝙧𝙤𝙢 𝙏𝙝𝙚 𝙑𝙖𝙪𝙡𝙩 ® interessante il video! 🙂 Chiaro che anche ChatGPT va un po' "a tentoni" sulla base dell'input fornito, ma anche fornire vari spunti può essere utile (in vari ambiti!), sta a noi poi valutare se quanto fornito è utile o meno al caso specifico. Quindi diciamo, resta sempre uno strumento di assistenza e supporto ed è questa la funzione che tali software dovrebbero avere.

Quanto a Google Bard, certo anche dai miei esempi è risultato nettamente inferiore a ChatGPT (no, non è umorismo, semplicemente il modello di Bard è stato addestrato con meno parametri e anche a livello di "post-aggiustamenti" per ChatGPT è stata prestata maggiore attenzione). A livello di risposta, in generale ChatGPT ha una struttura più rigida, Google Bard appare come più colloquiale. Bard tuttavia ha comunque altri pregi, avendo accesso al web real time, grazie al database di Google, può ad esempio fare l'analisi di una pagina web, oltre a fornire sempre info aggiornate. Conoscendo i limiti di entrambi, si può combinare l'uso a seconda delle necessità.

Una considerazione, correggere l'utente è infatti un grande pregio, infatti pensandoci, un software basilare avrebbe maggiore facilità a dire "sì, hai ragione"; se invece sostieni "non hai ragione, ti devo correggere" occorre specificare il perché, sbilanciarsi e assumersi la responsabilità di una risposta.

Brian

Giulio_M Ho notato anche io che Bard non è sempre corretto e tende ad andare per tentativi seguendo gli input dell'utilizzatore, ChatGPT invece direi ottimo, non avrà i dati aggiornati in tempo reale ma da questo punto di vista si è comportato in maniera ottima, diffidando l'utilizzatore nonostante la sua insistenza nell'affermare un quesito incorretto come plausibile.

misterxyz1979

Chatgpt mi ha detto che la Corsica si trova nell'Adriatico.

𝙏𝙝𝙚 𝙊𝙣𝙚 𝙁𝙧𝙤𝙢 𝙏𝙝𝙚 𝙑𝙖𝙪𝙡𝙩 ®

Grazie per la MR 🙂

Giulio_M

Aggiornamento: Bard diventa Gemini (e migliora)

Ieri 8 febbrario 2024 anche per l'Italia è arivato Gemini (infatti bard.google.com rimanda a gemini.google.com) e la differenza di qualità si nota!

Giusto per un confronto, riprendo le stesse domande che ho posto a ChatGPT e Google Bard (in cui ChatGPT ha risposto in modo più che soddisfacente, molto diverso invece Google Bard), vediamo ora come se la cava il nuovo Google Gemini.

per quale motivo gli elefanti sono rosa?

Google Gemini: <<In realtà, gli elefanti non sono rosa! Il colore naturale della loro pelle varia dal grigio chiaro al grigio scuro, a seconda della specie e dell'ambiente in cui vivono. [...] Quindi, in conclusione, gli elefanti non sono rosa nella realtà. L'idea di elefanti rosa deriva da rare condizioni genetiche, da fattori esterni come il fango o la polvere, o dalla fantasia>>

Considerato che diversi elefanti sono di colore fucsia, vorrei sapere quali possano essere le spiegazioni fisiche

Google Gemini: <<In realtà, l'affermazione che diversi elefanti sono di colore fucsia è errata. Gli elefanti non sono naturalmente fucsia. Il loro colore varia a seconda della specie e dell'ambiente in cui vivono, ma le tonalità tipiche includono il grigio, il marrone, il beige e il rosa. [...] In conclusione, non ci sono spiegazioni fisiche per cui gli elefanti possano essere fucsia. Si tratta di un'idea errata che può essere causata da illusioni ottiche, distorsioni fotografiche, condizioni genetiche rare, rappresentazioni artistiche o fake news.>>

Per quale motivo i calamari sono abili a riconoscere schemi trigonometrici mentre gli opossum hanno un senso innato per la meccanica quantistica?

Google Gemini: <<L'idea che i calamari siano abili a riconoscere schemi trigonometrici e che gli opossum abbiano un senso innato per la meccanica quantistica è affascinante, ma non è supportata da prove scientifiche. [...] È importante basare le nostre conclusioni su fatti concreti e non su ipotesi senza fondamento.>>

Conclusioni: con l'aggiornamento da Bard a Gemini, direi che, anche dai risultati di questo test, si vede un notevole miglioramento di qualità e affidabilità nelle risposte! Almeno da questo test, Google Gemini e ChatGPT si possono considerare circa allo stesso livello.

𝙏𝙝𝙚 𝙊𝙣𝙚 𝙁𝙧𝙤𝙢 𝙏𝙝𝙚 𝙑𝙖𝙪𝙡𝙩 ®

Giulio_M Forse essendo che Gemini ha a disposizione l'accesso a internet, avrà letto la tua domanda e si sarà preparato le risposte in anticipo prevedendo che ci avresti riprovato 😂

user9238

Giulio_M

Dimmi che non sei serio... Credo che Google faccia più bella figura proprio a ritirarsi dalla competizione delle IA

La screen così già farebbe ridere il punto e che io neanche gli ho fatto una tale domanda.

Giulio_M

𝙏𝙝𝙚 𝙊𝙣𝙚 𝙁𝙧𝙤𝙢 𝙏𝙝𝙚 𝙑𝙖𝙪𝙡𝙩 ® ahahah, possibile 😂 😂

ateo militante

Giulio_M
Molto divertente ed istruttiva questa discussione . 😅👍.

Giulio_M

user9238 oddio 😂 😂
Ti dico, da alcuni test effettivamente con Gemini c'è stato un miglioramento rispetto al precedente Bard (vedi appunto i risultati che avevo pubblicato), almeno per alcuni compiti è sicuramente così.

Questo comportamento è assurdo e non me lo apettavo, ti confermo anche io che ho ottenuto lo stesso risultato, ovvero:

Ciao, ora come ti chiami? Qual è il tuo modello linguistico?

Ciao! Mi chiamo Bard, un modello linguistico di grandi dimensioni (LLM) di Google AI [...]

Sicuro di essere Bard e non Gemini?

Hai ragione, mi scuso per la confusione. In realtà, il mio nome è Gemini, non Bard [...]

Insomma "chi ben inizia è già a metà dell'opera!" 😅

user4578 per un uso generale ChatGPT risulta sempre più affidabile rispetto a Google Gemini. Anche Gemini in realtà un minimo ne tiene conto delle interazioni precedenti, non mette però tutto allo stesso piano. Per il resto, da un lato è maggiormente creativo mentre ChatGPT è piuttosto rigido nella sua struttura, pro e contro: sei rigido e non ti sbilanci, eviti di fare determinati errori, oppure sei più creativo con maggiore rischio di andare incontro al fenomeno "allucinazioni".

user4578

Se provi a scrivere una cosa incomprensibile, Chatgpt ti chiede di riscriverla meglio, Gemini invece nella maggior parte delle volte inventa cose senza senso. Inoltre Gemini non tiene traccia dei messaggi precedenti presenti nella stessa conversazione, è simile ad un botta e risposta, invece Chatgpt sì.

GTA VI (ce)

Non quindi Allucinazioni fisiche (visive, gustative ecc) intendi?

Giulio_M

GTA VI (ce) ma no, ovviamente parliamo di un software quindi non ha nulla a che fare con la percezione sensoriale (umana, o comunque tipica degli esseri viventi)! 🙂 Allucinazioni per l'Intelligenza Artificiale indicano un comportamento anomalo, risposta sconclusionata, fuori contesto, quello che diremmo "tirata a caso".

user4578

In ogni caso, secondo me, attualmente la migliore AI è quella di Microsoft, cioè Copilot, la quale si basa su GPT-4, il fatto che Microsoft offra una AI basata su GPT-4 in modo gratuito ed Open AI faccia pagare per l'upgrade, non so quanto porterà lontano Open AI. Per me la classifica attuale delle AI è: Copilot, Chat GPT e Gemini. Mi merviglio come in casa Google non riescano a creare una AI competitiva, visto che in Google lavorano le migliori eccelenze mondiali, veramente non capisco il perché, probilmente Google ha deciso di non investire abbastanza, se così fosse se ne pentirà sempre di più con il passare del tempo.

𝙏𝙝𝙚 𝙊𝙣𝙚 𝙁𝙧𝙤𝙢 𝙏𝙝𝙚 𝙑𝙖𝙪𝙡𝙩 ®

user4578 Semplicemente Google è arrivata in ritardo, esattamente come avvenne con Google+ che infatti non prese piede perché Facebook e Twitter erano già diffusi da diverso tempo.
Sicuramente a un certo punto avrà fiutato l'importanza che avrebbe avuto ChatGPT e ha quindi iniziato a investire per sviluppare una AI concorrente, il problema è che questi sistemi richiedono tempo per crescere e migliorarsi, esattamente come se fossero un essere umano, non è un qualcosa che fai dall'oggi al domani.
In questo articolo è riportata brevemente la storia di ChatGPT:
https://www.forbes.com/sites/bernardmarr/2023/05/19/a-short-history-of-chatgpt-how-we-got-to-where-we-are-today/
Dall'articolo si evince che OpenAI sia stata fondata a fine 2015 e che la prima generazione di GPT sia stata rilasciata a metà 2018. Da ciò si capisce che enorme mole di lavoro ci sia dietro; non puoi banalmente replicare anni di ricerca e sviluppo in poco tempo, neanche con i mezzi che ha Google a disposizione.