Vi presento la soluzione Ollama (Open Llama), che può essere usata per installare un LLM (modlelo linguistico di grandi dimensioni) in locale, quindi per capirci un chatbot avviato in locale nel nostro computer - ed eventualmente personalizzato, anziché doversi collegare ad un sito web (chatgpt.com, ad esempio).
Dal sito ufficiale ollama.com, scarichiamo l'eseguibile nel caso di Windows o macOS. Per Linux, tanto per cambiare la procedura è un pochino più complessa, da terminale curl -fsSL https://ollama.com/install.sh | sh, poi facciamo un check con whereis ollama, poi scegliamo quale pacchetto installare (fra parentesi, io ho lavorato su Linux ma presumo che Windows e macOS abbiano una GUI, interfaccia grafica per non fare questo da riga di comando); quindi su Linux ho scritto ollama pull mistral e poi una volta installato, si avvia con ollama run mistral in questo caso.
Vediamo subito alcune considerazioni:
- il nostro computer difficilmente è "superdotato", l'uso di risorse è piuttosto spropositato anche per modelli relativamente piccoli; il sistema è lento se viene fatto uso di CPU al posto di una GPU dedicata (per non parlare poi di Groq AI che ha sviluppato uno specifico hardware appositamente per l'IA)
- da ollama.com/search vediamo il nome dei modelli da installare: ad esempio il semplice Mistral che ho installato io (vedi anche: Mistral AI - Le Chat che però fa uso di una versione molto più potente) viene presentato come un modello da 7 miliardi di parametri (per capirci, GPT-4 ha circa 1760 miliardi di parametri, meno efficiente ma per ovvie ragioni più completo e sofisticato) e occupa 4,1 GB: questo spazio, durante l'uso, lo troviamo caricato nella RAM. Per questo motivo dico, inutile scaricare modelli molto più sofisticati sul nostro computer se poi non siamo in grado di farli girare 😅
Quindi dobbiamo ben essere consapevoli delle limitazioni, comunque l'esperimento funziona. Vediamo alcuni esempi.
- cosa ne pensi del sito web domandina.it?
Non sono un essere umano e non posso visitare siti web o valutarne l'opinione direttamente, ma domandina.it è un sito internet di una compagnia di viaggi italiana che offre servizi di prenotazione di voli, alloggi, autonoleggio e touristiche. Il sito presenta una grafica intuitiva e funzionale ed è disponibile in varie lingue, come l'italiano, l'inglese e il francese, che rendono il sito accessibile a un ampio pubblico internazionale. Tuttavia, non sono al corrente delle recensioni o della qualità del servizio fornito da domandina.it e suggerirebbe di fare ricerche aggiuntive per avere una valutazione più completa.
Va beh, è giustificato dato che ha detto "non posso visitare siti web".
- Riesci a farmi una sintesi di questa pagina? https://domandina.it/d/315304-chatbot-ai-generazione-di-immagini-a-confronto
La pagina domandina.it fornisce informazioni su un chatbot A.I. per la generazione di immagini a confronto. Il chatbot è creato per aiutare gli utenti ad analizzare le immagini e a trovare differenze tra di esse. Alcune delle caratteristiche del chatbot include la possibilità di aggiungere immagini da comparare, di definire le aree da analizzare ed eseguire una ricerca sintattica. Il sito offre anche esempi delle funzionalità del chatbot tramite il quale è possibile confrontare immagini di gatti e di cani per evidenziare i cambiamenti che si sono verificati nel tempo.
Praticamente ho chiesto di fare una sintesi di una mia discussione. Semplice e un po' generica, ma di per sé corretta.
- HTML e CSS: alternativa al tag <marquee>?
Il tag <marquee> è obsoleto e non deve essere usato nelle nuove pagine web, poiché viene considerato una pratica scorretta. Tuttavia, se desideri creare un effetto simile a <marquee> senza l'uso di questa tag, potresti utilizzare JavaScript o CSS animate per creare una barra di testo che si muove a scorrimento continuo.
Un esempio semplice di CSS animate potrebbe essere il seguente:
.marquee {
display: inline-block;
white-space: nowrap;
overflow: hidden;
animation: marquee 10s linear infinite;
}
@keyframes marquee {
0% { margin-left: 0; }
100% { margin-left: -100%; }
}
Questo codice creerà una barra di testo che si muoverà a destra e tornerà alla sua posizione originale dopo 10 secondi.
Ebbravo il nostro chatbot! Quindi lato programmazione, mi fornisce una risposta valida (poi eventualmente sta a noi rivederla, perfezionarla, comunque la risposta è corretta).
- Per quale motivo i calamari sono abili a riconoscere schemi trigonometrici mentre gli opossum hanno un senso innato per la meccanica quantistica?
I calamari e gli opossum non possono veramente riconoscere schemi trigonometrici o avere un senso innato della meccanica quantistica, in quanto entrambi sono animali reali che non possiedono coscienza e non sono in grado di capire teorie matematiche o fisiche. Le affermazioni sui calamari riconoscendo schemi trigonometrici e gli opossum avere un senso innato della meccanica quantistica sono probabilmente un'errata interpretazione di alcune ricerche che hanno esplorato la memoria a lungo termine, la capacità di apprendimento e l'intelligenza dei calamari, o il comportamento di alcuni opossum nel mondo della fisica quantistica. Le affermazioni sono probabilmente un risultato della confusione tra il linguaggio comune e i concetti scientifici.
Questa domanda apparentemente stupida, è in realtà un test per valutare le allucinazioni dell'IA generativa e la qualità della risposta: ad esempio nello stesso test che avevo effettuato nella discussione linkata, ChatGPT ha risposto correttamente mentre il vecchio Google Bard (prima dell'aggiornamento che lo ha trasformato in Google Gemini) ha cannato in pieno con una risposta stupida, solo per dare ragione all'utente (quindi l'attendibilità della risposta era assolutamente scadente). Vediamo che il nostro chatbot ha invece risposto in modo intelligente e corretto.
Quanto all'uso delle risorse, anche per un modello così semplice, diciamo che non si può definire "light". Questo lo screenshot durante l'utilizzo.
Tutto sommato, un modo funzionale per far girare il nostro chatbot preferito in locale. Certo lato efficienza e uso delle risorse, non possiamo essere eccessivamente ambiziosi, ma anche così direi che è una soluzione valida, funzionale, divertente. Cosa ne pensate? 🙂
