Per un transformer il concetto di token ha la medesima importanza delle singole lettere per il nostro linguaggio naturale.
Ogni token rappresenta una unità di informazione, che può essere una parola, una parte di una parola, un simbolo di punteggiatura o anche un numero.
Come le singole lettere per il linguaggio naturale, i token sono i mattoni con cui costruiamo il significato dei testi e li elaboriamo.
I token vengono utilizzati per rappresentare il testo in modo che i computer possano comprenderlo e manipolarlo.
AI generativa
il materiale è elaborato dai contenuti della pagina web linkata
AI Generativa e Transformers: cosa sono e come funzionano
Molti dei foundation model di Generative IA sono oggi basati sull’architettura dei Transformer. Apparsi al grande pubblico con ChatGPT, sono invece noti nella comunità di studio sull'Intelligenza Artificiale, dal 2017 grazie al paper Attention is all you need elaborato e presentato dai ricercatori di Google Brain (articolo linkato).
I Transformer in AI Generativa sono un’architettura di reti neurali basata su un meccanismo di attenzione, che si focalizza su particolari elementi di una sequenza di dati. Esattamente come la mente umana, che in una frase si focalizza su elementi essenziali come sostantivi, pronomi, aggettivi, verbi, comprendendone le relazioni, allo stesso modo i Transformer apprendono relazioni di dipendenza a lungo raggio tra le parole in una sequenza.
Questa caratteristica li rende più performanti di altre architetture, come le RNN (Reti Neurali Ricorrenti), che invece procedono in modo sequenziale e con un limite sulla lunghezza delle sequenze in input. L'architettura dei transformer, originariamente sviluppata per il trattamento del linguaggio naturale, si è dimostrata flessibile e adatta anche per altre applicazioni al di fuori del solo linguaggio. Si tratta, ad esempio, della generazione di testo basato su immagini o la generazione di immagini stesse.
AI Generativa e Big Tech, le grandi sfide
Vista la centralità dell’AI Generativa, tutte le principali BigTech sono scese in campo per competere in questa corsa all’innovazione. Prima fra tutte è stata la società OpenAI con la nota piattaforma ChatGPT.
Le applicazioni dell’AI Generativa
Le applicazioni dell'AI Generativa sono diversificate e influiscono positivamente su molteplici settori. Nella programmazione, ad esempio, l'Intelligenza Artificiale Generativa può essere utilizzata per generare codice automaticamente, semplificando i processi di sviluppo software e accelerando la creazione di nuove applicazioni.
Nei servizi di customer service, i chatbot basati sull'AI Generativa migliorano l'esperienza dell'utente fornendo risposte intelligenti e contestualizzate. In questo modo contribuiscono a una gestione più efficace delle richieste e riducendo i tempi di attesa.
Nel contesto aziendale, la AI Generativa può essere impiegata per la generazione di nuove idee, supportando il processo creativo attraverso la proposta di concetti innovativi e soluzioni originali. Ciò può essere particolarmente utile per l'innovazione e lo sviluppo di nuovi prodotti o servizi.
Quanto alla gestione della knowledge base aziendale, l'AI Generativa può automatizzare la creazione, l'organizzazione e l'aggiornamento delle informazioni aziendali. Queste azioni semplificano la ricerca e l'accesso a conoscenze specifiche, migliorando l'efficienza operativa e la condivisione di informazioni all'interno dell'organizzazione.
In generale, le applicazioni dell'AI Generativa stanno contribuendo in modo significativo a ottimizzare processi, migliorare l'esperienza utente e stimolare l'innovazione in diversi settori.
Sottoargomento
In questo contesto, dobbiamo tenere presente che l’AI Generativa viene alimentata da enormi quantità di dati elaborati da strutture con altissime complessità (reti neurali) e hanno quindi bisogno di molta capacità computazionale.
I precursori dell’AI Generativa sono stati il Deep Learning (o apprendimento approfondito), che consiste in un ramo approfondito del Machine Learning, e le reti neurali, ossia modelli di neuroni artificiali ispirati alle reti del cervello umano. Tra le prime architetture che possiamo menzionare per la parte generativa troviamo, ad esempio, la GAN (Generative Adversarial Network) e gli AutoEncoder. Questi, però avevano difficoltà a gestire grandi quantità di testo. Tale ostacolo è stato poi risolto con l’architettura dei Transformer, che vedremo meglio in seguito. Per l’AI questa nuova capacità ha rappresentato una nuova grande conquista, abilitata da tre principali fattori:
-il primo è la disponibilità di dati che, grazie a Internet, alla sensoristica IoT e al digitale, in generale sono oggi disponibili in quantità senza precedenti;
-il secondo è la grande evoluzione dei modelli e degli algoritmi alla base dell’AI, che citavamo in precedenza;
-il terzo è l’avanzamento tecnologico degli hardware di nuova generazione che sono sempre più performanti e permettono di sfruttare appieno questa tecnologia.
L’evoluzione dell’AI Generativa
L’AI Generativa, come già accennato, non è una nuova area dell’Intelligenza Artificiale (AI). Infatti, è da almeno dieci anni che gli addetti ai lavori usano modelli, perlopiù per la generazione di testi e immagini.
L’AI Generativa, o Generative AI, o ancora Intelligenza Artificiale Generativa, può essere oggi considerato l’ultimo grande traguardo dell’Intelligenza Artificiale. Sebbene anche per gli addetti ai lavori quest’area dell’AI non sia una novità, il 2023 rimarrà alla storia come l’anno che ha segnato il confine tra due ere, quella antecedente e quella l’exploit commerciale della GenAI.
