๐๐ ๐๐ ๐ ๐๐ง๐๐ซ๐๐ญ๐ข๐ฏ๐ ๐ฉ๐๐ซ๐๐จ๐ซ๐ฆ๐๐ง๐จ ๐ช๐ฎ๐๐ฅ๐ข๐ญ๐๐ญ๐ข๐ฏ๐๐ฆ๐๐ง๐ญ๐ ๐๐ฅ๐ฅ๐จ ๐ฌ๐ญ๐๐ฌ๐ฌ๐จ ๐ฆ๐จ๐๐จ ๐ฉ๐๐ซ ๐ญ๐ฎ๐ญ๐ญ๐ ๐ฅ๐ ๐ฅ๐ข๐ง๐ ๐ฎ๐
โ
Demistificazione:
๐
๐๐ฅ๐ฌ๐จ. La qualitร dipende da molti fattori, in primis dalla quantitร di dati ricevuti per quella lingua e i relativi embedding.
๐ค Perchรฉ l’inglese dovrebbe performare meglio del finlandese? Leggete questa chicca (che generalmente ๐๐จ๐ง๐๐ข๐ฏ๐ข๐๐จ ๐ฌ๐จ๐ฅ๐จ ๐ง๐๐ข ๐๐จ๐ซ๐ฌ๐ข) ๐
๐จโ๐ป Quando scriviamo cose, il testo viene convertito in token che possono essere parole o parti di parole. Questi token sono “๐๐ ๐ง๐จ๐ฌ๐ญ๐ข๐๐ข” rispetto la lingua, sono una rappresentazione vettoriale in uno spazio multidimensionale.
Immaginate come ci fosse un “calderone” con dentro tutte le parole, o pezzi di parole, delle varie lingue.
โก๏ธ Siccome la maggior parte del testo utilizzato durante l’addestramento รจ l’inglese, anche i token tendono di piรน a rappresentare quel tipo di lingua (per i piรน tecnici, perdonate la semplificazione).
๐๐๐๐จ ๐ฎ๐ง ๐๐ฌ๐๐ฆ๐ฉ๐ข๐จ, tre casi. Se scriviamo:
๐ข “Yesterday I went to Rome”
๐ข “ieri andai a Roma”
๐ข “Ieri andai a Roma”
Focalizziamo l’attenzione sulla prima parola di ognuna delle tre frasi.
Guardate il tokenizzatore (immagine sotto) di ChatGPT 4o cosa ci dice!?
Nella prima prende il token “Yesterday”, nella seconda “ieri” ma nella terza ci sono due token, il token “I” e il token “eri”.
Avete capito bene, alla macchina quando scrivete “Ieri” arrivano due token, “I” e “eri” (esiste il token “I” perchรฉ รจ molto importante in inglese)
Come รจ possibile allora che i modelli funzionino nonostante questo fatto?
Funzionano grazie a un meccanismo chiamato attenzione che permette embedding dinamici, ovvero dove il valore dei vettori cambia nei vari layer in base ai vettori che gli sono vicino.
Questo รจ il motivo per il quale riescono a capire quando “mouse” รจ un topo o lo strumento per muovere il cursore. Grazie a questi meccanismi di attenzione si sono fatti grandi progressi rispetto a Word2Vec e altre rappresentazioni linguistiche che consegnavano vettori statici.
๐๐ฎ๐ข๐ง๐๐ข?
Quindi grazie ai numerosi layer (ChatGPT dovrebbe averne 120) i modelli funzionano bene anche in altre lingue, ma l’inglese (poichรฉ dataset fortemente sbilanciato nell’addestramento) rimane la lingua main e in molti casi puรฒ dare risposte migliori. Questo diventa piรน evidente se lo confrontiamo con lingue (assai) sottorappresentate.
