Per anni l'evoluzione dei processori è stata raccontata soprattutto attraverso il numero di transistor, la capacità di calcolo e la frequenza. Negli acceleratori destinati all'intelligenza artificiale, però, sta emergendo un problema diverso: non è sufficiente saper elaborare più dati, bisogna anche riuscire a spostarli abbastanza velocemente e con un consumo energetico accettabile.
Questo limite viene spesso definito I/O Wall. Nei sistemi composti da più chiplet, memoria HBM e acceleratori collegati tra loro, una quantità crescente di energia viene infatti consumata dalle interconnessioni che trasportano i dati. Il problema diventa particolarmente evidente quando la capacità di calcolo cresce più rapidamente della capacità di trasferimento.
Una delle soluzioni più interessanti allo studio è l'integrazione della fotonica direttamente nel packaging del processore. L'obiettivo è spostare la conversione tra segnali elettrici e ottici il più vicino possibile ai chip di calcolo, riducendo il percorso che i dati devono compiere attraverso connessioni elettriche ad altissima velocità.
Il problema non sono più soltanto i transistor
Un acceleratore AI moderno può eseguire un numero enorme di operazioni al secondo, ma quelle operazioni richiedono un flusso continuo di dati. Pesi dei modelli, attivazioni e risultati intermedi devono essere trasferiti tra unità di calcolo, memoria HBM e altri acceleratori.
La memoria HBM ha affrontato una parte del problema portando una quantità enorme di banda direttamente accanto al processore. Ma quando il sistema cresce oltre il singolo package, i dati devono attraversare ulteriori collegamenti.
È qui che le interconnessioni elettriche iniziano a diventare problematiche. A velocità molto elevate, le perdite del rame e del materiale isolante degradano il segnale. Per recuperarlo servono circuiti di equalizzazione sempre più complessi, che consumano energia e occupano spazio.
Il risultato è un paradosso: una parte crescente dell'energia disponibile viene utilizzata non per eseguire il calcolo, ma per permettere ai dati di raggiungere il punto in cui il calcolo deve essere eseguito.
Perché la luce può essere una soluzione
La comunicazione ottica presenta un vantaggio fondamentale: il segnale viene trasportato attraverso la luce anziché attraverso una corrente elettrica che percorre una traccia metallica.
La fibra ottica viene già utilizzata nei collegamenti tra server e nei sistemi di rete dei data center. Il problema è che, nella maggior parte delle architetture tradizionali, la conversione elettrico-ottica avviene relativamente lontano dal processore. I dati devono quindi attraversare una parte significativa del percorso in forma elettrica prima di essere convertiti in luce.
La fotonica integrata nel packaging cerca di spostare questo punto di conversione molto più vicino al chip.
Dalla scheda al package
Nel modello tradizionale, un acceleratore comunica con altri componenti attraverso collegamenti elettrici presenti nel package, sulla scheda o attraverso moduli ottici installati ai margini della scheda.
Con la fotonica integrata nel package, invece, parte del sistema ottico viene collocata direttamente accanto ai chip di calcolo. Un circuito fotonico integrato può contenere guide d'onda, modulatori e altri componenti necessari a trasformare i segnali elettrici in segnali ottici e viceversa.
Le guide d'onda possono essere realizzate all'interno o sulla superficie di un substrato in silicio o vetro. In questo modo la luce può essere portata fisicamente vicino ai chiplet senza dover ricorrere immediatamente a lunghi percorsi elettrici.
La struttura può essere vista, semplificando, come una serie di livelli sovrapposti: sopra si trovano i chip di calcolo e memoria, sotto l'elettronica necessaria alla gestione dei segnali e ancora più in basso il circuito fotonico e il substrato che contiene le guide d'onda.
Come viene trasformato il segnale
Il principio è relativamente semplice, anche se la sua implementazione è tutt'altro che banale. Un segnale elettrico proveniente dal chip viene utilizzato per modulare una sorgente luminosa. La luce modulata percorre quindi la guida d'onda e raggiunge la destinazione, dove viene nuovamente convertita in un segnale elettrico.
Tra i componenti utilizzabili troviamo modulatori Mach-Zehnder e risonatori ad anello. Questi ultimi sfruttano il comportamento della luce all'interno di una struttura ad anello per modificare selettivamente il segnale ottico.
Il vantaggio non consiste nel rendere il calcolo ottico. Il calcolo continua a essere eseguito dall'elettronica del processore. La luce viene utilizzata principalmente come mezzo estremamente efficiente per trasportare grandi quantità di dati.
Il laser è uno dei problemi più difficili
Integrare la fotonica vicino a un acceleratore introduce però un problema particolarmente delicato: la temperatura.
I laser utilizzati per generare il segnale ottico sono sensibili alle variazioni termiche. Un acceleratore AI, al contrario, è progettato per operare a potenze molto elevate e può generare una quantità considerevole di calore all'interno di uno spazio estremamente ridotto.
Per questo motivo una delle architetture studiate prevede di mantenere la sorgente laser al di fuori della zona più calda e di portare la luce all'interno del package attraverso una fibra. Il circuito fotonico vicino al processore deve quindi occuparsi principalmente della modulazione e della gestione del segnale.
Questa separazione permette di evitare di collocare una sorgente laser particolarmente sensibile direttamente accanto al punto più caldo del sistema, anche se introduce a sua volta nuovi problemi di accoppiamento ottico, affidabilità e assemblaggio.
Perché il vetro sta diventando interessante
Un altro elemento della transizione è il substrato del package.
I substrati organici utilizzati comunemente nei package avanzati sono estremamente efficaci per molte applicazioni, ma la fotonica impone requisiti differenti. Le guide d'onda richiedono geometrie molto precise, superfici controllate e caratteristiche ottiche stabili.
I substrati in vetro sono interessanti proprio perché possono offrire elevata planarità, buona stabilità dimensionale e la possibilità di integrare strutture ottiche oltre alle connessioni elettriche tradizionali.
Questo non significa però che il vetro sostituirà automaticamente il silicio o i substrati organici. La scelta dipenderà dal costo, dalla complessità produttiva, dalla compatibilità con i processi esistenti e dalla capacità di integrare contemporaneamente collegamenti elettrici e fotonici.
Il vantaggio non è soltanto la velocità
Il motivo per cui l'industria sta investendo in queste architetture non è semplicemente aumentare la velocità dei collegamenti.
Il parametro decisivo è l'energia necessaria per trasferire ogni bit. Quando un sistema deve spostare terabyte di dati ogni secondo, anche una piccola riduzione dell'energia consumata per bit può trasformarsi in decine o centinaia di watt risparmiati a livello dell'intero sistema.
Quell'energia può essere utilizzata per aumentare la capacità di calcolo, la memoria o semplicemente per mantenere il sistema entro i limiti termici del data center.
È un cambiamento importante nella progettazione degli acceleratori: l'interconnessione smette di essere un componente secondario e diventa una parte fondamentale dell'architettura.
Dalla comunicazione tra chip alla comunicazione tra acceleratori
Il potenziale della fotonica diventa ancora maggiore quando il problema viene osservato a livello di sistema.
I grandi modelli di intelligenza artificiale vengono distribuiti su decine, centinaia o migliaia di acceleratori. Questi componenti devono scambiarsi continuamente dati e sincronizzarsi durante l'elaborazione.
Se la capacità di calcolo cresce più rapidamente della rete che collega gli acceleratori, la rete diventa il collo di bottiglia. Le connessioni ottiche possono quindi permettere di aumentare la larghezza di banda senza far crescere nella stessa proporzione il consumo delle interconnessioni elettriche.
Questo non significa che gli acceleratori possano essere collocati a qualsiasi distanza mantenendo la stessa latenza di un collegamento interno al chip. La distanza continua a introdurre ritardo e la conversione tra elettrico e ottico non è gratuita. Il vantaggio consiste piuttosto nella possibilità di mantenere elevata la capacità di trasferimento anche quando il collegamento diventa fisicamente più lungo.
La prossima frontiera è il packaging
L'evoluzione degli acceleratori AI sta quindi spostando il problema delle prestazioni sempre più lontano dal singolo transistor. L'aumento della capacità di calcolo rende necessario spostare più dati, e spostare più dati rende sempre più importante l'efficienza delle interconnessioni.
La fotonica integrata nel packaging è una delle soluzioni più promettenti perché permette di avvicinare il punto di conversione ottica al processore e di ridurre la dipendenza da lunghi percorsi elettrici ad altissima velocità.
Ma trasformare questa idea in una tecnologia prodotta su larga scala è un problema molto più complesso della semplice realizzazione di una guida d'onda. Servono processi produttivi compatibili con il packaging dei semiconduttori, sistemi ottici affidabili, sorgenti laser efficienti, controllo termico e soprattutto costi sufficientemente bassi.
La direzione, però, è significativa. Quando il trasferimento dei dati consuma quasi quanto il calcolo che quei dati devono alimentare, continuare ad aumentare soltanto la potenza dei transistor non è più sufficiente. La prossima grande evoluzione degli acceleratori potrebbe quindi avvenire non dentro il die, ma nello spazio che lo circonda.
