Ogni richiesta che rivolgiamo a un sistema di intelligenza artificiale compie un percorso preciso. Parte dal nostro dispositivo, attraversa la rete, raggiunge un data center che ospita i modelli e la potenza di calcolo necessaria, e infine ritorna sotto forma di risposta. Per molto tempo questa è stata l’unica modalità possibile. Oggi, però, non è più un passaggio inevitabile.
La diffusione di modelli più compatti ed efficienti, insieme all’arrivo di processori progettati specificamente per l’AI, le cosiddette NPU, integrati in laptop, smartphone e server aziendali, rende possibile eseguire l’inferenza direttamente dove vengono generati i dati. L’inferenza locale, o on-device AI, consiste infatti nell’esecuzione di un modello di intelligenza artificiale sul dispositivo o all’interno dell’infrastruttura aziendale, senza trasferire i dati verso un cloud esterno.
Può sembrare un dettaglio tecnico, ma ha implicazioni molto concrete: influenza il luogo in cui un’organizzazione conserva le proprie informazioni, la velocità con cui riceve le risposte e i costi necessari per ottenerle. Non è una soluzione destinata a rimpiazzare il cloud, che continua a rappresentare l’opzione più efficace per gran parte dei carichi di lavoro, ma una possibilità aggiuntiva che ne amplia le alternative.
Il baricentro, del resto, si è già mosso. Il mercato dell’hardware per l’edge AI, secondo MarketsandMarkets, vale circa 26 miliardi di dollari nel 2025 e e ci si aspetta che entro il 2030 arrivi fino a quasi 59 miliardi. Una traiettoria chiara. Ma molto meno chiaro è come le singole imprese decideranno di attrezzarsi.
I vantaggi dell’inferenza locale: privacy del dato, latenza e continuità operativa
Le ragioni per tenere l’elaborazione dentro il perimetro aziendale, o direttamente sul dispositivo, non sono soltanto tecniche, significa mantenere i dati sensibili sotto il controllo diretto dell’organizzazione. C’è poi la velocità, perché una risposta che non deve attraversare mezzo continente arriva prima, con una latenza che non dipende più dalla qualità della rete. E c’è la continuità: un operatore in un impianto isolato, o un tecnico in mobilità, non può dipendere da una connessione al cloud che in quel momento magari non c’è.
Non stupisce, allora, che l’inferenza locale abbia smesso di essere un esercizio da laboratorio. La si trova già al lavoro nel controllo qualità di una linea produttiva, nell’assistenza sul campo, in tutte quelle applicazioni che maneggiano informazioni che è meglio non far circolare.
Sovranità tecnologica e governance del dato
Far girare i modelli sulle proprie macchine restituisce all’organizzazione un controllo diretto su tre cose che oggi contano parecchio: i dati, il modo in cui vengono trattati e le tecnologie su cui tutto si appoggia. Quando la dipendenza tecnologica diventa una questione di sovranità (e ormai lo è) poter scegliere dove e come far lavorare l’intelligenza artificiale è una forma concreta di autonomia.
C’è poi un aspetto meno visibile, ma destinato a diventare sempre più rilevante: la governance del dato. Con l’aumento dell’utilizzo dell’intelligenza artificiale nelle attività quotidiane, molte organizzazioni stanno ridefinendo le proprie policy per stabilire quali informazioni possano essere elaborate, dove possano essere trattate e secondo quali regole di controllo e tracciabilità.
L’inferenza locale offre una risposta concreta a queste esigenze.
Cloud o inferenza locale? Come scegliere caso per caso
I modelli di grandi dimensioni resteranno indispensabili quando c’è da ragionare su problemi complessi o attingere a enormi basi di conoscenza. Quelli piccoli se la caveranno benissimo con le attività ripetitive, le analisi rapide, le richieste su dati che conviene lasciare dove sono. L’utilizzo di una tecnologia non esclude l’altra, ma bisogna individuare bene dove far girare ogni cosa affinché renda al massimo.
La scelta di dove eseguire un modello si gioca su tre criteri:
- Sensibilità del dato: se l’informazione non può uscire dal perimetro aziendale, l’inferenza locale è l’unica opzione praticabile.
- Complessità del compito: ragionamenti articolati e accesso a basi di conoscenza molto ampie restano terreno dei modelli di grandi dimensioni nel cloud.
- Latenza e connettività: dove la risposta deve essere immediata o la rete non è garantita, l’elaborazione va portata sul dispositivo.
Cosa cambia per chi guida un’impresa
Ed è qui che la faccenda tocca da vicino chi guida un’impresa. Da un paio d’anni discutiamo quasi solo di modelli: qual è il più potente, il più recente, il più capace. Domanda legittima, ma insufficiente. Il vantaggio competitivo dei prossimi anni non lo darà l’accesso al modello migliore, che è destinato comunque a diventare una commodity buona per tutti. Il vantaggio arriverà dalla capacità di combinare e orchestrare i vari modelli con giudizio, decidendo di volta in volta dove eseguire ogni elaborazione.
di Vincenzo Carrea, Head of Artificial Intelligence di Indra Group in Italia
