PAIF – Fondazione privata per l’intelligenza artificiale

Un’infrastruttura AI che non compromette la sovranità dei dati

Infrastruttura AI nel tuo data center. Sovranità dei dati, costi prevedibili e operazioni pronte per la produzione per l’AI aziendale.

Avvia la valutazione PAIF

Esegui l’IA sulla tua infrastruttura, non su quella di qualcun altro

I carichi di lavoro di intelligenza artificiale nel cloud pubblico sono veloci da implementare, ma comportano rischi per la protezione dei dati, dipendenze a lungo termine e costi imprevedibili.

Private AI Foundation (PAIF) su VMware Cloud Foundation ti restituisce il controllo dell’infrastruttura di intelligenza artificiale. Domini dedicati per i carichi di lavoro, integrazione delle GPU e connettività nativa con i framework di intelligenza artificiale creano una piattaforma pronta per la produzione all’interno del tuo data center.

evoila progetta e implementa PAIF come parte del tuo stack VCF, dall’architettura alla messa in produzione.

I vantaggi per l’azienda in breve:

  • Sovranità dei dati: i modelli di IA e i dati di addestramento rimangono nel tuo data center, senza dipendere dal cloud pubblico e con il pieno controllo normativo
  • Costi prevedibili dell’IA: non ci sono costi variabili orari per le GPU nel cloud pubblico. Ci sono invece costi di infrastruttura calcolabili basati sul VCF.
  • Autonomia strategica nell’IA: la tua infrastruttura IA ti garantisce indipendenza dagli ecosistemi degli hyperscaler e dalle piattaforme IA proprietarie

L’IA senza il controllo dell’infrastruttura non è scalabile

Le decisioni relative ai dati, ai costi e all’architettura vengono prese al di fuori della tua organizzazione.

La sfida

Usa l’IA senza perdere il controllo della tua attività

L’intelligenza artificiale è ormai una competenza fondamentale. Le opportunità sono evidenti, ma spesso l’infrastruttura rallenta il passo successivo. L’IA sul cloud pubblico permette di fare esperimenti in fretta. La produzione richiede invece il controllo su dati, costi e conformità.
Allo stesso tempo, costruire un’infrastruttura di IA internamente richiede competenze in diversi ambiti.

L’infrastruttura GPU non si limita solo all’hardware

La scelta delle dimensioni, l’integrazione e il funzionamento richiedono esperienza in materia di architettura delle GPU, carichi di lavoro e progettazione delle piattaforme. Senza tutto questo, i sistemi rimangono sottoutilizzati o instabili.

La sovranità dei dati va garantita, non data per scontata

I servizi di cloud pubblico trasferiscono i dati di addestramento e i modelli al di fuori della tua organizzazione. Diventa difficile dimostrare il controllo normativo.

I carichi di lavoro dell’IA entrano in competizione con i sistemi di produzione

Senza isolamento, i carichi di lavoro dell’IA consumano risorse condivise. Le prestazioni diventano imprevedibili in entrambi gli ambienti.

I framework di intelligenza artificiale richiedono l’integrazione con l’infrastruttura

Strumenti non integrati rallentano lo sviluppo. Gli ingegneri hanno bisogno di accedere direttamente a framework come NVIDIA AI Enterprise direttamente dalla piattaforma.

Molte iniziative nel campo dell’IA si fermano prima di arrivare alla fase di produzione

Senza una strategia chiara per le infrastrutture, i carichi di lavoro pilota non si trasformano in servizi operativi.

La buona notizia: non devi creare una piattaforma di IA a parte

Lo estendi a quello che stai già utilizzando.

La nostra soluzione

PAIF come piattaforma di IA pronta per la produzione

Dal concetto di IA all’infrastruttura pronta per la produzione

Private AI Foundation amplia le funzionalità del VCF con capacità infrastrutturali specifiche per l’IA. evoila integra PAIF direttamente nel tuo ambiente. Definiamo in anticipo l’architettura, i domini dei carichi di lavoro, la configurazione delle GPU e le operazioni. In questo modo evitiamo che l’IA rimanga un esperimento isolato. Ecco cosa ti offriamo:

Progettazione e implementazione di domini di carico di lavoro per l’IA

Progettazione e implementazione di domini dedicati ai carichi di lavoro di IA all’interno di VCF. Isolati dai domini dei carichi di lavoro di produzione, con risorse di calcolo, archiviazione e rete dedicate ai carichi di lavoro di IA e agli host GPU.

Integrazione dell’infrastruttura GPU

Pianificazione e integrazione di host dotati di GPU nell’ambiente VCF, compreso il passthrough delle GPU e la configurazione delle vGPU, per supportare una vasta gamma di carichi di lavoro di intelligenza artificiale, dall’inferenza all’addestramento distribuito dei modelli.

Integrazione del framework di intelligenza artificiale

Integrazione di framework e piattaforme di intelligenza artificiale consolidati nell’infrastruttura PAIF. Ciò include NVIDIA AI Enterprise e ambienti di elaborazione basati su CUDA, oltre a pipeline di machine learning basate su container tramite VKS.

Progettazione dello storage ottimizzata dall’intelligenza artificiale

Configuriamo le classi di archiviazione vSAN in base ai requisiti specifici dell’IA. Questo garantisce un elevato throughput sequenziale per i dati di addestramento, una bassa latenza per i carichi di lavoro di inferenza e una capacità scalabile per gli artefatti dei modelli di grandi dimensioni.

Progettazione di rete per l’addestramento distribuito

Progettazione di reti ad alta velocità per la comunicazione da GPU a GPU durante l’addestramento distribuito dei modelli, con isolamento basato su NSX e percorsi di rete dedicati per il traffico AI.

Modello operativo e gestione del ciclo di vita

Definiamo un modello operativo per l’infrastruttura di IA, che comprende la gestione delle risorse GPU, la pianificazione dei carichi di lavoro, la pianificazione della capacità e l’integrazione nel framework di monitoraggio VCF.

Tech-Deep-Dive

L’architettura alla base di PAIF

PAIF come componente aggiuntivo nativo di VCF

La Private AI Foundation non è un prodotto a sé stante. Si tratta piuttosto di un framework aggiuntivo strutturato che estende VCF con concetti infrastrutturali specifici per l’IA. Al suo centro c’è il concetto di “AI Workload Domain”: un dominio VCF dedicato che comprende host con supporto GPU, classi di storage ottimizzate per l’IA e percorsi di rete isolati. È gestito interamente tramite il framework di gestione VCF e integrato nella gestione del ciclo di vita esistente.

Integrazione della GPU: passthrough e vGPU

PAIF supporta due modelli di virtualizzazione delle GPU, che Evoila implementa a seconda delle esigenze del carico di lavoro: il modello “GPU passthrough” dedica una GPU fisica interamente a una macchina virtuale per massimizzare le prestazioni durante l’addestramento di modelli ad alta intensità di calcolo, mentre il modello “vGPU” ripartisce le risorse della GPU tra più macchine virtuali per consentire un utilizzo efficiente nei carichi di lavoro di inferenza e negli ambienti di sviluppo. Evoila provvede alla distribuzione degli host GPU, configura gli stack dei driver e integra la piattaforma software NVIDIA AI Enterprise per supportare carichi di lavoro di IA pronti per la produzione.

Framework di intelligenza artificiale tramite Kubernetes

I carichi di lavoro di intelligenza artificiale basati su container vengono eseguiti tramite VMware Kubernetes Services sull’infrastruttura PAIF. Le pipeline di machine learning (ML), i processi di addestramento e i servizi di inferenza vengono distribuiti come carichi di lavoro Kubernetes. Le richieste di risorse GPU vengono effettuate tramite il plugin NVIDIA Device. Harbor viene utilizzato come registro privato di modelli e immagini, mentre Velero serve per il backup dei checkpoint durante i processi di addestramento di lunga durata.

Architettura di archiviazione per carichi di lavoro di intelligenza artificiale

I carichi di lavoro basati sull’intelligenza artificiale hanno requisiti di archiviazione specifici. I set di dati di addestramento richiedono un elevato throughput di lettura sequenziale, l’archiviazione dei checkpoint richiede una bassa latenza e gli artefatti dei modelli richiedono una capacità scalabile. evoila configura classi di archiviazione vSAN differenziate per soddisfare questi requisiti. Ciò include l’architettura ESA per i percorsi critici in termini di prestazioni e classi ottimizzate in termini di costi per l’archiviazione di grandi volumi di dati.

Isolamento di rete e interconnessione delle GPU

I domini dei carichi di lavoro AI sono isolati dalla rete tramite NSX. I carichi di lavoro AI non hanno accesso incontrollato ai sistemi di produzione. Per l’addestramento distribuito dei modelli, evoila configura percorsi di rete dedicati e ad alta velocità per il traffico di interconnessione delle GPU, separati dalla normale rete dati delle VM. Questo riduce il sovraccarico di rete per i processi di addestramento distribuito e impedisce che i carichi di lavoro di produzione subiscano conflitti di risorse.

Vantaggi tecnici

Usa l’IA senza dover scendere a compromessi sull’infrastruttura

Ambiti dedicati ai carichi di lavoro basati sull’intelligenza artificiale

Isolamento completo dei carichi di lavoro di IA e di produzione a livello di infrastruttura senza conflitti sulle risorse

Virtualizzazione flessibile della GPU

Pass-through della GPU per le massime prestazioni di addestramento, vGPU per un’inferenza efficiente e ambienti di sviluppo

Profili di archiviazione ottimizzati con l’IA

Profili vSAN differenziati per dati di addestramento, checkpoint e artefatti dei modelli con prestazioni ESA

Pipeline di ML native per container

Carichi di lavoro di intelligenza artificiale come job Kubernetes tramite VKS con richieste di risorse GPU e Harbor come registro dei modelli

Isolamento dei carichi di lavoro in NSX

Percorsi di rete dedicati per il traffico di interconnessione delle GPU, isolati dai segmenti di rete di produzione

Gestione unificata del ciclo di vita

L’infrastruttura PAIF è gestita interamente tramite VCF, quindi non serve una gestione separata dell’infrastruttura di intelligenza artificiale.

Il tuo partner ideale

Ti serve un partner per il full stack

Gestire un’infrastruttura di IA sul tuo hardware richiede esperienza con VCF, sistemi GPU e carichi di lavoro di IA.
È una combinazione piuttosto rara. evoila riunisce competenze sulla piattaforma, integrazione delle GPU ed esperienza operativa. PAIF viene implementato come parte integrante del tuo ambiente, non come soluzione separata. Ti accompagniamo dalla progettazione dell’infrastruttura fino al tuo primo carico di lavoro di IA produttivo.

Ci basiamo su VMware Cloud Foundation

Gestire un’infrastruttura di IA sul tuo hardware richiede una combinazione di competenze sulla piattaforma VCF, know-how sull’infrastruttura GPU e una comprensione delle caratteristiche dei carichi di lavoro di IA. Questa combinazione è rara. evoila riunisce tutti e tre questi elementi.

Progettiamo infrastrutture GPU per carichi di lavoro reali

In evoila, PAIF è implementato come parte dello stack VCF, non come piattaforma a sé stante. Con la progettazione di rete NSX, l’architettura di storage vSAN, l’integrazione con VKS e un modello operativo che garantisce la gestibilità a lungo termine.

Portiamo i carichi di lavoro basati sull’IA in produzione

Per le aziende che stanno passando dai progetti pilota di IA nel cloud pubblico a un’infrastruttura on-premise pronta per la produzione, evoila è un partner affidabile. Dalla strategia infrastrutturale al primo carico di lavoro di IA in produzione.

Collaborazioni

Tecnologie e partner

Realizzato su piattaforme aziendali collaudate e in collaborazione con partner dell’ecosistema.

PAIF
Broadcom

GPU
NVIDIA

Contatta il nostro team che si occupa dell’infrastruttura AI

Ti aiutiamo a progettare e implementare un’infrastruttura di intelligenza artificiale che funzioni in produzione.

Christopher Mack

Christopher Mack

Cloud Engineer Associate

FAQs

Domande frequenti sul PAIF

Private AI Foundation è un’estensione di VCF che ti permette di creare un’infrastruttura di IA all’interno del tuo data center. I dati e i modelli rimangono sotto il tuo controllo, mentre i costi e la conformità restano prevedibili.

PAIF supporta le GPU NVIDIA come acceleratore principale. La qualificazione avviene tramite la matrice di compatibilità VMware-NVIDIA. Nell’ambito della valutazione di idoneità PAIF, evoila si occupa della qualificazione hardware, del dimensionamento e della configurazione dello stack dei driver, e consiglia il passthrough della GPU o la vGPU in base ai requisiti specifici del carico di lavoro.

Sì. PAIF si integra negli ambienti VCF esistenti come componente aggiuntivo, aggiungendo host compatibili con le GPU e configurando domini dedicati ai carichi di lavoro di IA. Durante la valutazione, evoila analizza l’ambiente esistente e sviluppa un piano di espansione senza influire sui carichi di lavoro di produzione.

I domini dei carichi di lavoro AI sono domini VCF dedicati, dotati di risorse di elaborazione, archiviazione e rete proprie. NSX garantisce l’isolamento a livello di rete. I carichi di lavoro AI non hanno accesso incontrollato ai sistemi di produzione. La contesa delle risorse viene impedita a livello strutturale, non solo tramite politiche di scheduling.

I framework di ML basati su container vengono eseguiti tramite VKS sull’infrastruttura PAIF, utilizzando le richieste di risorse GPU tramite il plugin NVIDIA Device, Harbor come registro privato dei modelli e Velero per il backup dei checkpoint. NVIDIA AI Enterprise offre versioni ottimizzate dei framework per gli ambienti VMware.