PAIF – Prywatna Fundacja Sztucznej Inteligencji

Infrastruktura sztucznej inteligencji, która nie narusza suwerenności danych

Infrastruktura AI we własnym centrum danych. Suwerenność danych, przewidywalne koszty i gotowość operacyjna do wdrożenia AI na skalę korporacyjną.

Rozpocznij ocenę PAIF

Korzystaj z sztucznej inteligencji we własnej infrastrukturze, a nie w cudzej

Obliczenia związane ze sztuczną inteligencją w chmurze publicznej można szybko wdrożyć, jednak wiążą się one z ryzykiem w zakresie ochrony danych, długoterminową zależnością oraz nieprzewidywalnymi kosztami.

Private AI Foundation (PAIF) w ramach VMware Cloud Foundation pozwala ponownie przejąć kontrolę nad infrastrukturą sztucznej inteligencji. Dedykowane domeny obciążeń, integracja z procesorami graficznymi (GPU) oraz natywna łączność z frameworkami AI tworzą gotową do wdrożenia w środowisku produkcyjnym platformę w Twoim własnym centrum danych.

Firma evoila projektuje i wdraża system PAIF jako część środowiska VCF, od etapu projektowania architektury aż po operacyjną eksploatację.

Przegląd korzyści biznesowych:

  • Suwerenność danych: modele sztucznej inteligencji i dane szkoleniowe pozostają w Twoim własnym centrum danych, bez uzależnienia od chmury publicznej i przy zachowaniu pełnej kontroli regulacyjnej
  • Przewidywalne koszty związane ze sztuczną inteligencją: w chmurze publicznej nie ma zmiennych kosztów godzinowych związanych z wykorzystaniem procesorów graficznych (GPU). Zamiast tego występują możliwe do obliczenia koszty infrastruktury oparte na modelu VCF.
  • Strategiczna autonomia w zakresie sztucznej inteligencji: Własna infrastruktura AI zapewnia niezależność od ekosystemów hiper-skalerów i zastrzeżonych platform AI

Sztuczna inteligencja bez kontroli nad infrastrukturą nie pozwala na skalowanie

Decyzje dotyczące danych, kosztów i architektury są podejmowane poza Twoją organizacją.

Wyzwanie

Wykorzystaj sztuczną inteligencję tak, by Twoja firma zachowała kontrolę

Sztuczna inteligencja stała się obecnie kluczową kompetencją. Szanse są oczywiste, ale infrastruktura często spowalnia podjęcie kolejnego kroku. Sztuczna inteligencja w chmurze publicznej umożliwia szybkie przeprowadzanie eksperymentów. Wdrożenie produkcyjne wymaga kontroli nad danymi, kosztami i zgodnością z przepisami.
Jednocześnie budowa wewnętrznej infrastruktury sztucznej inteligencji wymaga wiedzy specjalistycznej z wielu dziedzin.

Infrastruktura GPU to coś więcej niż tylko sprzęt

Dobór rozmiarów, integracja i eksploatacja wymagają doświadczenia w zakresie architektury procesorów graficznych, obciążeń roboczych oraz projektowania platform. Bez tego systemy pozostają niewykorzystane lub niestabilne.

Suwerenność danych należy egzekwować, a nie traktować jako coś oczywistego

Usługi w chmurze publicznej powodują przeniesienie danych szkoleniowych i modeli poza organizację. Trudno jest wówczas wykazać zgodność z przepisami.

Obciążenia związane ze sztuczną inteligencją konkurują z systemami produkcyjnymi

Bez izolacji obciążenia związane ze sztuczną inteligencją zużywają wspólne zasoby. Wydajność staje się nieprzewidywalna w obu środowiskach.

Platformy sztucznej inteligencji wymagają integracji z infrastrukturą

Brak integracji narzędzi spowalnia proces rozwoju. Inżynierowie potrzebują bezpośredniego dostępu do frameworków, takich jak NVIDIA AI Enterprise, w ramach platformy.

Wiele projektów związanych ze sztuczną inteligencją kończy się przed wdrożeniem do produkcji

Bez jasnej strategii infrastrukturalnej pilotażowe obciążenia nie przekształcają się w usługi produkcyjne.

Dobra wiadomość: nie musisz tworzyć osobnej platformy AI

Rozbudowujesz tę, którą już prowadzisz.

Nasze rozwiązanie

PAIF jako platforma AI gotowa do wdrożenia w środowisku produkcyjnym

Od koncepcji sztucznej inteligencji do infrastruktury gotowej do wdrożenia

Fundacja Private AI Foundation rozszerza platformę VCF o funkcje infrastruktury przeznaczonej specjalnie dla sztucznej inteligencji. evoila integruje PAIF bezpośrednio z Twoim środowiskiem. Z góry określamy architekturę, obszary obciążeń, konfigurację procesorów graficznych (GPU) oraz procedury operacyjne. Dzięki temu sztuczna inteligencja nie pozostaje jedynie odizolowanym eksperymentem. Co oferujemy:

Projektowanie i wdrażanie domen obciążeń związanych ze sztuczną inteligencją

Projektowanie i wdrażanie dedykowanych domen obciążeń AI w ramach VCF. Domena ta jest odizolowana od domen obciążeń produkcyjnych i dysponuje dedykowanymi zasobami obliczeniowymi, pamięcią masową oraz sieciami przeznaczonymi dla obciążeń AI i hostów z procesorami graficznymi (GPU).

Integracja infrastruktury GPU

Planowanie i integracja hostów obsługujących procesory graficzne (GPU) ze środowiskiem VCF, w tym konfiguracja funkcji passthrough GPU oraz vGPU, w celu obsługi szerokiego zakresu obciążeń związanych ze sztuczną inteligencją, od wnioskowania po rozproszone uczenie modeli.

Integracja platformy sztucznej inteligencji

Włączenie sprawdzonych frameworków i platform sztucznej inteligencji do infrastruktury PAIF. Obejmuje to NVIDIA AI Enterprise i środowiska obciążeń oparte na CUDA, a także oparte na kontenerach potoki przetwarzania uczenia maszynowego za pośrednictwem VKS.

Konstrukcja pamięci masowej zoptymalizowana pod kątem sztucznej inteligencji

Konfigurujemy klasy pamięci masowej vSAN pod kątem wymagań związanych ze sztuczną inteligencją. Zapewnia to wysoką przepustowość sekwencyjną dla danych szkoleniowych, niskie opóźnienia w przypadku obciążeń związanych z wnioskowaniem oraz skalowalną pojemność dla dużych artefaktów modeli.

Projekt sieci do uczenia rozproszonego

Projektowanie szybkich sieci do komunikacji między procesorami graficznymi (GPU) podczas rozproszonego uczenia modeli, z wykorzystaniem izolacji opartej na platformie NSX oraz dedykowanych ścieżek sieciowych dla ruchu związanego ze sztuczną inteligencją.

Model operacyjny i zarządzanie cyklem życia

Określamy model operacyjny infrastruktury sztucznej inteligencji, obejmujący zarządzanie zasobami procesorów graficznych (GPU), planowanie obciążeń, planowanie wydajności oraz integrację z platformą monitorowania VCF.

Dogłębna analiza technologii

Architektura systemu PAIF

PAIF jako natywny dodatek do VCF

Private AI Foundation nie jest odrębnym produktem. Jest to raczej ustrukturyzowana platforma rozszerzająca VCF o koncepcje infrastruktury specyficzne dla sztucznej inteligencji. Jej podstawą jest koncepcja domeny obciążenia AI (AI Workload Domain): dedykowana domena VCF składająca się z hostów obsługujących procesory graficzne (GPU), klas pamięci masowej zoptymalizowanych pod kątem sztucznej inteligencji oraz izolowanych ścieżek sieciowych. Jest ona w pełni zarządzana za pośrednictwem platformy zarządzania VCF i zintegrowana z istniejącym systemem zarządzania cyklem życia.

Integracja procesorów graficznych: tryb passthrough i vGPU

PAIF obsługuje dwa modele wirtualizacji procesorów graficznych, które Evoila wdraża w zależności od wymagań obciążenia: model „GPU passthrough” przeznacza fizyczny procesor graficzny w całości na maszynę wirtualną w celu maksymalizacji wydajności podczas wymagającego obliczeniowo szkolenia modeli, natomiast model „vGPU” dzieli zasoby procesora graficznego między wiele maszyn wirtualnych, umożliwiając ich efektywne wykorzystanie w zadaniach wnioskowania oraz w środowiskach programistycznych. Evoila zapewnia hosty z procesorami graficznymi, konfiguruje stosy sterowników oraz integruje platformę oprogramowania NVIDIA AI Enterprise w celu obsługi obciążeń AI gotowych do wdrożenia w środowisku produkcyjnym.

Frameworki AI za pośrednictwem Kubernetes

Obciążenia związane ze sztuczną inteligencją oparte na kontenerach są uruchamiane za pośrednictwem usług VMware Kubernetes Services w infrastrukturze PAIF. Potoki uczenia maszynowego (ML), zadania szkoleniowe i usługi wnioskowania są wdrażane jako obciążenia Kubernetes. Żądania zasobów GPU są składane za pośrednictwem wtyczki NVIDIA Device Plugin. Harbor służy jako prywatny rejestr modeli i obrazów, a Velero jest wykorzystywane do tworzenia kopii zapasowych punktów kontrolnych podczas długotrwałych zadań szkoleniowych.

Architektura pamięci masowej dla obciążeń związanych ze sztuczną inteligencją

Obciążenia związane ze sztuczną inteligencją mają specyficzne wymagania dotyczące pamięci masowej. Zbiory danych szkoleniowych wymagają wysokiej przepustowości odczytu sekwencyjnego, pamięć dla punktów kontrolnych wymaga niskiego opóźnienia, a artefakty modeli wymagają skalowalnej pojemności. evoila konfiguruje zróżnicowane klasy pamięci masowej vSAN, aby spełnić te wymagania. Obejmuje to architekturę ESA dla ścieżek o krytycznym znaczeniu dla wydajności oraz klasy zoptymalizowane pod kątem kosztów do przechowywania dużych ilości danych.

Izolacja sieciowa i połączenia między procesorami graficznymi

Domeny obciążeń AI są odizolowane od sieci za pomocą NSX. Obciążenia AI nie mają niekontrolowanego dostępu do systemów produkcyjnych. W przypadku rozproszonego uczenia modeli evoila konfiguruje dedykowane, szybkie ścieżki sieciowe dla ruchu między procesorami graficznymi (GPU), które są oddzielone od zwykłej sieci danych maszyn wirtualnych. Zmniejsza to obciążenie sieci związane z rozproszonymi zadaniami uczenia i zapobiega konfliktom o zasoby w obciążeniach produkcyjnych.

Zalety techniczne

Korzystaj z AI bez konieczności rezygnacji z infrastruktury

Dedykowane domeny obciążeń związanych ze sztuczną inteligencją

Całkowita izolacja obciążeń związanych ze sztuczną inteligencją i produkcją na poziomie infrastruktury bez konfliktów o zasoby

Elastyczna wirtualizacja procesorów graficznych

Przepustowość GPU zapewniająca maksymalną wydajność uczenia, a także vGPU zapewniające wydajne środowiska wnioskowania i programowania

Profile przechowywania zoptymalizowane pod kątem sztucznej inteligencji

Zróżnicowane profile vSAN dla danych szkoleniowych, punktów kontrolnych i artefaktów modeli z wydajnością ESA

Pipeline’y uczenia maszynowego oparte na kontenerach

Obciążenia AI jako zadania Kubernetes za pośrednictwem VKS z żądaniami zasobów GPU oraz Harbor jako rejestr modeli

Izolacja obciążeń w NSX

Wydzielone ścieżki sieciowe dla ruchu międzyprocesorowego GPU, odizolowane od segmentów sieci produkcyjnej

Zintegrowane zarządzanie cyklem życia

Infrastruktura PAIF jest w całości zarządzana za pośrednictwem systemu VCF, więc nie ma potrzeby oddzielnego zarządzania infrastrukturą AI.

Twój idealny partner

Do obsługi pełnego stosu potrzebny jest jeden partner

Uruchomienie infrastruktury AI na własnym sprzęcie wymaga doświadczenia w zakresie VCF, systemów GPU oraz obciążeń związanych z AI.
Takie połączenie umiejętności jest rzadkością. evoila łączy w sobie wiedzę specjalistyczną dotyczącą platformy, integrację GPU oraz doświadczenie operacyjne. PAIF jest wdrażany jako integralna część Państwa środowiska, a nie jako odrębny element. Towarzyszymy Państwu od etapu projektowania infrastruktury aż po uruchomienie pierwszego produkcyjnego obciążenia AI.

Korzystamy z platformy VMware Cloud Foundation

Uruchamianie infrastruktury sztucznej inteligencji na własnym sprzęcie wymaga połączenia wiedzy specjalistycznej w zakresie platformy VCF, doświadczenia w zakresie infrastruktury GPU oraz zrozumienia specyfiki obciążeń związanych ze sztuczną inteligencją. Takie połączenie jest rzadkością. evoila łączy w sobie wszystkie te trzy elementy.

Projektujemy infrastrukturę opartą na procesorach graficznych (GPU) z myślą o rzeczywistych obciążeniach

W evoila rozwiązanie PAIF jest wdrażane jako część stosu VCF, a nie jako oddzielna platforma. Obejmuje to projekt sieci oparty na NSX, architekturę pamięci masowej vSAN, integrację z VKS oraz model operacyjny zapewniający długoterminową łatwość zarządzania.

Wdrażamy obciążenia związane ze sztuczną inteligencją do środowiska produkcyjnego

Dla firm, które przenoszą rozwiązania AI z pilotażowych projektów w chmurze publicznej do gotowej do produkcji infrastruktury lokalnej, evoila pełni rolę partnera zapewniającego kompleksowe wsparcie. Od strategii infrastrukturalnej po pierwsze produkcyjne obciążenie AI.

Partnerstwa

Technologie i partnerzy

Oparte na sprawdzonych platformach korporacyjnych i partnerach z ekosystemu.

PAIF
Broadcom

Karta graficzna
NVIDIA

Skontaktuj się z naszym zespołem ds. infrastruktury sztucznej inteligencji

Pomagamy w projektowaniu i wdrażaniu infrastruktury sztucznej inteligencji, która sprawdza się w środowisku produkcyjnym.

Christopher Mack

Christopher Mack

Cloud Engineer Associate

Najczęściej zadawane pytania

Najczęściej zadawane pytania dotyczące PAIF

Private AI Foundation to dodatek do platformy VCF, który pozwala zbudować infrastrukturę sztucznej inteligencji w Twoim centrum danych. Dane i modele pozostają pod Twoją kontrolą, a koszty i zgodność z przepisami są przewidywalne.

PAIF obsługuje procesory graficzne NVIDIA jako główny akcelerator. Kwalifikacja odbywa się na podstawie tabeli zgodności VMware-NVIDIA. W ramach oceny gotowości PAIF firma evoila zajmuje się kwalifikacją sprzętu, doborem odpowiedniej konfiguracji oraz konfiguracją stosu sterowników, a także zaleca zastosowanie przepustowości GPU lub vGPU w zależności od konkretnych wymagań obciążenia.

Tak. Rozwiązanie PAIF integruje się z istniejącymi środowiskami VCF jako dodatek poprzez dodanie hostów obsługujących procesory graficzne (GPU) oraz skonfigurowanie dedykowanych domen obciążeń AI. W trakcie oceny firma evoila analizuje istniejące środowisko i opracowuje plan rozbudowy bez zakłócania pracy obciążeń produkcyjnych.

Domeny obciążeń AI to dedykowane domeny VCF, dysponujące własnymi zasobami obliczeniowymi, pamięcią masową i sieciami. NSX zapewnia izolację na poziomie sieci. Obciążenia AI nie mają niekontrolowanego dostępu do systemów produkcyjnych. Konflikty o zasoby są zapobiegane na poziomie struktury, a nie tylko poprzez zasady planowania.

Frameworki uczenia maszynowego oparte na kontenerach działają za pośrednictwem VKS w infrastrukturze PAIF — wykorzystując żądania zasobów GPU za pomocą wtyczki NVIDIA Device Plugin, Harbor jako prywatny rejestr modeli oraz Velero do tworzenia kopii zapasowych punktów kontrolnych. NVIDIA AI Enterprise zapewnia zoptymalizowane wersje frameworków dla środowisk VMware.