Bezpieczeństwo sztucznej inteligencji

Twórz rozwiązania oparte na sztucznej inteligencji, którym możesz zaufać

evoila pomaga zabezpieczyć tworzone przez Ciebie aplikacje oparte na sztucznej inteligencji, eliminując nowe zagrożenia związane z modelami językowymi (LLM) jeszcze przed ich wdrożeniem do produkcji.

Porozmawiajmy o bezpieczeństwie sztucznej inteligencji

Praktyki w zakresie bezpieczeństwa nie nadążają jeszcze za zmianami. Pomagamy Państwu wypełnić tę lukę.

Generatywna sztuczna inteligencja wdraża się do produktów szybciej, niż większość praktyk bezpieczeństwa jest w stanie za tym nadążyć. Funkcje oparte na modelach LLM niosą ze sobą zagrożenia, do wykrywania których tradycyjne narzędzia bezpieczeństwa nie zostały zaprojektowane, w tym wstrzykiwanie promptów, wyciek danych wrażliwych poprzez odpowiedzi modeli oraz nadużywanie dostępu modelu do systemów wewnętrznych. evoila pomaga zespołom inżynierów zabezpieczać te aplikacje w miarę ich przechodzenia od etapu prototypu do wdrożenia produkcyjnego. Jest to coraz ważniejsza część naszego portfolio, a zakres naszych usług jasno określamy już podczas pierwszej rozmowy.

  • Nowe zagrożenia związane ze sztuczną inteligencją, zidentyfikowane przed uruchomieniem funkcji
  • Rygorystyczne podejście do bezpieczeństwa aplikacji w odniesieniu do obciążeń związanych z modelami językowymi (LLM) i sztuczną inteligencją (AI)
  • Raczej uczciwy i praktyczny punkt wyjścia niż marketingowy szum

Te luki w zabezpieczeniach są już wykorzystywane w praktyce

Funkcja oparta na sztucznej inteligencji, która trafia do użytku bez przeprowadzenia oceny bezpieczeństwa, stanowi punkt podatny na ataki, którego większość osób w Twojej organizacji jeszcze nie rozumie.

Wyzwanie

Nowe możliwości powodują powstanie nowej powierzchni ataku

Zespoły szybko wprowadzają na rynek funkcje oparte na sztucznej inteligencji, często łącząc duże modele językowe (LLM) z wewnętrznymi danymi i narzędziami, aby zapewnić ich użyteczność. Ta właśnie użyteczność stanowi jednocześnie zagrożenie. Model, który potrafi odczytywać dokumenty lub wyzwalać działania, może zostać zmanipulowany tak, by działał wbrew interesom organizacji. Większość programów bezpieczeństwa nie zna jeszcze wszystkich scenariuszy awarii, a presja związana z wprowadzaniem funkcji opartych na sztucznej inteligencji pozostawia niewiele miejsca na ich dokładne przemyślenie. W ten sposób nowa powierzchnia ataku trafia do środowiska produkcyjnego, zanim organizacja zdąży się do tego przygotować.

Natychmiastowe wstrzyknięcie to fakt

Specjalnie spreparowane dane wejściowe, czasami ukryte w dokumencie odczytywanym przez model, mają pierwszeństwo przed instrukcjami programisty. Większość współczesnych aplikacji nie posiada zabezpieczeń przed tym zagrożeniem.

Dane wrażliwe trafiają do odpowiedzi

Wyniki działania modelu mogą powodować, że dane wewnętrzne dotrą dalej, niż było to zamierzone. Poufne treści, które trafiają do modelu, mają tendencję do ponownego pojawiania się tam, gdzie nie powinny.

Można manipulować agentami posiadającymi uprawnienia dostępu

Agent oparty na sztucznej inteligencji, który może wysyłać zapytania do baz danych lub uruchamiać działania, staje się celem o dużej wartości. Udana manipulacja sprawia, że dostęp modelu staje się dostępem atakującego.

Do ryzyka technicznego dochodzi jeszcze regulacja

Unijna ustawa o sztucznej inteligencji nakłada na wyzwania techniczne dodatkowe obowiązki w zakresie zarządzania. Zespoły opracowujące funkcje oparte na sztucznej inteligencji muszą teraz uwzględniać oba te aspekty jednocześnie.

Dobra wiadomość: w dziedzinie bezpieczeństwa sztucznej inteligencji nie zaczynamy od zera

Istnieje odpowiednia dyscyplina. Istnieją odpowiednie narzędzia. Należy je zastosować w odpowiednich miejscach aplikacji i powiązać z otaczającym ją modelem zarządzania.

Nasze rozwiązanie

Bezpieczeństwo aplikacji w przypadku obciążeń związanych ze sztuczną inteligencją

Firma evoila traktuje bezpieczeństwo sztucznej inteligencji jako ukierunkowane rozszerzenie bezpieczeństwa aplikacji. Oceniamy tworzone przez Państwa funkcje oparte na sztucznej inteligencji, identyfikujemy obszary, w których model stwarza ryzyko, oraz pomagamy wdrożyć odpowiednie zabezpieczenia przed wprowadzeniem produktu na rynek. W naszej pracy opieramy się na najnowszych wytycznych branżowych, w tym na liście OWASP Top 10 dla aplikacji opartych na modelach językowych (LLM), a także na zasadach bezpieczeństwa aplikacji, które stosujemy już w ramach DevSecOps.

Ocena ryzyka związanego ze sztuczną inteligencją

Przed uruchomieniem funkcji sprawdzamy Państwa aplikację LLM pod kątem znanych zagrożeń, takich jak wstrzykiwanie promptów, ujawnianie danych oraz niebezpieczne zachowanie modelu.

Wytyczne dotyczące bezpiecznego projektowania

Doradzamy w zakresie przetwarzania danych wejściowych, filtrowania danych wyjściowych oraz określania zakresu dostępu modelu do narzędzi i danych, tak aby funkcja ta pozostawała użyteczna, a jednocześnie nie była zbyt liberalna.

Ochrona danych

Ograniczamy ryzyko, że treści wrażliwe trafią do modelu lub pojawią się ponownie w odpowiedziach, poprzez analizę przepływu danych, granic kontekstowych oraz sposobu przetwarzania wyników.

Testowanie

Przed wprowadzeniem na rynek sprawdzamy funkcje sztucznej inteligencji pod kątem możliwości manipulacji, niezamierzonych zachowań oraz niebezpiecznych sytuacji granicznych.

Link dotyczący zarządzania

W obszarach, w których istotne znaczenie ma zarządzanie, łączymy zabezpieczenia techniczne z przygotowaniami do unijnej ustawy o sztucznej inteligencji poprzez praktykę GRC firmy evoila, tak aby środki bezpieczeństwa i obowiązki w zakresie zgodności były ze sobą spójne.

Dogłębna analiza technologii

Gdzie faktycznie tkwi ryzyko związane ze sztuczną inteligencją

Zabezpieczenie aplikacji opartej na sztucznej inteligencji wymaga przeanalizowania modelu, danych oraz powiązań z pozostałymi systemami.

Granica wejściowa

Wstrzyknięcie podpowiedzi to charakterystyczne zagrożenie związane ze sztuczną inteligencją: niezaufane dane wejściowe, czasami ukryte w dokumencie odczytywanym przez model, mają pierwszeństwo przed instrukcjami programisty. Przyglądamy się, w jaki sposób Twoja aplikacja oddziela zaufane instrukcje od niezaufanych treści oraz gdzie należy zastosować walidację danych wejściowych i mechanizmy zabezpieczające.

Granica wyjściowa

Odpowiedzi generowane przez model mogą ujawniać dane wrażliwe lub przenosić niebezpieczne treści do kolejnych systemów. Analizujemy filtrowanie wyników oraz sposób obsługi odpowiedzi po opuszczeniu modelu.

Dostęp i sprawczość

Gdy model LLM może uruchamiać narzędzia, wysyłać zapytania do baz danych lub inicjować działania, skutki udanej manipulacji stają się coraz poważniejsze. Oceniamy, na ile ściśle określono zakres uprawnień modelu oraz czy działania o poważnych konsekwencjach wymagają dodatkowych kontroli.

Metoda i normy

Dostosowujemy się do najnowszych wytycznych, takich jak lista OWASP Top 10 dotycząca aplikacji opartych na modelach językowych (LLM), i stosujemy to samo podejście do testowania, jakie wykorzystujemy podczas testów penetracyjnych oraz w ramach działań DevSecOps. Tam, gdzie istotne są kwestie zarządzania, w ramach naszej praktyki GRC wspieramy przygotowania do unijnej ustawy o sztucznej inteligencji.

Zalety techniczne

Sześć rzeczy, które warto poprawić przed wydaniem produktu

1. Odporność na wstrzyknięcia

Przed uruchomieniem sprawdzono obsługę danych wejściowych oraz mechanizmy zabezpieczające pod kątem możliwości wstrzyknięcia treści z linii poleceń.

2. Mniejsze ryzyko ujawnienia danych

Filtrowanie wyników i ograniczanie zakresu danych zmniejszają ryzyko, że poufne treści trafią do odpowiedzi generowanych przez model.

3. Dostęp agentów w określonym zakresie

Uprawnienia do narzędzi i danych należy ograniczyć do minimum niezbędnego do realizacji danej funkcji.

4. Ocena oparta na standardach

Zgodne z wytycznymi OWASP dotyczącymi aplikacji opartych na modelach językowych (LLM), a nie z wewnętrznymi listami kontrolnymi.

5. Środki zabezpieczające dostosowane do wymogów w zakresie zarządzania

Bezpośrednie rozwiązanie zapewniające spełnienie wymogów unijnej ustawy o sztucznej inteligencji, gdy wymaga tego harmonogram wdrażania.

6. Przetestowane przed wysyłką

Praktyczne testowanie pod kątem możliwości manipulacji i niepożądanych zachowań, a nie tylko przegląd dokumentacji.

Twój idealny partner

Ugruntowana dyscyplina, zastosowana w odniesieniu do nowego ryzyka

Bezpieczeństwo sztucznej inteligencji to nowa dziedzina. Jednak sama dyscyplina, która za nią stoi, nie jest nowa. evoila wykorzystuje sprawdzone doświadczenie w zakresie bezpieczeństwa aplikacji i testowania, zdobyte w ramach DevSecOps oraz testów penetracyjnych, i stosuje je w aplikacjach opartych na modelach LLM. Temu towarzyszy praktyka w zakresie GRC, która już teraz uwzględnia unijną ustawę o sztucznej inteligencji, dzięki czemu zabezpieczenia techniczne i obowiązki w zakresie zarządzania są ze sobą zharmonizowane, a nie rozbieżne. evoila świadomie planuje rozwój tej oferty i od pierwszej rozmowy jasno określa jej zakres.

Posiada certyfikat ISO 27001

Nasze procedury bezpieczeństwa spełniają wymagania normy poddanej niezależnemu audytowi.

Zgodność z listą OWASP LLM Top 10

Oceniamy ryzyko związane z wdrażaniem modeli językowych (LLM) w oparciu o uznane standardy referencyjne.

DevSecOps i praktyka testów penetracyjnych

Praktyczne doświadczenie w testowaniu, a nie tylko przegląd dokumentacji.

Działania w zakresie GRC w ramach przygotowań do wejścia w życie unijnej ustawy o sztucznej inteligencji

Środki zabezpieczeń technicznych i obowiązki regulacyjne zebrane w jednym miejscu.

Technologie i partnerzy

Oparte na metodologii, niezależne od narzędzi

Nasze działania w zakresie bezpieczeństwa sztucznej inteligencji opierają się na liście OWASP Top 10 dla aplikacji wykorzystujących duże modele językowe (LLM) oraz na narzędziach do zapewniania bezpieczeństwa aplikacji stosowanych w ramach naszej praktyki DevSecOps. Współpracujemy z naszym zespołem ds. testów penetracyjnych w celu przeprowadzania praktycznych ocen oraz z działem GRC w zakresie przygotowań do wdrożenia unijnej ustawy o sztucznej inteligencji. Firma evoila posiada certyfikat ISO 27001.


Usługi i oferty dla początkujących

Zacznij od konkretnego zastosowania. Rozszerzaj skalę w miarę rozwoju potrzeb.

1 | Ocena bezpieczeństwa w zakresie sztucznej inteligencji

Szczegółowa ocena funkcji sztucznej inteligencji, interakcji między modelami, przepływów danych oraz uprawnień użytkowników. W pierwszej kolejności identyfikujemy najważniejsze zagrożenia, w tym wstrzyknięcie treści do poleceń, ujawnienie danych, niebezpieczne wyniki oraz nadmierny dostęp.

2 | Zalecenia dotyczące bezpieczeństwa od samego początku

Praktyczne wskazówki dotyczące wbudowania zabezpieczeń w funkcję już na samym początku — obejmujące kontrolę danych wejściowych i wyjściowych, granice danych, uprawnienia, testowanie oraz wymagania dotyczące zarządzania przed wydaniem.

Funkcje sztucznej inteligencji niosą ze sobą zagrożenia, na które Twoje obecne narzędzia nie zostały przygotowane.

Zajmij się tymi kwestiami, póki projekt jest jeszcze w fazie planowania.

Porozmawiajmy o bezpieczeństwie sztucznej inteligencji

Najlepsze zabezpieczenia oparte na sztucznej inteligencji zaczynają się od rozmowy. Skontaktuj się z nami.

Opowiedz nam o funkcji opartej na sztucznej inteligencji, nad którą pracujesz, o systemach, na które ma ona wpływ, lub o kwestiach związanych z bezpieczeństwem, którymi już się zajmujesz. Pomożemy Ci zidentyfikować, gdzie leży rzeczywiste ryzyko i czym należy się zająć w pierwszej kolejności.

Patrick Cosic

Patrick Cosic

Business Unit Lead Security

Najczęściej zadawane pytania

Najczęściej zadawane pytania dotyczące bezpieczeństwa sztucznej inteligencji

Wstrzyknięcie podpowiedzi polega na tym, że specjalnie spreparowane dane wejściowe powodują, że model językowy ignoruje zamierzone instrukcje i wykonuje zamiast tego polecenie atakującego. Dane wejściowe mogą być nawet ukryte w dokumencie, który model odczytuje. Jest to najczęstsze zagrożenie związane ze sztuczną inteligencją – sprawdzamy, w jaki sposób Twoja aplikacja się przed nim chroni.

Tak. Większość zagrożeń związanych ze sztuczną inteligencją wynika ze sposobu integracji modelu, a nie tylko z samego modelu – dotyczy to między innymi sposobu przetwarzania danych wejściowych, filtrowania wyników oraz ograniczania dostępu modelu do danych i systemów. Właśnie na tych punktach integracji skupiamy naszą uwagę.

Opiera się na tej samej dyscyplinie, ale uwzględnia dodatkowe zagrożenia charakterystyczne dla modeli, takie jak wstrzykiwanie poleceń, wyciek danych poprzez odpowiedzi oraz manipulowanie modelem zdolnym do podejmowania działań. W odniesieniu do tych nowych rodzajów awarii stosujemy sprawdzone praktyki z zakresu bezpieczeństwa aplikacji (AppSec).

Na tej stronie omówiono kwestie techniczne związane z bezpieczeństwem aplikacji opartych na sztucznej inteligencji. Unijna ustawa o sztucznej inteligencji dotyczy przede wszystkim kwestii zarządzania i zgodności z przepisami, którymi zajmujemy się w ramach naszej praktyki GRC. Łączymy te dwa obszary, aby zapewnić spójność między stosowanymi przez Państwa zabezpieczeniami a obowiązkami regulacyjnymi.

Nie ukrywamy, że bezpieczeństwo sztucznej inteligencji stanowi coraz większą część naszego portfolio. Wykorzystujemy w tym zakresie nasze sprawdzone doświadczenie w dziedzinie bezpieczeństwa aplikacji i testowania, a zakres naszych projektów ustalamy realistycznie, często zaczynając od ukierunkowanej oceny sytuacji, a nie od szeroko zakrojonego programu.