AI sistemi güvenliği

Modeli değil, modelin bağlandığı sistemi test edin.

LLM, RAG, bellek, araç, ajan ve insan onayının oluşturduğu güven sınırlarını ayrı ayrı görünür kılmayı hedefleyen araştırma önizlemesi.

Kapsam ön görüşmesi Tüm hizmetler

Kimin için?: Model güvenliğini uygulama, veri, araç yetkisi ve insan onayıyla birlikte değerlendirmek isteyen AI ekipleri için.
Çalışma akışı: Tehdit modeli → Senaryo matrisi → Kontrollü test → Uzman değerlendirmesi
İlk temas: Sistem türü · karar ihtiyacı · veri sınırı

Alıcı problemi

AI uygulamasındaki risk yalnız prompt katmanında doğmaz.

Veri kaynağı, retrieval, kalıcı bellek, araç yetkisi ve çok adımlı ajan davranışı tek bir sistem oluşturur. Bu nedenle AI kullanarak geleneksel uygulama testi yapmak ile hedef AI sistemini red team etmek ayrı kapsamlar olarak ele alınır.

Sistem sınırlarının görünür hale gelmesi

Kötüye kullanım hipotezlerinin önceliklendirilmesi

İnsan onayı ve araç yetkisi için tasarım girdisi

Örnek kapsam

Tek adımlı model kontrolünden sistem düzeyindeki güven sınırlarına.

Senaryolar, yazılı yetki ve sentetik test verisiyle sınırlandırılır. Aşağıdaki kategoriler araştırma matrisi adaylarıdır; eksiksiz kapsama sözü değildir.

Model ve prompt sınırı

Doğrudan ve dolaylı talimatların model/uygulama kontrolüyle nasıl etkileştiğini inceleme.

Prompt ve dolaylı enjeksiyon
Güvenli başarısızlık
Çıktı işleme sınırı

RAG ve bellek

Kaynak güveni, hassas veri ayrımı ve kalıcı bağlamın kötüye kullanım risklerini modelleme.

Kaynak güveni
Veri sızıntısı hipotezleri
Bellek zehirleme senaryoları

Araç ve ajan yetkisi

Amaç, kimlik, araç çağrısı ve insan onayının çok adımlı davranıştaki rolünü inceleme.

Aşırı yetki
Araç/MCP sınırları
Amaç sapması ve onay kapısı

Teslimat sınırı

Ne verilir, ne henüz vaat edilmez?

Hizmet sayfasındaki içerik bir fiyat, SLA veya kesin kapsam teklifi değildir. Çalışma koşulları ve kullanılabilirlik sınırı yazılı kapsam kaydında netleşir.

Hedeflenen teslimatlar

Risk sınıfları
Temsili iz kaydı
Kontrol önerileri
Sınır ve belirsizlikler

Güvenlik kapıları

Sentetik veya açıkça izinli test verisi
Araç çağrıları için yazılı izin matrisi ve durma koşulu
Yüksek etkili eylemlerde insan onayı
Prompt, trace, log ve kanıtın veri sınıfına göre ayrılması

Yayın kapısı

Daha güçlü bir kamu iddiası için gereken kanıt.

Bu liste bir eksiklik saklamaz; hizmetin hangi doğrulamalardan sonra üst olgunluk düzeyine taşınabileceğini görünür kılar.

01
OWASP, NIST ve MITRE referanslı tekrarlanabilir test matrisi
02
Çok adımlı, stateful ve araç kullanan güvenli laboratuvar senaryoları
03
Karşı-test, iş etkisi ve yeniden üretilebilir trace standardı
04
Model/uygulama sınırı ile veri yönetişimi prosedürü
05
Anonim örnek rapor ve kontrollü teslimat provası

Metodoloji kaynakları

Test kapsamı için ortak referanslar.

Bu kaynaklar OYI için sertifika, resmî onay veya eksiksiz kapsam iddiası değildir.

OWASP Agentic

Ajan, araç, bellek, kimlik ve amaç sınırları için risk taksonomisi

Test kapsamı için referanstır; uyum veya kapsama garantisi değildir.NIST AML

Adversarial machine learning saldırı ve azaltım taksonomisi

Ortak dil sağlar; ticari hizmet doğrulaması yerine geçmez.MITRE ATLAS

AI sistemlerine yönelik adversarial taktik ve teknik bilgi tabanı

Tehdit modelleme referansıdır; resmî onay anlamına gelmez.

Bu çalışma sizin sisteminiz için doğru başlangıç mı?

Varlık, risk, veri ve olgunluk gereksinimlerini konuşalım; uygun değilse bunu da ilk görüşmede açıkça belirleyelim.

Ön görüşmeye hazırlanın