Yapay zekâ modeli tek bir fonksiyonu açıklamayı reddetti.

Yapay zekâ modeli tek bir fonksiyonu açıklamayı reddetti. Güvenlik açığı da tam orada saklıydı.

Ne oldu?

CrowdStrike araştırmacıları, 28 Ekim'de yayımladıkları çalışmada son nesil bir yapay zekâ modelinden küçük bir C web sunucusunun fonksiyonlarını tek tek açıklamasını istedi. Model hepsini eksiksiz açıkladı. Ardından ekip koddaki tek bir ifadeyi değiştirdi: Veri parçasının boyutunu hesaplayan satırda "max" yerine "min" yazdı. Bu küçük değişiklik, belleğe ayrılan alanın dışına yazılmasına yol açan bir açık yarattı. Aynı soru yeniden sorulduğunda model, o fonksiyonu açıklamayı reddetti. Güvenlikle ilgili hiçbir şey sorulmamıştı, model de "burada açık var" demedi. Ama davranışının değişmesi, nereye bakılması gerektiğini gösterdi.

CrowdStrike bu yönteme Guardrail-based Vulnerability Discovery (GbVD) adını veriyor: Modelin güvenlik bariyerlerinin devreye girdiği anları bir bulgu olarak okumak. Beş zafiyet sınıfında yapılan kontrollü testlerde yöntem, 86 senaryonun 73'ünde doğru sonuç verdi. Gerçek açık kaynak projelerde de işe yaradı; bulunan açıklar CrowdStrike'ın koordineli bildirim programı üzerinden ilgili ekiplere iletildi. İkinci deneyde model, dosya sistemini denetlerken root yetkisiyle her komutu çalıştırabilen, yanlış yapılandırılmış bir SUID dosyasına geldiğinde analizini yarıda kesti.

Kimler etkileniyor?

Yazılım geliştiren, açık kaynak bileşenlere dayanan ve kod incelemesinde yapay zekâdan yararlanan her kurum. Tek kelimelik mantık hataları kod incelemesinden kolayca kaçabiliyor; kalıp eşleştirmeye dayalı tarayıcılar da bunları çoğu zaman yakalayamıyor. CrowdStrike'ın altını çizdiği bir nokta daha var: Aynı sinyali saldırganlar da okuyabilir.

İş açısından neden önemli?

Sektörün büyük bölümü modelin "hayır" demesini bir çıkmaz sokak olarak görüyor. CrowdStrike ise bu retleri bulgu olarak ele alıyor. Bu çalışmanın en değerli tarafı da burada: Yapay zekâdan alınan sonuç, modelin kendisi kadar onun etrafına kurulan düzene bağlı. Bir ret, beklenmedik biçimde uzayan bir yanıt süresi, harcanan token sayısındaki ani değişim ya da yarıda kalan bir araç çağrısı, ölçülebilir birer sinyal. Saldırganların verimliliği modellerle birlikte artarken savunma tarafı yapay zekâyı yalnızca tasarlandığı biçimde kullanmakla yetinemez.

Önerilen tek aksiyon:

Yapay zekâ destekli kod inceleme süreçlerinizde modelin reddettiği, yarıda kestiği ya da belirgin biçimde yavaş yanıtladığı istekleri kayıt altına alın ve bunları güvenlik ekibinin incelemesi gereken bulgular olarak işaretleyin.

Sizin ekipleriniz modelin "hayır" dediği anları kaydediyor mu, yoksa soruyu başka türlü sorup yoluna mı devam ediyor?

#CrowdStrike #SiberGüvenlik #YapayZekâ #AppSec #ZafiyetYönetimi