OpenAI’nin yeni Astra modeli, ‘recurrent depth’ adı verilen bir akıl yürütme tekniği kullanıyor. Bu durum, AI güvenlik uzmanları arasında endişelere yol açtı.
OpenAI’nin henüz genel kullanıma sunmadığı yeni yapay zeka modeli Astra, gelişmiş yeteneklerinin yanı sıra kullandığı öne sürülen yeni akıl yürütme yöntemi nedeniyle de gündeme geldi. Modelin “recurrent depth” (tekrarlayan derinlik) adı verilen bir teknikten yararlanması, yapay zekanın nasıl düşündüğünün insanlar tarafından takip edilmesini zorlaştırabileceği gerekçesiyle AI güvenliği araştırmacılarında endişe yarattı.
Geleneksel akıl yürütme modellerinde modelin bir problemi çözmek için izlediği süreç, belirli ölçülerde sıralı bir düşünce zinciri üzerinden takip edilebiliyor. Recurrent depth yaklaşımında ise modelin bazı hesaplamaları aynı iç temsil üzerinde tekrar tekrar gerçekleştirmesi mümkün hale geliyor. “Opaque recurrence” olarak da adlandırılan bu yaklaşım, hesaplamanın daha büyük bölümünün doğrudan gözlemlenemeyen bir iç süreçte gerçekleşmesine yol açabiliyor. Bu da güvenlik araştırmacılarının modelin hangi aşamalardan geçerek belirli bir sonuca ulaştığını değerlendirmesini güçleştirebilir.
Güvenlik uzmanlarının temel endişesi: Modelin düşünce süreci
Buradaki tartışmanın merkezinde yalnızca Astra’nın ne kadar güçlü olduğu değil, modelin davranışlarının ne ölçüde izlenebileceği bulunuyor. Özellikle gelişmiş yapay zeka sistemlerinde güvenlik ekipleri, modelin zararlı bir görevi yerine getirmeye çalışıp çalışmadığını veya güvenlik önlemlerini aşmaya yönelik bir davranış geliştirip geliştirmediğini anlamak için çeşitli izleme mekanizmalarından yararlanıyor.
Redwood Research CEO’su Buck Shlegeris de Astra’nın “opaque recurrence” kullandığına ilişkin haberlerin ardından endişesini dile getirdi. Shlegeris, bu yaklaşımın Astra’nın chain-of-thought üzerinden izlenebilirliğini önceki modellere kıyasla ne ölçüde azaltacağının henüz net olmadığını belirtti.
Bu nedenle tartışma, “daha güçlü yapay zeka” meselesinin ötesine geçiyor. Modelin yetenekleri arttıkça güvenlik araştırmacılarının modelin iç işleyişini ve karar süreçlerini denetleyebilmesi de önem kazanıyor. Eğer modelin kritik hesaplamaları gözlemlenmesi daha zor bir biçimde gerçekleşirse, mevcut güvenlik yöntemlerinin ne kadar etkili olacağı yeni bir araştırma alanı haline gelebilir.
Astra’nın güçlü siber güvenlik yetenekleri de dikkat çekiyor
Astra’yı çevreleyen tartışmalar yalnızca akıl yürütme mimarisiyle sınırlı değil. OpenAI, model üzerinde yaptığı değerlendirmeler sonucunda Astra’nın “Critical” siber güvenlik yetenekleri eşiğini karşıladığı sonucuna vardığını açıkladı. Şirket, Astra’nın uygun araç ve erişim sağlandığında daha önce bilinmeyen güvenlik açıklarını bulabileceğini ve bunları farklı sistemlerde istismar etmeye yönelik yöntemler geliştirebileceğini belirtiyor.
Bu seviyedeki yetenekler nedeniyle OpenAI, Astra’nın geliştirme ve test süreçlerinde daha sıkı güvenlik kontrolleri uyguluyor. Şirket; izole test ortamları, sınırlandırılmış ağ ve araç erişimi, geliştirilmiş izleme sistemleri ve daha güçlü güvenlik kontrolleri kullanacağını açıklamış durumda. OpenAI ayrıca Astra’nın ajan uygulamalarında riskli eylemleri ve olası uyumsuzlukları izlemek amacıyla kapsamlı monitörler kullandığını belirtiyor.
Dolayısıyla Astra tartışması, yapay zeka sektöründeki önemli bir gerilimi yeniden gündeme taşıyor: Modeller daha karmaşık ve yetenekli hale geldikçe, onları denetlemek için kullanılan yöntemlerin de aynı hızda gelişmesi gerekiyor. Recurrent depth yaklaşımının Astra’da ne ölçüde kullanılacağı ve bunun modelin izlenebilirliği üzerindeki gerçek etkisinin ne olacağı ise model daha geniş kapsamda kullanıma açıldığında daha net ortaya çıkacak.
Kaynak: TechCrunch OpenAI
