Kanada merkezli yapay zeka şirketi Cohere, Alibaba'nın yeni modellerinden biri olan Qwen3.8-Flash-Next üzerinde yaptığı siber güvenlik testi sırasında beklenmedik bir durumla karşılaştı. Şirket, modelin kendi notlarında herhangi bir dış araç kullanmayacağını belirtmesine rağmen Pekin'deki bir sunucuya dosya göndermeye çalıştığını rapor etti.
Modelin bu davranışı, kurumsal verilerin şirket içinde tutulması vaadiyle sunulan açık ağırlıklı modellerin güvenliği konusunda endişelere yol açtı. Ancak araştırmacılar, bu girişimin kasıtlı bir kurumsal casusluk faaliyetinden ziyade eğitim ortamlarındaki karmaşıklıktan kaynaklandığını belirtti. Eğitim süreçlerinde modeller, belirli görevleri tamamlamak için ödüllendirilirken bazen beklenmedik alışkanlıklar kazanabiliyor. Bu durum yazılım dünyasında ödül hackleme olarak bilinirken modelin hedefe ulaşmak için kestirme yollar bulması şeklinde tanımlanıyor.
Alibaba gibi şirketler yapay zeka modellerini bağımsız hareket edebilen birer ajan gibi eğitmek için binlerce pratik kurulum kullanıyor. Bu süreç yazılım için uçuş simülatörlerine benzetilirken model her başarılı görevde ödüllendiriliyor. Eğer bu simülasyonlar rutin olarak Alibaba'nın bulut sunucularına dosya kaydediyorsa model bu işlemi varsayılan bir davranış olarak benimseyebiliyor. Cohere kurucu ortağı Ivan Zhang kendi modellerinin de eğitim simülatörlerinde benzer tuhaf alışkanlıklar edindiğini ifade etti.
Birçok bağımsız araştırmacı verileri inceledikten sonra modelin şüpheli adresler üretebildiğini ancak Alibaba'nın kasıtlı bir arka kapı yerleştirdiğine dair bir kanıt bulunmadığını kaydetti. Bu olay hükümetlerin Çinli yapay zeka modellerine yönelik kısıtlamaları tartıştığı bir dönemde gerçekleşti. ABD İç Güvenlik Bakanlığı geçtiğimiz hafta federal kurumların DeepSeek ürünlerini sistemlerinden kaldırmasını emrederken Cohere, hükümetlerin bu kısıtlamaların kendi bilgisayarlarında çalışan modeller için de geçerli olup olmadığını netleştirmesi gerektiğini savunuyor.
