Moonshot tarafından geliştirilen Kimi K3.1 Pro, 2.8 trilyon parametresi ve yüksek performansıyla yapay zeka dünyasında dikkat çekiyor. Çin merkezli şirketin yeni modeli, Artificial Analysis Intelligence Index üzerinde 55 puan alarak GPT-6 Astra ve Claude Fable 5.1 gibi rakiplerini geride bırakmayı başardı.
Modelin teknik altyapısı, 2.8 trilyon toplam parametre ve token başına 104 milyar aktif parametre ile oldukça iddialı bir yapı sunuyor. 1 milyon tokenlık yerel bağlam penceresine sahip olan sistem, geleneksel RoPE katmanlarını tamamen devre dışı bırakan NoPE mimarisini kullanıyor. Bu mimari, modelin daha esnek bir bağlam yönetimi yapmasına ve hesaplama verimliliğini artırmasına olanak tanıyor.
Kimi K3.1 Pro, geleneksel kuadratik dikkat mekanizması yerine Kimi Delta Attention adlı hibrit bir yapı kullanıyor. Bu sistem, 3:1 oranında tekrarlayan ve hibrit aralıklı durumları birleştirerek KV önbelleğinin boyutunu önemli ölçüde azaltıyor. Modelin içindeki dört yardımcı birimden üçü, önemli bilgileri özetleyen hızlı bir not sistemi gibi çalışıyor. Dördüncü birim ise Gated Multi-Head Latent Attention katmanı sayesinde tüm bağlamın anlık bir görüntüsünü alarak ihtiyaç duyulduğunda verileri sıkıştırıp açabiliyor.
Bu yöntem, modelin uzun bağlamlarda bile hız kaybetmeden çalışmasını mümkün kılıyor. Kimi K3.1 Pro, 69 katmanlı yapısının içine her üç katmanda bir yerleştirilen 24 adet Gated Multi-Head Latent Attention katmanı ile donatılmış durumda. Moonshot, modelin geliştirilme sürecinde siber güvenlik ile ilgili verilerin eğitim aşamasından çıkarıldığını belirtti. Şirket, modelin daha önceki sürümlerinin Linux çekirdeği ve Node.js gibi sistemlerdeki açıkları yüksek başarıyla tespit edebildiğini gözlemledi.
Bu kısıtlamalara rağmen model, xdev-bench-hard testinde yüzde 81 gibi yüksek bir başarı oranı sergiliyor. Kimi K3.1 Pro'nun açık ağırlıklarının 4 Kasım tarihinde genel kullanıma açılması planlanıyor. Fiyatlandırma tarafında ise Kimi K3 modeline kıyasla yüzde 33 oranında bir indirim yapıldığı görülüyor. Giriş, çıkış ve önbellek hit tokenları için belirlenen yeni fiyatlar, geliştiriciler için daha erişilebilir bir yapı sunuyor. Modelin Code Arena sıralamasında 8. sırada yer alması, kodlama yeteneklerinin de oldukça gelişmiş olduğunu kanıtlıyor.
