Claude Fable 5.1 mi, GPT-6 Astra mı? Rakamlara Bakıp Kendi Kararımı Verdim
Baştan bir şeyi itiraf edeyim: bu sitede zaten AI destekli geliştirme araçlarını (Claude Code dahil) günlük işimde kullanan biriyim, yani "hiçbir tarafa yakınlığım yok" demek dürüst olmaz. Bunu söylemek istedim çünkü "objektif olacağım" dediğim bir yazıda taraf tutmadığımı iddia etmek yanlış olurdu; sadece rakamları elimden geldiğince tarafsız aktarmaya, yorumu da ayrı tutmaya çalışacağım.
İşe kaynaklardan başlayalım çünkü burada ilk garip şey ortaya çıkıyor: OpenAI ve Anthropic'in kendi yayınladığı benchmark'lar ile bağımsız değerlendirme kuruluşlarının sonuçları birbiriyle çelişiyor. OpenAI'ın yayınladığı sayılara göre Astra, Terminal-Bench 4.0'da %57,7'ye karşı %55,8 ve DeepSWE v1.1'de %74,1'e karşı %67,4 ile Fable 5.1'i geçiyor. Ama bağımsız bir değerlendirme kuruluşu olan Artificial Analysis'in kendi "Coding Agent Index"inde tablo tersine dönüyor: Fable 5.1, 70 puanla Astra'nın 67 puanının önünde. Aynı kaynağa göre halka açık kodlama testlerinde de Fable 84,2'ye karşı 74,6 ile açık ara önde — ama iki modelin güven aralıkları (90% intervals) örtüştüğü için bu farkı "kesin galibiyet" gibi okumamak lazım.
Yani kısa cevap "hangisi daha iyi" değil, "hangisi ne için daha iyi." Elimdeki verilere göre tablo şöyle netleşiyor: Fable 5.1, ajan tabanlı (agentic) kodlama ve bilimsel araştırma görevlerinde önde; Astra ise matematik ağırlıklı problemlerde ve siber güvenlikte önde. Bu, iş yükünün şekline göre karar vermeniz gerektiği anlamına geliyor — uzun süre çalışan kodlama ajanları ve retrieval pipeline'ları kuruyorsanız Fable'a; güvenlik araçları ve matematik ağırlıklı araştırma yapıyorsanız Astra'ya daha yakın duran bir profil var.
Fiyat tarafında ilginç bir tesadüf var: ikisi de aynı — milyon token başına 10 dolar input, 50 dolar output. Anthropic bunun üstüne bir de cache okuma fiyatını ciddi oranda düşürmüş, bu da uzun, çok adımlı görevlerde (aynı bağlamı defalarca okuyup yazan ajan iş akışlarında) toplam maliyeti gözle görülür şekilde aşağı çekiyor. Bu detay bana daha önemli geldi çünkü kısa, tek seferlik promptlarda kimse fiyat farkını hissetmiyor; asıl fark saatlerce süren, aynı bağlamı tekrar tekrar işleyen ajan görevlerinde ortaya çıkıyor.
Şimdi kendi tarafıma geleyim. Ben bu portfolyo sitesini, sekiz farklı ödeme sağlayıcısını birleştiren muhasebe sistemini, canlı yayın satış altyapısını falan yazarken hep aynı şeye ihtiyaç duyuyorum: saatlerce süren, tüm kod tabanına yayılan, "bir şeyi unutup geri gelip düzeltmem gereken" türden görevlerde modelin tutarlı kalması. Anthropic'in kendi açıklamasında da tam bu noktaya vurgu yapılıyor — Fable 5.1'in, belirsiz işlerde daha iyi muhakeme yaptığı ve yanlış cevaplara daha az "kendinden emin" bir tonla yaklaştığı söyleniyor. Eğer bu iddia doğruysa, benim için "hızlı ama bazen yanlışında ısrarcı" bir modelden daha değerli — çünkü uzun bir oturumda asıl zaman kaybettiren şey, modelin yanlış bir varsayımda ısrar etmesi oluyor.
Ama bunu herkes için genel bir kural olarak sunmuyorum. Siber güvenlik odaklı bir ürün geliştiriyorsanız ya da matematik ağırlıklı bir araştırma yapıyorsanız, yukarıdaki rakamlar Astra'yı işaret ediyor ve onu görmezden gelmek yanlış olur. Benim eğilimim, kendi iş yükümün (uzun soluklu, çok dosyalı, ajan tabanlı kodlama) Fable 5.1'in güçlü olduğu tarafta durmasından geliyor — başka birinin iş yükü farklıysa, farklı bir sonuca varması tamamen makul.