Claude Fable 5.1 Gerçekten İddia Edildiği Kadar İyi mi?
Anthropic'in Fable 5.1'i duyurduğu gün ilk tepkim şüpheciydi, çünkü "neredeyse test edilen tüm benchmark'larda state-of-the-art" gibi cümleleri artık her lansmanda duyuyoruz ve kulağa klişe geliyor. Ama duyuru metnini ve yayınlanan verileri satır satır incelediğimde, iddiaların bir kısmının arkasında gerçekten somut bir şey olduğunu düşünüyorum — hepsinin değil, ama önemli bir kısmının.
En dikkat çekici iddia, uzun soluklu görevlerle ilgili. Anthropic'in kendi açıklamasına göre Fable 5.1, saatler süren, bir kod tabanının tamamına yayılan görevlerde odağını koruyabiliyor — kod inceleme, performans iyileştirmesi gibi işleri tek oturumda değil, saatler süren bir seans boyunca sürdürebiliyor. Paylaştıkları bir müşteri örneğinde, normalde iki ay sürecek bir kod tabanı taşıma (migration) işi 24 saatte tamamlanmış. Bu tür rakamları her zaman biraz mesafeli okumak lazım çünkü şirketlerin paylaştığı örnekler genelde "en iyi senaryo"dur — ama iddia edilen şey gerçekse (yani model uzun bir oturumda üç-dört adım önce alınan bir kararı unutup tutarsız davranmıyorsa), bu tam olarak insanın uzun bir AI oturumunda en çok güven kaybettiği noktayı çözüyor demektir.
Cognition'ın FrontierCode değerlendirmesinde Fable 5.1'in orta efor seviyesinde tüm frontier modeller arasında en yüksek skoru aldığı söyleniyor. Analitik görevlerde ise önceki model olan Opus'a göre 10 puanlık bir sıçrama var, karmaşık analitik işlerde %90'ın üzerine çıkıyor. Bu bana ilginç geliyor çünkü kod yazmak kadar, bir sistemin (örneğin sekiz farklı ödeme sağlayıcısını birleştiren bir mutabakat sisteminin) neden belirli bir şekilde tasarlandığını analiz etmek de ayrı bir yetenek — ve burada gerçek bir ilerleme iddia ediliyor.
Bir de ilginç bir test var: modelin, Pokémon FireRed oyununu sadece görsel girdiyle (ekstra bir yardımcı sistem olmadan) bitirebildiği söyleniyor — önceki Claude modelleri bunu ek bir "iskelet" (scaffolding) olmadan yapamıyordu. Bunun günlük iş için doğrudan bir karşılığı yok gibi görünebilir ama aslında önemli bir sinyal: model, uzun bir hedefe doğru, arada geri dönüp durum değerlendirmesi yaparak ilerleyebiliyor — tam olarak bir yazılım projesinde "şu anki hâl neydi, nereye gidiyordum" sorusuna cevap verebilmek gibi.
Fiyat tarafında, milyon token başına 10 dolar input, 50 dolar output — Anthropic bunu bir önceki "Mythos Preview" modelinin yarısından daha ucuz olarak konumlandırmış. Bence fiyatı tek başına değil, bir işi bitirmek için ne kadar token harcandığıyla birlikte değerlendirmek lazım; ucuz ama çok token yiyen bir model, pahalı ama az token yiyen bir modelden daha maliyetli çıkabiliyor. Bu ikisini birlikte gösteren bağımsız bir ölçüm henüz elimde yok, dürüst olmak gerekirse — göründüğü kadarıyla bunu netleştirmek biraz zaman alacak.
Genel kanım: Fable 5.1'in en güçlü iddiası, özellikle uzun süren, çok dosyalı, "bağlamı kaybetmemesi gereken" iş türlerinde fark yaratması. Kısa, tek seferlik sorularda zaten hangi modeli kullansanız büyük bir fark hissetmezsiniz — asıl test, saatler süren bir oturumda modelin hâlâ ne yaptığını hatırlayıp hatırlamadığı. Duyurulan rakamlar bu yönde umut verici, ama şirketin kendi paylaştığı örnekler yerine bağımsız kullanıcı deneyimlerini görmeden kesin bir hüküm vermek erken olur.