Aria — Yerel (Offline) Kişisel AI Asistanı

Problem

Cloud LLM'lere veri göndermeden çalışan, 8GB VRAM'lik sıradan bir ev bilgisayarında gerçek zamanlı ses, görüntü ve hafızayla çalışabilen bir kişisel asistan istiyordum.

Yaklaşım

Görev tipine göre 5 farklı yerel modeli seçen bir router yazdım (hızlı/kod/derin düşünme/görüntü/sansürsüz mod), VRAM sınırını aşmamak için kullanılmayan modelleri bellekten atan bir mekanizma kurdum. ChromaDB ile konuşma geçmişini vektörleştirip RAG tabanlı hafıza sağladım.

Öne Çıkan Mühendislik

• 5 model + embedding modeli arasında görev bazlı otomatik yönlendirme (router).
• ChromaDB tabanlı RAG hafıza, SHA-256 deterministik ID'lerle tutarlı kayıt.
• Whisper (yerel STT) + Piper TTS ile tamamen offline sesli etkileşim.
• Tehlikeli komutları (rm -rf, powershell -enc vb.) iki katmanlı regex filtresiyle engelleyen güvenlik katmanı — belgeli bir güvenlik açığını kapatarak sertleştirildi.