Google DeepMind Araştırmacılarının Evo‑Memory Benchmark ve ReMem Çerçevesiyle LLM Ajanlarında Test Zamanı Öğrenme

Evo‑Memory benchmark, ReMem çerçevesi ve ExpRAG yöntemi, LLM ajanlarının test zamanı öğrenme yeteneklerini ölçen yeni bir değerlendirme setidir.

Google DeepMind ve Illinois Üniversitesi araştırmacılarının ortak çalışması, büyük dil modellerinin (LLM) yalnızca geçmiş diyalogları hatırlamak yerine deneyimlerini evrimleştirerek yeni görevlerde nasıl daha iyi performans gösterebileceğini ölçmek için Evo‑Memory adlı akış (streaming) benchmark ve ReMem çerçevesini tanıttı. Bu makalede, benchmark’ın mimarisi, ReMem’in “think‑act‑refine” döngüsü ve minimal bir deneyim‑yeniden‑kullanım temeli olan ExpRAG yöntemi detaylıca inceleniyor.

Evo‑Memory Benchmark Açıklaması

Evo‑Memory, geleneksel tek‑giriş‑tek‑çıkış (single‑turn) testlerinden farklı olarak ardışık görev akışları (task streams) sunar. Her bir veri kümesi, zaman içinde artan bir zorluk ve bağlam bağımlılığıyla sıralanır; böylece bir ajan, önceki görevlerde edindiği deneyimleri sonraki görevlerde aktif olarak kullanmak zorunda kalır.

• Görevler AIME‑24, AIME‑25, GPQA Diamond, MMLU‑Pro (ekonomi, mühendislik, felsefe) ve ToolBench gibi farklı alanları kapsar.
• Embodied (gömülü) ortamlar: AlfWorld, BabyAI, ScienceWorld, Jericho ve PDDL planlama görevleri.
• Değerlendirme dört eksende yapılır: doğruluk (accuracy), başarı oranı (success rate), ilerleme (progress) ve adım verimliliği (step efficiency).

Benchmark, bir hafıza‑artırılmış ajanı şu dört bileşenle tanımlar: (F, U, R, C) – model (F), güncelleme fonksiyonu (U), geri getirme modülü (R) ve bağlam oluşturucu (C). Bu soyutlama, farklı hafıza mimarilerinin aynı protokol altında karşılaştırılmasını sağlar.

Neden “Evo‑Memory”?

Geleneksel konuşma hatırlama (conversational recall) sadece geçmiş diyalogları bir tamponda tutar ve yeni sorularda bu tamponu genişletir. Evo‑Memory ise deneyim yeniden kullanımı (experience reuse) üzerine odaklanır: her etkileşim bir deneyim kaydı (input, çıktı, geri bildirim) olarak saklanır ve sonraki görevlerde stratejik olarak yeniden çağrılır.

ReMem Çerçevesi ve Test Zamanı Öğrenme

ReMem, “Think‑Act‑Refine” (Düşün‑Uygula‑İyileştir) döngüsüyle hafızayı statik bir tampondan dinamik bir nesne haline getirir. Ajan, her adımda aşağıdaki üç eylemi seçebilir:

1. Think: Araştırma izleri (intermediate reasoning) üretir, görevi alt‑parçalara ayırır.
2. Act: Ortamda bir eylem gerçekleştirir veya son cevabı verir.
3. Refine: Hafızayı sorgular, gereksiz girdileri temizler, deneyimleri yeniden düzenler ve gelecekteki kullanım için optimize eder.

Bu döngü, bir Markov karar süreci (MDP) gibi modellenir; durum (state) mevcut sorgu, hafıza ve düşünce izlerini içerir. ReMem, Enterprise AI platform by UBOS gibi modern AI altyapılarıyla sorunsuz entegrasyon sağlar.

“ReMem, hafızayı sadece bir veri deposu olarak görmekten vazgeçip, ajanların kendi öğrenme sürecini yönlendiren bir araç haline getiriyor.” – DeepMind araştırma ekibi

Test Zamanı Öğrenme Nasıl Gerçekleşir?

ReMem’in test zamanı öğrenme yeteneği, U (update) fonksiyonunun her adımda hafızayı güncellemesiyle sağlanır. Örneğin, bir araç (tool) kullanımı sırasında elde edilen başarı/başarısızlık sinyali hafızaya eklenir; sonraki benzer görevlerde bu sinyal, R (retrieval) modülü tarafından hızlıca bulunur ve C (context) oluşturucuya “örnek” olarak eklenir.

ExpRAG Yöntemi

ExpRAG (Experience‑based Retrieval‑Augmented Generation), ReMem’in daha hafif bir alt kümesidir. Her etkileşim <input, output, feedback> biçiminde yapılandırılmış bir metin kaydı olarak hafızaya eklenir. Yeni bir görev geldiğinde, benzer deneyimler gömülü bir benzerlik ölçüsüyle geri getirilir ve in‑context örnekler olarak modele sunulur.

ExpRAG, modelin temel kontrol döngüsünü değiştirmez; sadece prompt’a ek bir katman ekler. Bu sayede OpenAI ChatGPT integration gibi mevcut API’ler, ek bir kod satırıyla deneyim‑yeniden‑kullanım avantajı kazanır.

ExpRAG’in Avantajları

• Uygulama karmaşıklığı düşük – sadece hafıza ekleme ve geri getirme adımları.
• Model ağırlıklarını yeniden eğitmeye gerek yok; test zamanında performans artışı.
• Çok çeşitli görevlerde tutarlı iyileştirme (ör. tek‑giriş QA, araç kullanımı, planlama).

Deney Sonuçları ve Performans Karşılaştırması

Araştırmacılar, iki popüler temel modeli – Gemini 2.5 Flash ve Claude 3.7 Sonnet – üzerinde aynı Evo‑Memory protokolünü çalıştırdı. Sonuçlar, hafıza‑evrimli yaklaşımların (ExpRAG, ReMem) geleneksel “history‑only” yöntemlerine göre belirgin üstünlük sağladığını gösterdi.

Özellikle çok‑adımlı (multi‑turn) ortamlar – AlfWorld, BabyAI, ScienceWorld – için ReMem, adım verimliliğini %45’e kadar artırdı. Bu, hafızanın sadece “hatırlama” değil, aynı zamanda “strateji geliştirme” işlevi gördüğünün kanıtıdır.

Görev Benzerliği ve Performans İlişkisi

Araştırma ekibi, görevler arasındaki gömülü benzerlik ölçümünü (embedding distance) kullanarak ReMem’in kazancının bu benzerlikle yüksek korelasyon gösterdiğini raporladı (Pearson ≈ 0.72). Yani, aynı konuya ait görevler arasında deneyim yeniden kullanımı daha etkili oluyor.

Sonuç ve Gelecek Perspektifleri

Evo‑Memory benchmark, LLM ajanlarının test zamanı öğrenme yeteneklerini standart bir ölçüt haline getiriyor. ReMem ve ExpRAG gibi hafıza‑evrimli yaklaşımlar, model ağırlıklarını yeniden eğitmeden performans artışı sağladığı için maliyet‑verimlilik açısından büyük bir potansiyele sahip.

Gelecek araştırmaların odaklanması muhtemel alanlar:

• Hafıza yönetiminde öğrenme‑görev adaptasyonu (meta‑learning) entegrasyonu.
• Gerçek‑zamanlı çok‑modlu veri akışı (metin, görsel, ses) ile deneyim kaydı.
• Kurumsal ölçekli güvenlik ve gizlilik mekanizmaları – özellikle Chroma DB integration gibi vektör veri tabanlarıyla.
• Sesli etkileşimlerde ElevenLabs AI voice integration ile deneyim‑temelli diyalog yönetimi.

Sonuç olarak, Evo‑Memory ve ReMem gibi çerçeveler, LLM ajanlarının “öğrenen” birer sistem haline gelmesi için kritik bir köprü oluşturuyor. Bu gelişmeler, UBOS AI araştırma platformu gibi altyapılarla birleştiğinde, işletmelerin AI‑destekli karar süreçlerini gerçek zamanlı olarak iyileştirmesine olanak tanıyacak.

İlgili Kaynaklar ve Daha Fazla Okuma

Daha detaylı teknik rapor ve kod örnekleri için orijinal haber kaynağına göz atabilirsiniz:
Google DeepMind araştırmacılarının Evo‑Memory benchmark duyurusu.

UBOS ekosistemi içinde bu teknolojileri hızlıca denemek isterseniz, aşağıdaki kaynaklar işinize yarayabilir:

• UBOS homepage – platformun genel tanıtımı.
• About UBOS – vizyon ve ekip.
• UBOS platform overview – mimari detayları.
• UBOS partner program – iş ortaklığı fırsatları.
• UBOS pricing plans – fiyatlandırma seçenekleri.
• Workflow automation studio – deneyim‑temelli otomasyon.
• Web app editor on UBOS – düşük kodlu geliştirme.
• AI marketing agents – pazarlama odaklı ajanlar.
• UBOS templates for quick start – hazır şablonlar.
• UBOS portfolio examples – başarı hikayeleri.

Bu makale, Evo‑Memory benchmark, ReMem ve ExpRAG üzerine güncel akademik bulgular ve UBOS ekosistemi entegrasyonları ışığında hazırlanmıştır. Okuyucuların araştırma ve uygulama aşamalarında değerli bir referans olması amaçlanmıştır.