Bağlam penceresi nedir? Yapay zekâ neden unutuyor?
Yapay zekânın aynı anda ne kadar metni aklında tutabildiğini, sohbet uzadıkça neden önceki mesajları kaçırdığını ve buna karşı ne yapabileceğini anlattık.
Yapay TU Editör · 2 dk okuma
Bağlam penceresi, bir yapay zekâ modelinin tek seferde işleyebildiği toplam metin miktarıdır. Soruların, cevapların, yapıştırdığın belgelerin ve sistem talimatlarının hepsi bu pencereye sığmak zorundadır. Pencere dolunca modelin eski kısımları görmesi zorlaşır ya da hiç görmez. Bu yüzden uzun sohbetlerde model bazen başta söylenen şeyi unutmuş gibi davranır.
Uzun bir sohbette yapay zekânın ilk söylediklerini unuttuğunu fark ettiysen, bu hatanın kişisel bir kusur olmadığını bilmek iyi olabilir. Sebebi, bağlam penceresi denen bir sınır. Bu yazıda bu sınırın ne olduğunu, neden sohbet uzadıkça etkisini gösterdiğini ve pratikte nasıl yönetebileceğini anlatıyorum.
Bağlam penceresi tam olarak ne
Bir dil modeli, her cevabını yazarken aynı anda tek bir "sayfaya" bakabilir. Bu sayfaya sığan her şey bağlam penceresidir: senin yazdıkların, modelin önceki cevapları, yapıştırdığın belgeler ve ürünün arka planda verdiği talimatlar.
Model bu metni token adı verilen parçalara bölerek işler. Token nedir, kotan neden bitiyor yazımızda token'ları ayrıntılı anlattık. Kısacası, bir kelime bir ya da birkaç token eder ve pencerenin boyutu bu token sayısıyla ölçülür.
Bu sayfanın bir sınırı var. Sınır dolduğunda ne olacağı ürüne göre değişir. Bazıları eski mesajları atar, bazıları özetler.
Neden unutur gibi davranır
Model sohbetin başında yazdığın bir kuralı, her yeni cevapta bu kuralın hâlâ orada olduğunu kontrol ederek hatırlamaz. Sadece o anki pencereye bakar. Pencerenin uzak köşesinde kalan bilgi, modelin dikkatinde daha az yer tutabilir.
Uzun metinlerde ortadaki bilgiler, başta ya da sonda olanlara göre daha kolay gözden kaçabiliyor. Bu, modelin kötü olduğu anlamına gelmez; uzun girdilerin doğal bir zorluğudur.
Bir örnek: Sohbetin başında "Türkçe yaz, madde işareti kullanma, her cevabın sonunda kısa bir özet olsun" dedin. Otuz mesaj sonra modelin bu kurallardan birini unuttuğunu görebilirsin. Bunun sebebi çoğunlukla bu.
Pratikte ne yapmalı
Birkaç basit alışkanlık çoğu sorunu çözer:
- Kuralları tekrar et. Uzun bir işte, önemli talimatları her birkaç mesajda bir kısaca hatırlat. "Yukarıdaki kurallara göre devam et" bile işe yarayabilir.
- Konuyu bölerek ilerle. Her yeni iş için yeni bir sohbet aç. Eski sohbetin özetini çıkarıp yeni sohbete yapıştırmak, tek bir uzun sohbetten çok daha sağlıklı.
- Gereksiz şeyleri yapıştırma. Yüz sayfalık belgenin tamamını vermek yerine ilgili bölümü ver. Modelin dikkati, verdiğin metnin kendi içinde de dağılıyor.
- Özet iste. Sohbet uzadığında "şimdiye kadar kararlaştırdıklarımızı üç maddede özetle" de. Bu özeti yeni bir sohbete taşıyabilirsin.
Özet isteme alışkanlığı özellikle işe yarar. Modelin kendi cevabını kısaltması, bağlamı yeniden kurmak için hızlı bir yol.
Büyük pencere her sorunu çözmez
Son yıllarda bağlam pencereleri belirgin biçimde büyüdü. Bu iyi bir gelişme, ama yetenekle karıştırılmamalı. Büyük bir pencere sana çok metin koymanın imkânını verir; metnin içinden doğru bilgiyi her seferinde bulmak ayrı bir iştir.
Bir de maliyet meselesi var. Ücretli kullanımda token sayısı arttıkça ücret de artar. Bu yüzden her şeyi tek seferde yapıştırmak, hem yavaş hem pahalı bir alışkanlık olabilir.
Kısaca
Bağlam penceresi, modelin aynı anda aklında tutabildiği metnin sınırı. Sınır dolunca ya da sohbet çok uzayınca eski bilgiler gözden kaçabiliyor. Önemli kuralları tekrar et, uzun işleri bölerek ilerle ve gerektiğinde özet isteyip yeni sohbete taşı. Bu üç alışkanlık, yapay zekânın unuttuğu hissini büyük ölçüde azaltır.
Yeni duyduğun terimler için yapay zekâ sözlüğümüze göz atabilirsin.
Sık sorulanlar
Bağlam penceresi dolunca sohbet mi kapanır?
Genelde kapanmaz, ama eski mesajlar görünürden çıkar. Bazı ürünler eski kısmı özetleyerek yer açar, bazıları en baştaki mesajları atar. Hangi yöntemin kullanıldığı ürüne göre değişir ve çoğu zaman bunu kullanıcıya açıkça söylemez.
Bağlam penceresi ile hafıza aynı şey mi?
Değil. Bağlam penceresi, o anki konuşmanın ve modele verdiğin metnin toplamı. Hafıza ise birkaç ürünün, sohbetler arasında senin hakkında tuttuğu bilgiler. Bağlam penceresi her yeni sohbette sıfırdan başlar, hafıza ise bazı ürünlerde sohbetlerin ötesine geçebilir.
Daha büyük bağlam penceresi her zaman daha iyi mi?
Her zaman değil. Pencere büyüdükçe modelin ortadaki bilgiyi kaçırma riski artabiliyor. Ayrıca uzun metin işlemek daha yavaş ve daha pahalı olabiliyor. Kısa, net ve gerekli bilgiyi veren bir istek, devasa bir belgeyi yapıştırmaktan çoğu zaman daha iyi sonuç verir.
Haftada bir e-posta. Sadece işe yarayanlar.
Haftanın en iyi yapay zekâ araçları ve yeni rehberler. Reklam yok, istediğin an çık.
ChatGPT, Claude ve Gemini: hangisi ne işe yarar?
