Token nedir? Yapay zekâ kotan neden bu kadar çabuk bitiyor

ChatGPT ya da Claude kullanırken bir noktada şu mesajı görmüşsündür: "Kullanım sınırına ulaştın, biraz sonra tekrar dene." Daha yarım saattir yazışıyorsun, ne ara bitti bu? Cevap tek kelime: token.

Bu yazıda token'ın ne olduğunu, Türkçe yazınca neden daha hızlı tükendiğini ve kotanı uzatmak için yapabileceğin basit şeyleri anlatıyorum. Matematik yok, söz.

Token tam olarak ne

Yapay zekâ modelleri metni bizim gibi harf harf ya da kelime kelime okumaz. Önce metni küçük parçalara böler, sonra bu parçalarla çalışır. Bu parçaların her birine token denir.

Bir token bazen tam bir kelimedir, bazen kelimenin yarısı, bazen de sadece bir nokta. Örneğin "kitap" kısa ve sık geçen bir kelime olduğu için tek token olabilir. "Kitaplarımızdan" ise büyük ihtimalle birkaç parçaya bölünür: "kitap", "lar", "ımız", "dan" gibi.

Bunu bir yap-boz gibi düşünebilirsin. Model, dünyadaki metinleri okurken en sık karşılaştığı parçalardan bir sözlük çıkarmış. Senin cümleni de bu sözlükteki parçalarla kurmaya çalışıyor.

Neden kelime değil de token

Çünkü dünyada sonsuz sayıda kelime var, özellikle Türkçede. Bir fiile ek ekleye ekleye yüzlerce farklı kelime üretebilirsin: "gel, geldim, gelemedim, gelemeyeceklerdi..." Modelin her birini ayrı ayrı ezberlemesi mümkün değil.

Parçalara bölünce iş kolaylaşıyor. Model "gel", "eme", "yecek" gibi parçaları biliyorsa, daha önce hiç görmediği bir kelimeyi bile anlayabiliyor. Kısacası token sistemi, modelin her dile ve her yeni kelimeye uyum sağlamasının yolu.

Türkçe neden daha fazla token harcıyor

İşin canımızı sıkan kısmı burası. Bu sözlükler çoğunlukla İngilizce ağırlıklı metinlerle oluşturuluyor. İngilizcedeki sık kelimeler sözlükte tek parça olarak yer alırken, Türkçe kelimeler daha çok parçaya bölünüyor.

Sonuç: aynı anlamdaki bir paragraf, Türkçe yazıldığında İngilizce haline göre belirgin şekilde daha fazla token tutabiliyor. Oran modelden modele değişiyor, ama Türkçe yazan herkesin kotası bir miktar daha hızlı eriyor.

Bunu kendin görmek istersen OpenAI'ın tarayıcıda çalışan Tokenizer aracına bir Türkçe, bir de İngilizce cümle yapıştırıp sayıları karşılaştırabilirsin. İlk denemede çoğu kişi "aa" diyor.

Kotan neye göre bitiyor

Burada çoğu kişinin bilmediği bir detay var: sayılan şey sadece senin son mesajın değil.

Yapay zekâ bir sohbette sana cevap verirken, o sohbetin tamamını tekrar okur. Yani 40 mesajlık bir yazışmada 41. soruyu sorduğunda, model önceki 40 mesajı da baştan işler. Sohbet uzadıkça her yeni mesaj daha pahalı hale gelir.

Yani kotayı bitiren üç şey var:

1. Senin yazdığın mesajlar ve yapıştırdığın dosyalar.
2. Modelin verdiği cevaplar (uzun cevap, çok token).
3. Sohbetin geçmişi, her mesajda yeniden okunduğu için.

Üçüncüsü genelde en büyük kalem ve en az fark edileni.

Kotanı uzatmanın 6 yolu

Bunların hiçbiri teknik bilgi istemiyor. Birkaçını uygulasan bile fark edersin.

Konu değişince yeni sohbet aç. Bir saattir aynı sohbette CV düzenlettin, şimdi de yemek tarifi soracaksan yeni pencere aç. Eski konunun yükünü taşımaya gerek yok.

Uzun sohbeti özetletip devam et. Bir projede çok ilerlediysen, modelden "Buraya kadar konuştuklarımızı, devam etmem için gereken her şeyi içeren kısa bir özet olarak yaz" iste. Bu özeti yeni sohbete yapıştır, oradan devam et.

Cevap uzunluğunu sen belirle. "Kısa cevap ver" ya da "en fazla 5 madde" demek hem okumanı kolaylaştırır hem token tasarrufu sağlar.

Bu konuyu bana en fazla 5 maddede, her madde tek cümle olacak şekilde anlat.

Gereksiz metni yapıştırma. 40 sayfalık bir PDF'in sadece bir bölümüyle ilgili soru soruyorsan, sadece o bölümü ver.

Selamlaşmayı kısa tut. Nezaket güzel ama her mesaja üç satır giriş yazmak gerekmiyor. Model alınmaz, söz veriyorum.

Aynı soruyu tekrar tekrar yeniden ürettirme. "Yeniden oluştur" butonu her basışta yeni bir cevap için token harcar. Beğenmediysen neyi beğenmediğini yaz, model doğrudan düzeltsin.

Token fiyatları neden önemli olabilir

Eğer sadece sohbet arayüzünü kullanıyorsan, token sana "mesaj sınırı" olarak yansır ve fazlasını düşünmen gerekmez. Ama bir gün yapay zekâyı kendi uygulamana ya da bir otomasyona bağlarsan, API dediğimiz bağlantı üzerinden token başına ödeme yaparsın.

Bu durumda token mantığını bilmek doğrudan cebine dokunur. Girdi (senin gönderdiğin) ve çıktı (modelin ürettiği) token'ları genelde farklı fiyatlandırılır, çıktı daha pahalıdır. Güncel fiyatlar sık değiştiği için her zaman modeli sunan şirketin kendi fiyat sayfasına bakmak gerekiyor.

Bağlam penceresiyle ilişkisi

Token konusunu açmışken bir kavramı daha bilmekte fayda var: bağlam penceresi. Bu, modelin tek seferde "aklında tutabildiği" toplam token miktarı. Sohbet bu sınırı aşarsa model en eski kısımları unutmaya başlar.

Uzun bir sohbette modelin baştaki bir detayı hatırlamaması çoğu zaman bundandır. Çözümü yine aynı: önemli bilgileri özetleyip yeni sohbete taşımak.

Sıradaki yazı Yapay zekâ nedir? Hiç bilmeyene 5 dakikada sade anlatım