Tokenlar, Tokenizer’lar ve Context Window
LLM'ler kelimeleri değil tokenları okur. Context window ise aktif token bütçesidir. Bu makalede lokal LLM'lerde tokenizasyonun temelini ve pratik etkilerini öğrenin.
LLM'ler kelimeleri değil tokenları okur. Context window ise aktif token bütçesidir. Bu makalede lokal LLM'lerde tokenizasyonun temelini ve pratik etkilerini öğrenin.
LLM'ler cevabı bir kerede üretmez. Token token tahmin ederek yanıt oluşturur. Inference döngüsünü anlamak yerel modellerin çalışma prensibini açıklar.
Yerel büyük dil modellerinin temelini anlamak: token tahmini, inference döngüsü ve bulut ile yerel AI arasındaki farklar. Araçlardan önce kavramları öğrenin.