Tokenlar, Tokenizer’lar ve Context Window
LLM'ler kelimeleri değil tokenları okur. Context window ise aktif token bütçesidir. Bu makalede lokal LLM'lerde tokenizasyonun temelini ve pratik etkilerini öğrenin.
LLM'ler kelimeleri değil tokenları okur. Context window ise aktif token bütçesidir. Bu makalede lokal LLM'lerde tokenizasyonun temelini ve pratik etkilerini öğrenin.
Yerel büyük dil modellerinin temelini anlamak: token tahmini, inference döngüsü ve bulut ile yerel AI arasındaki farklar. Araçlardan önce kavramları öğrenin.