AMD CEO'su Lisa Su, Computex'te tanıttığı Ryzen AI Max+ 395 ile Nvidia'nın AI tekelini sarsacak bir hamle yaptı. 128 GB paylaşımlı bellek, $1.499 fiyat ve 235 milyar parametreli modeller...
LLM'ler cevabı bir kerede üretmez. Token token tahmin ederek yanıt oluşturur. Inference döngüsünü anlamak yerel modellerin çalışma prensibini açıklar.
Yerel büyük dil modellerinin temelini anlamak: token tahmini, inference döngüsü ve bulut ile yerel AI arasındaki farklar. Araçlardan önce kavramları öğrenin.