এই parameters model-এর output sampling control করে।

  • Temperature: কম হলে output বেশি predictable; বেশি হলে variation বাড়ে।

  • Top-k: সবচেয়ে probable $k$টি token থেকে sample করে।

  • Top-p: cumulative probability $p$ পর্যন্ত token set থেকে sample করে।

Factual extraction বা structured output-এ low temperature useful হতে পারে। Creative writing-এ কিছু variation দরকার হতে পারে। তবে low temperature hallucination পুরোপুরি বন্ধ করে না।

Temperature, top-k ও top-p model-এর learned knowledge বদলায় না; এগুলো next-token sampling কতটা conservative বা diverse হবে তা control করে।