Pretraining-এ LLM বিপুল text data থেকে পরবর্তী token predict করতে শেখে।
Input: "বাংলাদেশের রাজধানী"
Target next token: "ঢাকা"
এই simple objective বারবার করতে গিয়ে model grammar, patterns, facts এবং কিছু reasoning behavior শিখে। তবে model মূলত probability distribution থেকে next token generate করে; এটি human-এর মতো সবকিছু “বোঝে”—এমন দাবি করা ঠিক নয়।
LLM pretraining সাধারণত large text corpus-এ next-token prediction-এর মাধ্যমে language patterns ও general representations শেখে।