LLM সরাসরি শব্দ পড়ে না। Text-কে ছোট units-এ ভেঙে token বানিয়ে process করে। একটি token পুরো শব্দ, শব্দের অংশ, punctuation বা অন্য character sequence হতে পারে।
"unbelievable"
→ "un" + "believ" + "able"
Bangla, English ও Banglish text একই tokenizer-এ ভিন্ন সংখ্যক token তৈরি করতে পারে। Token count context window, latency এবং API cost-কে প্রভাবিত করে। Character count আর token count তাই এক নয়।
Tokenization input text-কে model-এর vocabulary অনুযায়ী ছোট numerical units-এ রূপান্তর করে; LLM এই token sequence-এর ওপর prediction করে।