Quantization model weights বা activations কম precision-এ represent করে। যেমন 32-bit value-এর পরিবর্তে 8-bit বা 4-bit representation ব্যবহার করা যেতে পারে।
এর ফলে:
memory requirement কমে;
model loading সহজ হয়;
supported hardware-এ inference দ্রুত হতে পারে।
তবে aggressive quantization model quality কমাতে পারে। সব model ও hardware-এ একই speedup পাওয়া যায় না, তাই benchmark প্রয়োজন।
Quantization কম numerical precision ব্যবহার করে model-এর memory ও inference cost কমায়, তবে efficiency gain-এর সঙ্গে quality trade-off থাকতে পারে।