Self-attention একটি token-কে sequence-এর অন্য কোন tokenগুলো বেশি গুরুত্বপূর্ণ, তা নির্ধারণ করতে সাহায্য করে।
যেমন:
"রহিম বইটি করিমকে দিল, কারণ সে এটি চেয়েছিল।"
এখানে “সে” কোন ব্যক্তিকে বোঝাচ্ছে তা বুঝতে surrounding tokens-এর relationship গুরুত্বপূর্ণ। Attention প্রতিটি token-এর জন্য Query, Key ও Value representation ব্যবহার করে relevance score তৈরি করে।
Attention model-কে context বুঝতে সাহায্য করে, কিন্তু attention weight-কে সবসময় perfect human explanation হিসেবে দেখা ঠিক নয়।
Self-attention sequence-এর প্রতিটি token-কে অন্য tokenগুলোর relevant information weightedভাবে ব্যবহার করে contextual representation তৈরি করতে দেয়।