LLM Evaluation

শুধু একটি overall accuracy দিয়ে LLM application evaluate করা কঠিন। Task অনুযায়ী multiple dimension দেখতে হয়:

• correctness ও relevance;

• groundedness বা faithfulness;

• instruction following;

• safety;

• latency ও cost;

• user satisfaction।

Automated metrics দ্রুত, কিন্তু সব nuance ধরতে পারে না। Human evaluation বেশি meaningful হতে পারে, তবে expensive ও subjective। ভালো evaluation set বাস্তব user queries এবং difficult edge cases অন্তর্ভুক্ত করে।

LLM evaluation task-specific হওয়া উচিত এবং output quality-এর পাশাপাশি grounding, safety, latency ও cost-এর মতো system metrics-ও বিবেচনা করা উচিত।