ทำไมเราต้องวัดผล AI?
เข้าใจความสำคัญของการวัดผล (Evaluation) เพราะความรู้สึกว่า "ตอบดี" นั้นไม่สามารถวัดผลเป็นตัวเลขในระดับโปรดักชันได้
พื้นฐานที่ควรรู้: เวลาเราเขียนโปรแกรมปกติ เรามี Unit Test เพื่อยืนยันว่าโค้ดทำงานถูก 100% แต่ผลลัพธ์ของ AI (โดยเฉพาะ Generative AI) มักจะมีความลื่นไหลและเปลี่ยนไปเรื่อยๆ การใช้ Test แบบเดิมจึงไม่ตอบโจทย์ เราจึงต้องมี "มาตรวัด" (Metrics) เฉพาะทางเพื่อเช็คว่า AI ของเราเก่งขึ้นหรือแย่ลง
การวัดผล AI เหมือนครูตรวจเรียงความ — มันไม่มีคำตอบที่ถูก 100% แบบคณิตศาสตร์ ครูต้องมีเกณฑ์ให้คะแนน (Rubric) เช่น ความสละสลวย, ความถูกต้องของข้อมูล, และการสะกดคำ เพื่อแปลงผลลัพธ์เชิงศิลปะให้กลายเป็นคะแนน
เราวัดผลไปทำไม?
- เพื่อเลือกโมเดล: รุ่นเล็ก 8B เพียงพอไหม หรือต้องใช้รุ่นใหญ่ 70B?
- เพื่อเช็คการอัปเดต: เปลี่ยน Prompt ใหม่แล้ว คำตอบโดยรวมดีขึ้นหรือแย่ลง?
- เพื่อป้องกันระบบพัง: ตรวจจับว่า AI เริ่มให้ข้อมูลเท็จ (Hallucination) หรือพูดจาไม่สุภาพ (Toxicity) เกินลิมิตที่รับได้หรือยัง
สรุป Key Takeaways
- Vibe Check (การลองพิมพ์ถามตอบ) เหมาะกับแค่ช่วงเริ่มต้น แต่ไม่พอสำหรับการทำระบบจริง
- ต้องมี "ชุดข้อสอบ" (Dataset/Benchmarks) ให้ AI ทำซ้ำๆ เพื่อดูคะแนน
- ตัวชี้วัดที่ต่างกัน เหมาะกับงานที่ต่างกัน (เช่น การแปลภาษา วัดผลต่างจากการแยกแยะสแปม)
คำถามที่พบบ่อย
ทำไมต้องประเมินโมเดล แค่ลองใช้ดูว่าดีไม่พอเหรอ
ความรู้สึก "ดูโอเค" หลอกได้ง่าย — การประเมินที่ดีต้องมีชุดทดสอบคงที่ + ตัวชี้วัดชัดเจน เพื่อเทียบโมเดล/prompt กันอย่างยุติธรรม และรู้ว่าการแก้ไขทำให้ดีขึ้นหรือแย่ลงจริง โดยเฉพาะก่อนขึ้น production และหลังเปลี่ยนโมเดล
Bedrock มีเครื่องมือประเมินให้ไหม
มี — Bedrock Model Evaluation ทำได้ทั้ง automatic (วัด metric สำเร็จรูปกับ dataset) และ human evaluation (ส่งให้คนให้คะแนน) ใช้เทียบหลายโมเดลก่อนเลือกใช้จริง — โจทย์ "เลือก FM ที่เหมาะกับ use case อย่างเป็นระบบ" ชี้มาที่นี่
ควรประเมินครั้งเดียวตอนเลือกโมเดล หรือทำต่อเนื่อง
ต่อเนื่อง — โมเดลอัปเวอร์ชัน ข้อมูลจริงเปลี่ยน prompt ถูกแก้ ทุกอย่างกระทบคุณภาพ แนวปฏิบัติคือมี eval set มาตรฐานรันซ้ำทุกครั้งที่มีการเปลี่ยนแปลง เหมือน regression test ของซอฟต์แวร์
ลองทำ Quiz ท้ายบท
คำถามแนวข้อสอบของโมดูลนี้ 2 ข้อ · เฉลยทันที