ตัวชี้วัดด้านประสิทธิภาพระบบ (Operational Efficiency)
Average Response Time (Latency) และ Training Time
การประเมินนอกเหนือจากความฉลาด
ในโลกของการทำงานจริง (Production) ความเก่ง (Accuracy) ไม่ใช่ตัวชี้วัดเดียวที่เราสนใจ ข้อสอบมักจะถามว่าถ้าต้องการพัฒนาระบบ AI ให้ผู้ใช้งานพึงพอใจ หรือประหยัดค่าใช้จ่าย ต้องดู Metric ตัวไหนควบคู่ไปด้วย
- Average Response Time (Latency): คือเวลาเฉลี่ยตั้งแต่ผู้ใช้กดส่งคำถาม จนกว่าจะได้คำตอบกลับมา (ยิ่งต่ำยิ่งดี) เช่น ถ้าระบบตอบแชทใช้เวลาคิด 10 วินาที ลูกค้าอาจจะปิดหน้าเว็บหนีไปก่อน
- Training Time: เวลาที่ใช้ในการนำข้อมูลไปสอนโมเดล ถ้าข้อมูลมีขนาดมหาศาลหรือโมเดลใหญ่มาก อาจต้องใช้ Training Time เป็นสัปดาห์หรือเป็นเดือน ซึ่งกระทบต่อต้นทุนค่าเซิร์ฟเวอร์โดยตรง
สรุป Key Takeaways
- โมเดลที่แม่นยำที่สุด อาจจะช้าเกินไปจนใช้จริงไม่ได้
- Average Response Time (Latency): เวลาเฉลี่ยที่ระบบใช้คิดและตอบกลับ
- Training Time: เวลาที่ใช้สอนโมเดล ยิ่งโมเดลใหญ่ยิ่งใช้เวลานานและกินไฟ
คำถามที่พบบ่อย
นอกจากความฉลาด ต้องวัดอะไรอีกตอนใช้งานจริง
สี่ตัวหลัก: latency (ตอบเร็วไหม โดยเฉพาะ time-to-first-token), throughput (รับโหลดได้แค่ไหน), cost ต่อ request/ต่องาน และ error rate — โมเดลที่ฉลาดสุดอาจแพ้โมเดลที่เร็วและถูกกว่าถ้าคุณภาพต่างกันนิดเดียว ข้อสอบชอบโจทย์ trade-off แบบนี้
Time-to-first-token ต่างจาก latency รวมยังไง
TTFT = นานแค่ไหนกว่าคำแรกจะโผล่ (สำคัญกับแชท — ผู้ใช้รู้สึกว่าระบบตอบสนอง) ส่วน latency รวม = กว่าคำตอบทั้งหมดจะเสร็จ (สำคัญกับงาน batch/pipeline) การ stream คำตอบช่วยประสบการณ์แชทได้มากแม้ latency รวมเท่าเดิม
ติดตาม cost ของระบบ GenAI ยังไงไม่ให้บานปลาย
วัด token ต่อ request และ cost ต่อ "หน่วยงานธุรกิจ" (ต่อเอกสารที่สรุป ต่อ ticket ที่ตอบ), ตั้ง alert งบใน Cost Explorer/Budgets, ใช้ prompt caching และเลือกขนาดโมเดลตามงาน — แนวคิดคือรู้ต้นทุนต่อชิ้นงานตั้งแต่ pilot ไม่ใช่มารู้ตอนบิลมา
ลองทำ Quiz ท้ายบท
คำถามแนวข้อสอบของโมดูลนี้ 2 ข้อ · เฉลยทันที