ยกระดับการทดสอบสู่สภาพแวดล้อมจริง: โครงสร้างของ Terminal-Bench v4.0
สถาบัน Laude Institute ร่วมกับทีมนักวิจัยจาก Stanford University และทีมพัฒนา Harbor framework ได้เปิดตัวชุดทดสอบสมรรถนะ Terminal-Bench v4.0 อย่างเป็นทางการ เพื่อใช้เป็นเกณฑ์มาตรฐานในการประเมินประสิทธิภาพของปัญญาประดิษฐ์ประเภทเอเจนต์ (autonomous agents) ในการทำงานบนคอมมานด์ไลน์และระบบปฏิบัติการจริง
ในเวอร์ชัน 4.0 นี้ คณะผู้วิจัยได้ปรับปรุงเนื้อหาการทดสอบให้มีความรัดกุมยิ่งขึ้น โดยปรับลดจำนวนงานที่ใช้ทดสอบจากเดิม 74 งานในเวอร์ชัน 3.0 เหลือ 66 งานที่มีการคัดสรรอย่างละเอียด ครอบคลุมงานด้านวิศวกรรมซอฟต์แวร์ (Software Engineering), วิทยาการข้อมูลและการเรียนรู้ของเครื่อง (Machine Learning), การจัดการระบบปฏิบัติการ (Systems & Operations), วิทยาศาสตร์เชิงคำนวณ และความมั่นคงปลอดภัยทางไซเบอร์ โดยได้ตัดงาน 8 รายการที่โมเดลส่วนใหญ่ทำคะแนนจนอิ่มตัว (saturated) หรือกระตุ้นกลไกปฏิเสธคำสั่งความปลอดภัย (refusal-prone) ออกไป พร้อมทั้งปรับแก้เนื้อหาและเงื่อนไขของงานเดิมอีก 20 งาน
ระเบียบวิธีวิจัยของ Terminal-Bench เน้นการตัดขาดการโต้ตอบผ่านอินเทอร์เฟซแบบกราฟิก (GUI) โดยให้เอเจนต์ทำงานผ่านบรรทัดคำสั่งเทอร์มินัลภายในคอนเทนเนอร์ Docker ที่ถูกแยกส่วนอย่างสมบูรณ์ การวัดผลการทดสอบจะไม่ประเมินจากข้อความตอบกลับหรือคำอธิบายของตัวแบบ แต่ใช้ตัวตรวจพิสูจน์แบบโปรแกรมอัตโนมัติ (automated programmatic verifiers) เพื่อตรวจสอบว่าสถานะสุดท้ายของระบบและไฟล์ในคอนเทนเนอร์ตรงตามเงื่อนไขที่กำหนดหรือไม่
ผลการทดสอบบนกระดานผู้นำ: การขับเคี่ยวของโมเดลแนวหน้าและจุดตัด Open-Weight
ผลลัพธ์บนกระดานผู้นำทางการแสดงให้เห็นว่า ในกลุ่มโมเดลเชิงพาณิชย์ระดับแนวหน้า (Proprietary frontier models) โมเดล GPT-6 Astra ของ OpenAI ซึ่งเชื่อมต่อการทดสอบผ่าน Codex max harness สามารถทำคะแนนอัตราการแก้ไขภารกิจสำเร็จ (resolution rate) ได้สูงสุดที่ 58.2% ตามมาติดๆ ด้วย Claude Fable 5.1 จาก Anthropic ที่ระดับ 57.9% ขณะที่ Claude Opus 5 ทำคะแนนอยู่ที่ 51.8%
จุดเปลี่ยนสำคัญของชุดทดสอบรอบนี้อยู่ในฝั่งของโมเดลเปิดหรือ Open-weight โดยโมเดล GLM-5.3 จาก Z.AI ทำคะแนนในกลุ่มนี้สูงเป็นประวัติการณ์ที่ 41.8% ส่งผลให้กลายเป็นโมเดลเปิดตัวแรกที่สามารถผ่านเกณฑ์ความสามารถ 40% ในสภาพแวดล้อมการทดสอบแบบเทอร์มินัล ซึ่งสูงกว่าโมเดลแบบปิดขนาดกลางหลายตัวในตลาด
ในทางตรงกันข้าม ตัวเลขจากเบนช์มาร์กยังสะท้อนถึงช่องว่างทางเทคโนโลยีที่กว้างขึ้น โดยโมเดลรุ่นก่อนหน้าและโมเดลที่ไม่ใช่ระดับแนวหน้ามีคะแนนลดลงอย่างมาก ตัวอย่างเช่น Kimi-K3 ทำคะแนนได้เพียงราว 12% ขณะที่โมเดลยุคก่อนอย่าง Claude Sonnet 4.6 ทำคะแนนได้ใกล้เคียงศูนย์ แสดงให้เห็นว่าข้อสอบชุดใหม่นี้เรียกร้องความเข้าใจในระบบระดับลึกมากกว่าการเดาคำสั่งพื้นฐาน
เสียงสะท้อนจากกลุ่มนักพัฒนา: ข้อกังขาเรื่อง 'Benchmaxxing' และความท้าทายในการใช้งานจริง
แม้ว่าตัวเลขความสำเร็จของตัวแบบจะดูน่าประทับใจ แต่นักพัฒนาและผู้ปฏิบัติงานด้านวิศวกรรมซอฟต์แวร์ได้แสดงข้อกังขาต่อความสอดคล้องระหว่างคะแนนเบนช์มาร์กและการทำงานจริง หลายฝ่ายชี้ให้เห็นว่าสถาปัตยกรรมโมเดลรุ่นใหม่ๆ อาจถูกปรับแต่งให้มีประสิทธิภาพสูงเป็นพิเศษเฉพาะกับชุดคำสั่งทดสอบ (benchmaxxed) จนสูญเสียความยืดหยุ่น โดยผู้ใช้งานบางส่วนระบุว่า ในการเขียนโค้ดและดีบักงานในชีวิตประจำวัน โมเดลระดับสูงบางตัวกลับเริ่มมีพฤติกรรมละเลยคำสั่งของผู้ใช้ (instruction drift) หรือตอบสนองช้าลง
นอกจากนี้ ยังมีการถกเถียงในหมู่นักวิจัยว่าคะแนนที่แตกต่างกันอาจเกิดจากนโยบายความปลอดภัยและระบบตัวกรองคำสั่ง โดยเฉพาะการที่ Terminal-Bench มีข้อสอบเกี่ยวกับความปลอดภัยทางไซเบอร์และการทดลองวิจัยทางพันธุกรรม ซึ่งอาจกระตุ้นให้บางโมเดลปฏิเสธการตอบสนองโดยอัตโนมัติ ส่งผลให้คะแนนถูกปรับลดลงแม้ตัวแบบอาจมีความสามารถทางเทคนิคเพียงพอที่จะแก้ปัญหาก็ตาม
อย่างไรก็ตาม ชุมชนนักพัฒนาได้แสดงความชื่นชมต่อผลลัพธ์ของ GLM-5.3 เป็นอย่างมาก โดยมองว่าการที่โมเดล open-weight สามารถทำผลงานได้ในระดับ 41.8% เป็นสัญญาณบวกที่แสดงให้เห็นว่า องค์กรต่างๆ อาจมีทางเลือกในการโฮสต์โมเดลภายในองค์กร (on-premise) เพื่อทำงานอัตโนมัติโดยไม่ต้องพึ่งพา API กรรมสิทธิ์ของบริษัทใหญ่เสมอไป
นัยสำคัญต่อภาคธุรกิจและโครงสร้างพื้นฐานไอทีในประเทศไทย
สำหรับผู้นำฝ่ายเทคโนโลยีสารสนเทศ (CIO และ CTO) รวมถึงทีมวิศวกรรมซอฟต์แวร์ในประเทศไทย การเปิดตัว Terminal-Bench v4.0 ส่งสัญญาณสำคัญว่าเทคโนโลยีเอเจนต์ได้ก้าวข้ามการเขียนโค้ดขั้นพื้นฐานไปสู่การจัดการระบบอัตโนมัติ (Autonomous Infrastructure Management) ซึ่งสามารถนำมาประยุกต์ใช้ในการตรวจสอบความถูกต้องของระบบคลาวด์ การทำ CI/CD อัตโนมัติ และการสืบสวนหาสาเหตุของระบบขัดข้อง (incident triage)
ผลลัพธ์ที่แสดงให้เห็นว่า GLM-5.3 มีประสิทธิภาพสูงในระดับ 41.8% ช่วยเปิดโอกาสสำคัญให้กับองค์กรในไทย โดยเฉพาะในภาคการเงิน การธนาคาร และโทรคมนาคม ซึ่งมีข้อกำหนดเข้มงวดด้านการกำกับดูแลข้อมูลตามพระราชบัญญัติคุ้มครองข้อมูลส่วนบุคคล (PDPA) องค์กรเหล่านี้สามารถเลือกใช้งานโมเดลแบบ open-weight เพื่อนำมาติดตั้งและรันภายในโครงสร้างพื้นฐานหรือ Private Cloud ของตนเอง ช่วยลดความเสี่ยงจากการส่งข้อมูลระบบสำคัญออกนอกประเทศผ่าน API เชิงพาณิชย์
อย่างไรก็ดี องค์กรไทยควรหลีกเลี่ยงการพึ่งพาตัวเลขเบนช์มาร์กเพียงอย่างเดียว และจำเป็นต้องสร้างสภาพแวดล้อมแซนด์บอกซ์สำหรับการทดสอบภายใน (Internal Evaluation Harness) เพื่อวัดผลความสามารถของเอเจนต์กับระบบดั้งเดิม (Legacy Systems) และสแต็กเทคโนโลยีเฉพาะขององค์กรก่อนนำไปใช้งานจริง
มาตรฐานการประเมินเอเจนต์กำลังเปลี่ยนจากการสร้างโค้ดแบบเดิมไปสู่การสั่งการระบบจริงในเทอร์มินัล ช่วยให้องค์กรประเมินความสามารถของโมเดลในการทำงานด้านวิศวกรรมระบบและ DevOps ได้อย่างแม่นยำยิ่งขึ้น