การยกเครื่องการวัดผลเอเจนต์บนเทอร์มินัล: Terminal-Bench v4.0
การประเมินความสามารถของปัญญาประดิษฐ์ในฐานะเอเจนต์ที่ลงมือทำงานได้จริงกำลังเผชิญกับการปรับกระบวนทัศน์ครั้งสำคัญ หลังจากมีข้อกังขาเรื่องข้อมูลชุดทดสอบรั่วไหลเข้าไปในการฝึกโมเดล (data contamination) ล่าสุดแพลตฟอร์ม Terminal-Bench ได้เปิดตัวเวอร์ชัน 4.0 อย่างเป็นทางการ โดยถูกระบุแท็กบน GitHub และ Hugging Face ตั้งแต่วันที่ 26 สิงหาคม 2026 ก่อนจะมีการติดตามผลทดสอบสดบนพอร์ทัลประเมินผลในช่วงต้นเดือนกันยายน 2026
Terminal-Bench v4.0 ได้รับการออกแบบมาเพื่อวัดผลระบบเอเจนต์ที่สั่งการเครื่องมือผ่านคอมมานด์ไลน์ (CLI) ในสภาพแวดล้อมแซนด์บ็อกซ์ที่มีการควบคุมความปลอดภัยอย่างสมบูรณ์ ชุดทดสอบนี้ปรับโครงสร้างใหม่โดยลดจำนวนโจทย์เหลือ 66 รายการด้านวิศวกรรมซอฟต์แวร์ จากเดิม 74 รายการในเวอร์ชัน 3.0 หลังถอดงานที่มีความผันผวนสูงหรือไม่สร้างความแตกต่างทางสถิติออกไป 8 รายการ พร้อมปรับปรุงแก้ไขงานเดิมอีกราว 19 ถึง 20 รายการ เพื่อให้สะท้อนปัญหาเชิงเทคนิคที่สมจริงยิ่งขึ้น
ในการทดสอบแต่ละภารกิจ เกณฑ์มาตรฐานกำหนดกรอบเวลาการทำงานของเอเจนต์ (Agent Timeout) ไว้สูงสุดถึง 8 ชั่วโมง และประเมินผลผ่านการรันทั้งหมด 5 รอบต่อหนึ่งภารกิจ เพื่อให้ได้ผลลัพธ์ที่มีเสถียรภาพและตัดปัจจัยความบังเอิญออกไป การทดสอบมุ่งวัดความสามารถในการแก้ปัญหาเชิงระบบ การแก้ไขข้อผิดพลาดของซอฟต์แวร์ และการตอบสนองต่อสเตตัสของเทอร์มินัลแบบเรียลไทม์
ผลลัพธ์บนตารางคะแนน: ขีดจำกัดที่ 58% และความเหลื่อมล้ำของเครื่องมือ
ผลลัพธ์บนตารางประเมินผลอย่างเป็นทางการเผยให้เห็นว่า โมเดลแนวหน้ายังคงติดเพดานความสามารถที่ไม่เกิน 60% โดยผู้ทำคะแนนสูงสุดคือ GPT-6 Astra ภายใต้การควบคุมของชุดเชื่อมต่อ Codex harness ที่ทำคะแนนสำเร็จไปได้ 58.18% ตามมาติดๆ ด้วย Claude Fable 5.1 ซึ่งทำงานร่วมกับ Claude Code harness ที่ระดับ 57.88%
ตัวเลขดังกล่าวสะท้อนว่า แม้โมเดลกลุ่ม Frontier จะมีขนาดและขีดความสามารถในการประมวลผลสูงมากเพียงใด แต่การแปลงการคิดเชิงสัญลักษณ์ไปสู่การควบคุมคำสั่งในเทอร์มินัลจริงยังคงมีอัตราความล้มเหลวเฉลี่ยมากกว่า 40% ในสภาพแวดล้อมที่ข้อผิดพลาดเพียงคำสั่งเดียวสามารถทำให้ระบบหยุดชะงักได้
นอกจากนี้ ความสำเร็จในการทดสอบยังขึ้นอยู่กับตัวฮาร์เนส (Harness) หรือระบบห่อหุ้มคำสั่งที่ทำหน้าที่เป็นสะพานเชื่อมระหว่างโมเดลและเชลล์ของระบบปฏิบัติการ โดยการผสานการทำงานระหว่างโมเดลเฉพาะทางและฮาร์เนสที่ออกแบบมาเฉพาะตัวเป็นปัจจัยหลักที่ช่วยสร้างเสถียรภาพในการทำคะแนนระดับหัวตาราง
วิกฤตของภารกิจระยะยาว: อัตราผ่านเฉลี่ยเหลือเพียง 6.4%
จุดที่สร้างความกังวลมากที่สุดในข้อมูลของ Terminal-Bench v4.0 คือผลการทดสอบในชุดย่อย Long-Horizon Terminal-Bench ซึ่งประกอบด้วยโจทย์ที่ต้องใช้ระยะเวลาในการประมวลผลและทำงานต่อเนื่องหลายชั่วโมงจำนวน 46 รายการ โดยผลการประเมินพบว่า ค่าเฉลี่ยการผ่านงานของชุดย่อยนี้ดิ่งลงเหลือเพียง 6.4% เท่านั้น
ยิ่งไปกว่านั้น ในบรรดาโมเดลทั้งหมด 17 รายการที่เข้าร่วมการทดสอบชุดย่อยระยะยาวนี้ มีโมเดลถึง 10 รายการที่ไม่สามารถผ่านงานได้แม้แต่รายการเดียว (0% pass rate) โดยสาเหตุหลักมาจากการหมดเวลาที่กำหนด (Timeout) ปัญหาบริบทข้อมูลเสื่อมถอย (Context Degradation) และการวนลูปของกระบวนการคิดที่ไม่สามารถพาตัวเองออกจากจุดผิดพลาดได้
ตัวเลข 6.4% เป็นหลักฐานเชิงประจักษ์ว่า เมื่อต้องเผชิญกับลำดับขั้นตอนที่ซับซ้อนเกินกว่าสองสามขั้นตอน หรือต้องแก้ปัญหาที่อาศัยการสะสมบริบทประวัติคำสั่งเป็นเวลานาน ความแม่นยำของเอเจนต์จะเสื่อมถอยลงอย่างรวดเร็วจนแทบไม่สามารถพึ่งพาได้แบบอัตโนมัติ 100%
เสียงสะท้อนจากนักพัฒนา: ปัญหาวนลูปและอาการหลอนสถานะในเทอร์มินัล
ในหมู่นักพัฒนาซอฟต์แวร์และผู้เชี่ยวชาญด้านวิศวกรรม มีการแลกเปลี่ยนข้อสังเกตอย่างกว้างขวางเกี่ยวกับความแตกต่างอย่างเห็นได้ชัดระหว่างคะแนนการตลาดที่มีการประชาสัมพันธ์ กับความเสถียรที่เกิดขึ้นจริงในการใช้งานเป็นผู้ช่วยเขียนโค้ดในชีวิตประจำวัน
ผู้ปฏิบัติงานระบุว่า ปัญหาใหญ่ที่พบซ้ำซากคืออาการ 'เสียการควบคุม' (Agent Breakage) ระหว่างการทำงานต่อเนื่องในเทอร์มินัล ซึ่งเอเจนต์มักจะเริ่มหลอนสถานะการรันคำสั่ง Bash โดยคิดว่าคำสั่งก่อนหน้าทำงานสำเร็จแล้วทั้งที่ติดข้อผิดพลาด หรือหลงลืมว่าตนเองอยู่ในไดเรกทอรีใดจนป้อนคำสั่งซ้ำๆ ในลูปที่ไม่สิ้นสุด
นอกจากนี้ ยังมีข้อถกเถียงในเชิงเทคนิคว่า ความล้มเหลวในภารกิจระยะยาวนี้ เกิดจากข้อจำกัดที่แท้จริงของการคิดเชิงเหตุผลของตัวโมเดลเอง (Reasoning Exhaustion) หรือเป็นผลมาจากคอขวดของระบบฮาร์เนสและสภาพแวดล้อมแซนด์บ็อกซ์ที่ยังจัดการการส่งผ่านสเตตัสได้ไม่สมบูรณ์กันแน่ ซึ่งยังคงเป็นประเด็นที่ไม่มีข้อสรุปชัดเจน
นัยสำคัญต่อภาคธุรกิจและทีมวิศวกรรมในประเทศไทย
สำหรับองค์กรธุรกิจและทีมไอทีในประเทศไทย ผลการประเมิน Terminal-Bench v4.0 ถือเป็นสัญญาณเตือนที่สำคัญในการวางกลยุทธ์ AI สำหรับงานโครงสร้างพื้นฐาน การเปิดให้เอเจนต์เข้าถึงสิทธิ์ Command Line โดยไม่มีมนุษย์คอยควบคุม (Unattended Autonomy) ยังคงมีความเสี่ยงสูงที่จะเกิดความเสียหายเชิงระบบ หรือติดลูปคำสั่งจนผลาญทรัพยากรประมวลผลโดยไม่ได้ชิ้นงาน
ผู้นำด้านเทคโนโลยีของไทยควรจำกัดขอบเขตการทำงานของ AI เอเจนต์ให้อยู่ในโมเดล Human-in-the-Loop เสมอ โดยอนุญาตให้โมเดลร่างคำสั่ง สรุปปัญหา หรือแก้ข้อผิดพลาดระดับไมโครทาสก์ แต่ต้องมีวิศวกรซอฟต์แวร์เป็นผู้อนุมัติการรันคำสั่งที่มีผลกระทบต่อระบบฐานข้อมูล โค้ดหลัก หรือคอนฟิกูเรชันเซิร์ฟเวอร์
นอกจากนี้ ควรใช้สภาพแวดล้อมแซนด์บ็อกซ์ที่แยกขาดจากเครือข่ายภายในองค์กรอย่างสิ้นเชิงในการทดสอบ เพื่อป้องกันผลกระทบข้างเคียงจากการที่โมเดลป้อนคำสั่งที่ผิดพลาด การเลือกลงทุนในเอเจนต์ควรมุ่งเน้นที่ความสามารถในการทำงานร่วมกับเครื่องมือเฉพาะทางและการตรวจสอบย้อนกลับได้ มากกว่าการมองหาการทำงานแบบอัตโนมัติเต็มรูปแบบในปัจจุบัน
ชุดประเมินนี้สะท้อนว่าการสั่งการโมเดลภาษาผ่านคำสั่ง Terminal ในระบบปิด ยังมีความเปราะบางสูงเมื่อเผชิญกับขั้นตอนที่ซับซ้อนและยาวนาน เตือนให้ภาคธุรกิจไทยที่กำลังนำเอเจนต์ไปใช้ในงานซอฟต์แวร์จริงต้องวางมาตรการควบคุมอย่างรัดกุม