Specific Labs เปิดตัว Real-SWE ชุดทดสอบโมเดลวิศวกรรมซอฟต์แวร์บนโค้ดเบสองค์กรจริง

สถาปัตยกรรมและที่มาของชุดทดสอบ Real-SWE

เมื่อวันที่ 10 กันยายน 2026 ผู้ร่วมก่อตั้ง Janak Sunil และ Sid แห่ง Specific Labs จากโครงการบ่มเพาะ Y Combinator รุ่น F25 ได้เปิดตัวชุดทดสอบมาตรฐานวิศวกรรมซอฟต์แวร์ใหม่ภายใต้ชื่อ Real-SWE เพื่อตอบสนองต่อปัญหาความคลาดเคลื่อนของการประเมินโมเดลเขียนโค้ดในตลาดปัจจุบัน การประเมินปัญญาประดิษฐ์ช่วยเขียนโปรแกรมส่วนใหญ่มักพึ่งพาชุดข้อมูลแบบโอเพนซอร์ส ซึ่งมีความเสี่ยงสูงที่จะเกิดการปนเปื้อนในชุดข้อมูลฝึกฝน (Pre-training Contamination) ส่งผลให้ตัวเลขคะแนนที่ปรากฏไม่สอดคล้องกับศักยภาพการแก้ปัญหาในสภาพแวดล้อมทางธุรกิจจริง

Real-SWE ถูกออกแบบมาเพื่อท้าทายโมเดลระดับแนวหน้าบนชุดงานจริงจำนวน 10 รายการ ซึ่งคัดเลือกมาจากโค้ดเบสระบบปิดที่มีกรรมสิทธิ์และใช้งานในระบบโปรดักชันจริง ตัวอย่างโค้ดเบสที่นำมาทดสอบประกอบด้วย ระบบแพลตฟอร์มฟินเทคที่ประมวลผลรายการเดินบัญชีธนาคารมากกว่า 100,000 รายการ แอปพลิเคชันเชิงพาณิชย์ที่มีผู้ใช้งานประจำมากกว่า 200,000 คน รวมถึงระบบคำนวณและโยกย้ายตรรกะภาษีการขายที่มีความซับซ้อนสูง สภาพแวดล้อมเหล่านี้เต็มไปด้วยการเชื่อมโยงระบบเดิม ข้อมูลเอกสารที่ไม่สมบูรณ์ และกฎเกณฑ์ทางธุรกิจที่ซับซ้อน ซึ่งเป็นอุปสรรคสำคัญที่ตัวแทนปัญญาประดิษฐ์ต้องเผชิญในระดับองค์กร

ผลคะแนนบนกระดานผู้นำและอัตราความล้มเหลว

การประเมินผลใน Real-SWE ดำเนินการผ่านการจับคู่โมเดลและเครื่องมือทดสอบ (Model-and-Harness Pairs) ทั้งหมด 8 คู่ รวมการรันผลที่คิดคะแนน 640 รอบ โดยใช้เกณฑ์ pass@1 คำนวณจากค่าเฉลี่ยของการทดสอบ 8 ครั้งต่อหนึ่งโจทย์ จากผลการจัดอันดับอย่างเป็นทางการ โมเดล Fable 5.1 ซึ่งทำงานร่วมกับ Claude Code คว้าอันดับหนึ่งด้วยคะแนน 38.8% ตามมาด้วย GPT-6 Astra บนชุดทดสอบ Codex CLI ที่ 33.8% และ Gemini 3.8 Flash บน Gemini CLI ทำคะแนนได้ 31.2%

ในกลุ่มถัดมา โมเดล GLM 5.3 ภายใต้เครื่องมือ Claude Code สามารถทำคะแนนได้ 28.8% ขณะที่ Grok 4.6 (บน Grok Build) และ Muse Spark 1.3 (บน Muse Code) ทำคะแนนเสมอกันที่ 23.8% ส่วนโมเดล Kimi K3 บน Kimi Code ทำคะแนนได้ 18.8% และปิดท้ายด้วย GPT-5.6 Sol บน Codex CLI ที่ได้เพียง 16.2%

แม้โมเดลระดับท็อปจะสามารถแก้โจทย์ได้บางส่วน แต่ชุดข้อมูลชี้ให้เห็นถึงความล้มเหลวเชิงระบบอย่างชัดเจน โดยพบว่ามีถึง 6 ใน 10 โจทย์ที่มีอัตราการผ่านโดยรวมของทุกโมเดลต่ำกว่า 15% และมีโจทย์ระดับองค์กร 1 ข้อที่ไม่สามารถมีโมเดลใดในกระดานผู้นำแก้ไขได้สำเร็จเลยแม้แต่วงรอบเดียว (อัตราผ่าน 0%) สะท้อนว่าเมื่อระบบต้องเผชิญกับเงื่อนไขการเชื่อมต่อหลายชั้น ปัญญาประดิษฐ์ยังคงไม่สามารถประคองบริบทการทำงานได้อย่างต่อเนื่อง

มุมมองของนักพัฒนาและข้อถกเถียงเรื่องความโปร่งใส

การเปิดเผยผลการทดสอบ Real-SWE จุดชนวนให้เกิดข้อถกเถียงอย่างกว้างขวางในหมู่วิศวกรซอฟต์แวร์และนักวิจัยปัญญาประดิษฐ์ ประเด็นหลักมุ่งไปที่ความน่าเชื่อถือของชุดทดสอบที่ไม่อนุญาตให้บุคคลภายนอกเข้าถึงซอร์สโค้ดเพื่อตรวจสอบซ้ำ (Non-reproducible Benchmark) นักพัฒนาบางส่วนวิจารณ์ว่าการทดสอบลักษณะนี้เปรียบเสมือนการประเมินแบบสัญญาใจ เนื่องจากตัวโค้ดเบสถูกปิดเป็นความลับ ทำให้ไม่สามารถตรวจสอบความยุติธรรมของการตั้งค่าสภาพแวดล้อมหรือกระบวนการรันได้ อย่างไรก็ตาม ผู้เชี่ยวชาญอีกฟากหนึ่งมองว่า นี่เป็นข้อแลกเปลี่ยนที่จำเป็น เพื่อสกัดกั้นการท่องจำข้อมูลและป้องกันไม่ให้ผู้พัฒนาโมเดลปรับแต่งโมเดลล่วงหน้าเพื่อหวังผลคะแนน

นอกจากนี้ วิศวกรยังร่วมวิเคราะห์ถึงคะแนนที่ต่ำอย่างน่าประหลาดใจของ GPT-5.6 Sol โดยชี้ว่าพฤติกรรมของโมเดลที่มักผสมผสานโทเคนการคิด (Scratchpad/Thinking Tokens) เข้ากับผลลัพธ์ของโค้ด กลายเป็นคอขวดสำคัญที่ทำให้บริบทการประมวลผลเสื่อมประสิทธิภาพในโปรเจกต์ขนาดใหญ่ ในทางกลับกัน ประสิทธิภาพของ GLM 5.3 ที่แซงหน้าโมเดลฝั่งตะวันตกบางรุ่นได้รับความสนใจอย่างมาก ซึ่งนักวิจัยระบุว่าเป็นผลมาจากกระบวนการฝึกฝนที่เน้นการทำความเข้าใจบริบทโค้ดขนาดยาว

ขณะเดียวกัน ยังมีข้อสังเกตจากนักพัฒนาบางกลุ่มที่ตั้งข้อสงสัยต่อที่มาของโค้ดเบส โดยตั้งสมมติฐานว่า Specific Labs อาจจัดซื้อหรือเข้าถึงโค้ดเบสจากสตาร์ทอัพที่ปิดตัวลงหรือประสบปัญหาทางการเงินมากกว่าการได้รับความยินยอมจากองค์กรขนาดใหญ่ที่ยังมีเสถียรภาพสูง ซึ่งข้อกังขานี้ยังไม่ได้รับการยืนยันอย่างเป็นทางการเนื่องจากผู้จัดทำไม่ได้เปิดเผยรายชื่อลูกค้าหรือข้อมูลกรรมสิทธิ์ของโค้ดเหล่านั้นต่อสาธารณะ

นัยสำคัญต่อภาคธุรกิจและการปรับใช้ซอฟต์แวร์ในไทย

สำหรับผู้นำเทคโนโลยีสารสนเทศ (CIO) และผู้จัดการฝ่ายวิศวกรรมในประเทศไทย ผลการทดสอบของ Real-SWE ส่งสัญญาณเตือนที่สำคัญเกี่ยวกับการนำปัญญาประดิษฐ์แบบเอเจนต์ (Agentic AI) มาใช้งานในระบบหลักขององค์กร โดยเฉพาะอย่างยิ่งในกลุ่มธุรกิจธนาคาร ประกันภัย และโทรคมนาคม ซึ่งพึ่งพาระบบสถาปัตยกรรมแบบดั้งเดิม (Legacy Systems) และมีตรรกะการดำเนินงานเฉพาะทาง การคาดหวังให้โมเดลเขียนโค้ดเข้ามาแก้ไขจุดบกพร่องหรือปรับโครงสร้างระบบโดยอัตโนมัติแบบไร้การกำกับดูแลยังคงเป็นแนวทางที่มีความเสี่ยงสูง

องค์กรในไทยจำเป็นต้องทบทวนกลยุทธ์การปรับใช้ โดยต้องจำแนกแยกระหว่างการใช้ AI เป็นเครื่องมือสนับสนุนรายบุคคล (Pair Programmer) กับการปล่อยให้ทำงานแบบอัตโนมัติอิสระ (Autonomous Agent) ข้อจำกัดด้านอัตราความล้มเหลวที่สูงถึง 85% ในโจทย์ส่วนใหญ่ ชี้ชัดว่าองค์กรต้องวางระบบทดสอบอัตโนมัติ (Automated Testing Frameworks) การตรวจสอบโค้ดอย่างเข้มข้น และการกำหนดขอบเขตการเข้าถึงไฟล์ระบบ (Sandbox Boundary) อย่างรัดกุม เพื่อป้องกันไม่ให้เกิดความเสียหายต่อระบบฐานข้อมูลและกระบวนการทำงานหลักของธุรกิจ