สถาปัตยกรรมการประมวลผล MoE สามระดับ: ดึงพลัง NVMe สู่การอนุมานในเครื่อง
นักพัฒนาโอเพนซอร์ส mw00 (หรือ peasantsmith) ได้เผยแพร่ Project Maya เอนจินอนุมานเฉพาะทางภายใต้สัญญาอนุญาตแบบ MIT ซึ่งพัฒนาต่อยอดมาจากเอนจิน Strata เพื่อนำมาใช้ประมวลผลโมเดล GLM-5.3-Flash ของ Zhipu AI โดยเฉพาะ ตัวโมเดลดังกล่าวเป็นสถาปัตยกรรม Mixture-of-Experts (MoE) ที่มีขนาดรวมถึง 321 พันล้านพารามิเตอร์ (321B) และเปิดใช้งานพารามิเตอร์ต่อโทเคน (Active Parameters) ประมาณ 18 พันล้านพารามิเตอร์ การรันโมเดลขนาดใหญ่ระดับนี้ในอดีตจำเป็นต้องใช้คลัสเตอร์ GPU ศูนย์ข้อมูลระดับองค์กรที่มีมูลค่าหลายล้านบาท แต่ Project Maya แก้ไขปัญหานี้ด้วยระบบจัดการหน่วยความจำแบบแบ่งชั้น 3 ระดับ (3-tier hierarchical expert offloading)
กลไกของ Maya ทำงานโดยการวิเคราะห์ความถี่ในการเรียกใช้ Expert ภายในโครงสร้าง MoE โดย Expert ที่ถูกเรียกใช้งานบ่อยที่สุด (Hot Experts) จะถูกตรึงไว้บน VRAM ของการ์ดจอโดยตรง ขณะที่ Expert ที่มีความถี่การใช้งานระดับกลางจะถูกเก็บไว้บน System RAM ของโฮสต์ และ Expert ส่วนหาง (Tail Experts) ที่ถูกเรียกใช้น้อยจะถูกสตรีมขึ้นมาประมวลผลตามคำขอจากไดรฟ์จัดเก็บข้อมูล NVMe SSD ความเร็วสูง ระบบสลับข้อมูลไปมาระหว่างการประมวลผลข้อความทำให้สามารถรันโมเดลระดับ 321B ได้บนฮาร์ดแวร์ระดับผู้บริโภคทั่วไปโดยไม่ต้องพึ่งพาคลาวด์ภายนอก
ผลการทดสอบเชิงลึก: ประสิทธิภาพ ความเร็ว และการรักษาความแม่นยำ
โปรเจกต์ได้ปล่อยชุดโมเดลควอนไทซ์ในรูปแบบ GGUF ออกมา 4 รูปแบบหลักบน Hugging Face ได้แก่ Maya-S24 (ขนาด 94.7 GB ซึ่งถูกปรับแต่งมาสำหรับการ์ดจอ VRAM 24 GB อย่าง RTX 3090 และ RTX 4090), Maya-S (ขนาด 96.5 GB), Maya-M (ขนาด 116 GB) และ Maya-L (ขนาด 156.3 GB) โดยผลการทดสอบระบุว่าโมเดล Maya-L สามารถรักษาความแม่นยำในการทดสอบ Zero-shot มาตรฐาน (เช่น ARC, HellaSwag, WinoGrande และ PIQA) ได้สูงถึง 99.2% เมื่อเทียบกับโมเดลพื้นฐานความละเอียด FP8 แบบดั้งเดิม ขณะที่เวอร์ชันกะทัดรัดอย่าง Maya-S ยังคงรักษาความแม่นยำไว้ได้ถึง 97.9%
ในแง่ของความเร็วในการสร้างโทเคน (Throughput) Project Maya สามารถทำความเร็วการประมวลผลได้มากกว่า 30 โทเคนต่อวินาที (tok/s) เมื่อรันบนการ์ดจอระดับผู้บริโภคระดับท็อปเพียงใบเดียวอย่าง RTX 5090 หรือการใช้การ์ดเวิร์กสเตชันรุ่นก่อนหน้าแบบคู่ และสามารถทำความเร็วได้สูงสุดถึง 118 tok/s เมื่อใช้งานบนระบบ Quad-GPU นอกจากนี้ เอนจินยังรองรับ Context Window สูงสุดถึง 1 ล้านโทเคน (1M context) พร้อมทั้งให้อินเทอร์เฟซ API ที่ทำงานร่วมกับโปรโตคอลมาตรฐานของ OpenAI และ Anthropic ได้ทันที โดยระบบปฏิบัติการหลักที่รองรับคือ Linux และได้เพิ่มการรองรับ AMD ROCm ขั้นทดลองในเวอร์ชัน v1.0.11
เสียงสะท้อนจากกลุ่มนักพัฒนา: ความหวังในการพึ่งพาตนเอง กับแรงกดดันด้านราคาฮาร์ดแวร์
การเปิดตัว Project Maya จุดประกายความตื่นตัวอย่างมากในหมู่วิศวกรปัญญาประดิษฐ์และผู้ใช้งานโฮมแล็บ ผู้ปฏิบัติงานต่างแสดงความยินดีที่โมเดลขนาดใหญ่ระดับ 300 พันล้านพารามิเตอร์ขึ้นไปสามารถนำมารันเพื่อเขียนโค้ดและทำงานเฉพาะทางในชีวิตประจำวันได้บนคอมพิวเตอร์ตั้งโต๊ะราคาประหยัด โดยไม่ต้องจ่ายค่าธรรมเนียม API รายเดือนให้กับผู้ให้บริการคลาวด์ผูกขาด ผู้ใช้หลายรายรายงานการทดสอบบนเซิร์ฟเวอร์ส่วนตัวที่มีแรม DDR4 หรือ DDR5 ขนาด 256 GB ร่วมกับการ์ดจอระดับผู้บริโภค โดยยืนยันว่าการประมวลผลมีความเร็วเสถียรและตอบสนองได้ดีเยี่ยมสำหรับงานส่วนบุคคล
อย่างไรก็ตาม ชุมชนนักพัฒนาได้หยิบยกข้อจำกัดและข้อกังวลสำคัญ โดยเฉพาะการพึ่งพาแบนด์วิธของบัสระบบ (PCIe Gen 4 หรือ Gen 5) และความเร็ว I/O ของ NVMe SSD อย่างหนัก หากเครื่องคอมพิวเตอร์มีแรมระบบต่ำกว่า 64 GB ถึง 128 GB ความเร็วในการสร้างข้อความจะลดลงอย่างรุนแรงเมื่อต้องดึง Cold Experts ขึ้นมาประมวลผล นอกจากนี้ ผู้ปฏิบัติงานยังตั้งข้อสังเกตถึงภาวะย้อนแย้งที่ว่า แม้ซอฟต์แวร์จะได้รับการเพิ่มประสิทธิภาพอย่างก้าวกระโดด แต่ฮาร์ดแวร์จริงกลับเข้าถึงยากขึ้นเรื่อยๆ เนื่องจากราคาของชิป GPU แรมความจุสูง และไดรฟ์ SSD ปรับตัวสูงขึ้นอย่างต่อเนื่องจากการกว้านซื้อขององค์กรขนาดใหญ่
นัยสำคัญต่อภาคธุรกิจในไทย: โอกาสสร้างโมเดลความปลอดภัยสูงในราคาที่เอื้อมถึง
สำหรับองค์กรธุรกิจในประเทศไทย โดยเฉพาะในอุตสาหกรรมการเงิน ประกันภัย โรงพยาบาล และหน่วยงานภาครัฐที่มีข้อกำหนดเข้มงวดด้านการคุ้มครองข้อมูลส่วนบุคคล (PDPA) สถาปัตยกรรมอย่าง Project Maya มอบทางเลือกใหม่ในการควบคุมข้อมูลระดับสูงสุด การสามารถรันโมเดลขนาด 321B แบบ On-Premises หรือภายในศูนย์ข้อมูลส่วนตัวช่วยกำจัดความเสี่ยงจากการที่ข้อมูลความลับทางการค้าหรือข้อมูลลูกค้าจะรั่วไหลออกนอกประเทศผ่านคลาวด์สาธารณะ
นอกจากนี้ Maya ยังช่วยให้ทีมเทคโนโลยีสารสนเทศของบริษัทไทยสามารถสร้างระบบอัตโนมัติภายในด้วยต้นทุนที่ต่ำลงอย่างมหาศาล แทนที่จะต้องลงทุนจัดซื้อเซิร์ฟเวอร์ AI chuyên dụng ราคาหลักล้านบาท องค์กรสามารถปรับใช้เวิร์กสเตชันระดับพรีเมียมที่มีการ์ดจออย่าง RTX 4090 หรือ RTX 5090 ร่วมกับแรมระบบขนาดใหญ่ เพื่อให้บริการโมเดลภาษาขนาดใหญ่ที่มีความสามารถระดับแนวหน้าแก่นักพัฒนาและพนักงานภายในองค์กรได้อย่างคุ้มค่าและยั่งยืน
Project Maya ทลายกำแพงต้นทุนฮาร์ดแวร์สำหรับองค์กรที่ต้องการความเป็นส่วนตัวของข้อมูล โดยเปิดทางให้ใช้งานโมเดลระดับแนวหน้าขนาด 321B ในเซิร์ฟเวอร์สำนักงานหรือโฮมแล็บได้โดยไม่ต้องพึ่งพิงคลาวด์