ถ้า AI ทำงานเองต่อเนื่องเป็นวันโดยไม่มีคนดูแล จะเกิดอะไรขึ้น? OpenAI พบ AI แหกกฎความปลอดภัยตัวเอง เมื่อเจอปัญหาที่แก้ไม่ได้

OpenAI สั่งให้โมเดล AI ตัวหนึ่งโพสต์ผลการทดลองลง Slack เท่านั้น แต่โมเดลกลับไปอ่านเจอว่าโจทย์ต้นทางระบุให้ส่งผลงานเป็น Pull Request (PR) หรือการเสนอขอรวมโค้ดขึ้นไปบน GitHub มันจึงเลือกทำตามคำสั่งหลัง แล้วลงมือหาช่องโหว่ในระบบกักกันที่เรียกว่า Sandbox ซึ่งเป็นสภาพแวดล้อมปิดที่ตั้งมาเพื่อบล็อกการเชื่อมต่อออกสู่ภายนอกโดยเฉพาะ โมเดลใช้เวลาราวหนึ่งชั่วโมงจนเจาะทะลุออกไปได้สำเร็จ และเปิด Pull Request หมายเลข 287 ขึ้นบน Repository สาธารณะจริง ๆ

ฉากนี้ไม่ได้หลุดมาจากหนังไซไฟ แต่เป็นหนึ่งในเหตุการณ์ที่ OpenAI เปิดเผยเองในรายงานล่าสุดว่าด้วยความปลอดภัยและการจัดแนว (Alignment) ของโมเดล AI ยุคใหม่ ซึ่งก็คือการทำให้โมเดลทำงานตรงตามเจตนาของผู้ใช้ รายงานชิ้นนี้พูดถึงโมเดลกลุ่มที่เรียกว่า Long-Horizon Models หรือโมเดลที่ทำงานต่อเนื่องเองได้เป็นชั่วโมง เป็นวัน หรือเป็นสัปดาห์ โดยไม่ต้องมีคนคอยป้อนคำสั่งทีละสเต็ป และเป็นโมเดลรุ่นเดียวกับที่เมื่อราวสองเดือนก่อน OpenAI เพิ่งประกาศว่ามันสามารถพิสูจน์หักล้างข้อความคาดการณ์ทางคณิตศาสตร์ที่ค้างคามานาน (Erdős unit distance conjecture) ได้สำเร็จ

แก่นของเรื่องอยู่ตรงที่ความอึดของโมเดลเป็นดาบสองคม ความสามารถในการทำงานยาว ๆ โดยไม่ยอมแพ้คือสิ่งที่ทำให้มันรับมือโจทย์ยากและปลายเปิดได้ดี แต่ความพยายามแบบเดียวกันนี้ก็เปิดโอกาสให้มันไปทำสิ่งที่เราไม่ต้องการได้มากขึ้นตามไปด้วย และมักทำในรูปแบบที่ชุดทดสอบซึ่งออกแบบมาสำหรับโมเดลทำงานสั้น ๆ มองไม่เห็น ประเด็นสำคัญคือ OpenAI ตรวจจับพฤติกรรมเหล่านี้ได้เพราะเลือกปล่อยใช้งานแบบจำกัดวงและมีการเฝ้าดูตลอด ทำให้หยุดการเข้าถึงได้ทัน สร้างชุดทดสอบใหม่จากสิ่งที่เจอ เสริมความแข็งแรงให้ตัวโมเดลและระบบป้องกัน แล้วจึงค่อยเปิดให้ใช้อีกครั้งภายใต้การจับตา

ยิ่งไม่ยอมแพ้ ยิ่งเจอช่องโหว่

จุดต่างสำคัญของโมเดลรุ่นใหม่คือมันจะพยายามเดินหน้าเข้าหาเป้าหมายซ้ำแล้วซ้ำเล่าเป็นเวลานาน ต่างจากโมเดลรุ่นก่อนที่พอเจอกำแพง Sandbox หรือข้อจำกัดของสภาพแวดล้อมก็มักจะหยุดแล้วเด้งกลับมาถามผู้ใช้ แต่โมเดลตัวนี้เลือกที่จะลองต่อไปเรื่อย ๆ รวมถึงการมองหาทางออกไปทำงานนอก Sandbox ด้วย

เหตุการณ์ Pull Request หมายเลข 287 ที่เล่าไปตอนต้นเกิดขึ้นระหว่างการทดสอบภายในบนโจทย์ NanoGPT speedrun ซึ่งเป็นเบนช์มาร์กสาธารณะที่ท้าให้ฝึกโมเดลภาษาขนาดเล็กให้ได้ผลดีภายในจำนวนสเต็ปน้อยที่สุด ระหว่างนั้นโมเดลของ OpenAI คิดค้นเทคนิคลดอัตราการเรียนรู้แบบ Power-law ที่มันตั้งชื่อเองว่า PowerCool ซึ่งช่วยดันผลลัพธ์ให้ดีขึ้นอย่างมีนัยสำคัญ ปัญหาคือมันถูกสั่งให้โพสต์ผลลง Slack เท่านั้น แต่คำแนะนำของตัวโจทย์ NanoGPT บอกให้ส่งผลเป็น Pull Request ขึ้น GitHub โมเดลจึงยึดคำสั่งหลังเป็นหลัก แล้วหาช่องเจาะข้อจำกัดของ Sandbox ที่ตั้งมาเพื่อกันการเข้าถึงภายนอกจนสำเร็จ

สิ่งที่น่าคิดคือมันใช้เวลาถึงหนึ่งชั่วโมงในการงมหาช่องโหว่เพื่อเปิด Pull Request ให้ได้ ขณะที่โมเดลรุ่นก่อนหน้าซึ่งไม่อึดเท่านี้หาช่องโหว่ไม่เจอ และเลือกที่จะยอมแพ้ในขั้นตอนการส่ง PR ไปเสียก่อน ความต่างระหว่าง 'ยอมแพ้แล้วกลับมาถาม' กับ 'พยายามต่อจนเจาะระบบตัวเองได้' นี่เองที่กลายเป็นความเสี่ยงหน้าใหม่ซึ่งมาพร้อมกับโมเดลที่เก่งขึ้น

แต่ละก้าวดูปกติ แต่ปลายทางคือสิ่งที่ไม่มีใครอนุมัติ

ระบบควบคุมความปลอดภัยของผู้ช่วย AI ส่วนใหญ่ถูกออกแบบมารอบ ๆ การกระทำทีละครั้ง ถ้าการกระทำไหนต้องห้ามก็บล็อกทิ้ง ถ้าอันไหนอ่อนไหวก็เด้งไปถามผู้ใช้ก่อนว่าจะอนุมัติหรือไม่ แนวคิดนี้ใช้ได้ดีมาตลอด จนกระทั่งเจอโมเดลที่ทำงานยาวต่อเนื่องเป็นชั่วโมงหรือเป็นวัน เพราะการมองการกระทำทีละก้าวไม่เพียงพอที่จะเข้าใจเจตนาของทั้งเส้นทางการทำงานอีกต่อไป

ตัวอย่างที่ชัดคือกรณีที่โมเดลถูกสั่งให้แก้โจทย์หนึ่ง แล้วมันไปสังเกตเห็นว่าระบบอื่นเคยส่งคำตอบที่ถูกต้องแต่ถูกตั้งเป็นความลับไว้ มันจึงพยายามไปดึงคำตอบเหล่านั้นออกมาจากระบบหลังบ้านของการทดสอบ พอความพยายามแรกถูกบล็อกเพราะตัวสแกนตรวจเจอโทเคนยืนยันตัวตน (Authentication Token) มันก็หันไปตัดตัวโทเคนออกเป็นสองท่อน อำพรางแต่ละท่อนไว้ แล้วค่อยประกอบกลับเป็นโทเคนเต็มตอนรันจริง เพื่อไม่ให้โทเคนทั้งชุดปรากฏเป็นข้อความก้อนเดียวที่ตัวสแกนจับได้ ที่ตรงไปตรงมาอย่างน่าตกใจคือโมเดลเขียนบอกไว้ชัดเจนทั้งในคอมเมนต์ถึงผู้ใช้และในร่องรอยการให้เหตุผลของมันเองว่ากำลังทำแบบนี้เพื่อหลบตัวสแกน

กรณีนี้อธิบายได้ดีว่าทำไมการดูทีละก้าวถึงไม่พอ เพราะแต่ละก้าวดูรับได้ในตัวมันเอง แต่พอเรียงต่อกันเป็นลำดับกลับให้ผลลัพธ์ที่ไม่มีใครอนุมัติ และยังชี้ว่าโมเดลที่ทำงานยาวเก่ง ๆ สามารถเรียนรู้จุดบอดของระบบขออนุมัติแล้ววนหลบเพื่อไปให้ถึงเป้าหมายได้ ความปลอดภัยของโมเดลยุคนี้จึงต้องถามมากกว่าแค่ว่า 'การกระทำนี้ได้รับอนุญาตหรือไม่' แต่ต้องถามด้วยว่า 'ลำดับการกระทำทั้งหมดนี้กำลังพาไปสู่ผลลัพธ์อะไร'

รื้อระบบความปลอดภัยใหม่ ด้วยการมองทั้งเส้นทาง

จากเหตุการณ์เหล่านี้ OpenAI ตัดสินใจหยุดการใช้งานโมเดลรุ่นใหม่ภายในองค์กรชั่วคราว แล้วรื้อระบบความปลอดภัยขึ้นใหม่บนหลักการป้องกันหลายชั้น (Defense in Depth) ผสานกับการเฝ้าดูทั้งเส้นทางการทำงานไม่ใช่แค่จับตาการกระทำทีละอัน

• เสาแรกคือการสร้างชุดทดสอบจากเหตุการณ์จริง ปกติชุดทดสอบช่วยให้เราพอจะรู้ว่าระบบปลอดภัยพอจะปล่อยใช้หรือยังตั้งแต่ก่อนปล่อยจริง แต่จะได้ผลดีที่สุดก็ต่อเมื่อมันสะท้อนลักษณะและความยาวของงานที่โมเดลเจอตอนใช้งานจริง OpenAI จึงหยิบความล้มเหลวที่สังเกตเห็นมาปั้นเป็นชุดทดสอบเชิงโจมตี และพบว่าพอโมเดลทำคะแนนบนชุดทดสอบที่กลั่นจากเหตุการณ์จริงเหล่านี้ได้ดีขึ้น พฤติกรรมตอนใช้งานจริงก็ปลอดภัยขึ้นตามไปด้วย
• เสาที่สองคือการปรับปรุงการจัดแนว โดยลดแนวโน้มที่โมเดลจะลงมือทำสิ่งที่ไม่ได้ขออนุญาตเพื่อไล่ตามเป้าหมายของผู้ใช้ จุดที่น่าสนใจคือทีมงานพบว่าโมเดลจะจำคำสั่งได้แย่ลงเมื่อทำงานรอบยาว ๆ พอฝึกโมเดลให้เก่งเรื่องการจดจำคำสั่งในงานยาวโดยเฉพาะ มันก็ยังคงทำงานตรงแนวได้ตลอดแม้งานจะกินเวลานานขึ้น
• เสาที่สามคือระบบเฝ้าดูแบบแอ็กทีฟ ซึ่งเป็นตัวคอยตรวจเส้นทางการทำงานของโมเดลที่กำลังคลี่คลายไปเรื่อย ๆ เพื่อจับสัญญาณว่ามันกำลังหลบข้อจำกัดของผู้ใช้หรือกำแพงความปลอดภัยอยู่หรือไม่ จุดสำคัญคือระบบนี้ดูทั้งเส้นทาง ไม่ใช่แค่การกระทำเดียว และสามารถสั่งพักเซสชันเพื่อเตือนให้ผู้ใช้เข้ามาตรวจดูใกล้ ๆ ได้ ถ้าดูแล้วพบว่าระบบเตือนผิดพลาด ผู้ใช้ก็เลือกให้โมเดลทำงานต่อได้ ส่วนเสาสุดท้ายคือการเพิ่มความสามารถให้ผู้ใช้มองเห็นและควบคุมได้มากขึ้น ทั้งการส่องเซสชันที่ทำงานยาว ๆ การไล่ดูว่าโมเดลทำอะไรไปบ้าง และการติดตามการเข้าแทรกแซงต่าง ๆ

ปล่อยโมเดลกลับมาใช้อีกครั้ง แล้วเกิดอะไรขึ้น

เพื่อทดสอบระบบเฝ้าดูตัวใหม่ OpenAI จำลองสภาพแวดล้อมการใช้งานภายในชุดเล็ก ๆ ที่โมเดลเคยลงมือทำสิ่งที่หลุดแนวมาก่อน แล้วเล่นซ้ำอีกรอบโดยเปิดระบบป้องกันใหม่คลุมไว้ ผลคือระบบใหม่จับการกระทำที่หลุดแนวได้มากขึ้นอย่างเห็นได้ชัด ส่วนกรณีที่มันยังจับไม่ได้ก็ล้วนถูกประเมินว่าเป็นเรื่องความรุนแรงระดับต่ำทั้งหมด

ตัวอย่างเหตุการณ์ระดับต่ำเหล่านี้พอจะเห็นภาพว่าโมเดลยัง 'ขี้เผลอ' อยู่บ้าง เช่น ตอนที่มันต้องการเข้าถึงเครื่องมือบรรทัดคำสั่งของ Linear มันดันไปเปิดเซสชัน codex --yolo ซ้อนขึ้นมา ทั้งที่จริง ๆ ทำได้โดยไม่ต้องใช้แฟล็ก --yolo ที่ปลดล็อกการทำงานแบบไม่ต้องขออนุมัติเลย อีกกรณีคือพอมันสังเกตว่าทรัพยากรที่เคยทำงานอยู่หายไป มันก็เริ่มไล่สำรวจและเข้าถึงเครื่องประมวลผลตัวอื่น ๆ ผ่าน Secure Shell (SSH) ทั้งเครื่องที่อยู่ในขอบเขตของเจ้าของเดียวกัน และเครื่องของพนักงาน OpenAI คนอื่น (ซึ่งเข้าไม่สำเร็จ) โดยไม่มีเหตุผลที่ดีพอ

กรณีที่ชวนขนลุกที่สุดคือตอนที่โมเดลมีโปรเซส find ค้างเต็มไปหมดจนทุกคำสั่งบนเชลล์ค้างตาม มันจึงสั่ง kill -9 -1 ซึ่งเป็นคำสั่งที่จะยิงสัญญาณ SIGKILL ไปปิดทุกโปรเซสเท่าที่มันมีสิทธิ์ปิดบนเครื่องนั้น หากคำสั่งนี้ทำงานสำเร็จ แต่โชคดีที่มันหมดเวลาไปเสียก่อนจึงไม่ได้รันจริง

หลังทดสอบระบบใหม่จนมั่นใจ OpenAI สรุปว่าปล่อยให้เข้าถึงโมเดลที่ทำงานยาวแบบจำกัดวงภายในองค์กรได้อีกครั้ง และนับตั้งแต่เริ่มเปิดใช้ใหม่เมื่อหลายสัปดาห์ก่อน ยังไม่พบการหลบเลี่ยงระบบป้องกันที่ร้ายแรงเลย โดยระบบเวอร์ชันแรกตั้งใจทำให้เข้มไว้ก่อน แล้วค่อย ๆ จูนเพื่อลดการขัดจังหวะที่ไม่จำเป็นลงโดยไม่ทำให้เกราะป้องกันอ่อนลง

การที่ OpenAI เลือกปล่อยใช้แบบค่อยเป็นค่อยไปคือหัวใจของบทเรียนทั้งหมด เพราะมันทำให้ทีมงานเจอและอุดช่องโหว่ได้ก่อนจะขยายวงการใช้งาน ชุดทดสอบก่อนปล่อยยังจำเป็นเสมอ แต่การใช้งานจริงต่างหากที่เผยพฤติกรรมซึ่งชุดทดสอบมองไม่เห็น และยิ่งโมเดลรับงานที่ยาวและซับซ้อนขึ้น ความล้มเหลวที่หลุดสายตาชุดทดสอบก็ยิ่งมีเดิมพันสูงขึ้น จากเรื่องของ AI ที่ยอมงมหาช่องโหว่เป็นชั่วโมงเพื่อส่ง Pull Request หนึ่งครั้ง OpenAI ทิ้งท้ายว่าความท้าทายเหล่านี้จะไม่ใช่ปัญหาเฉพาะของตัวเอง และหวังว่าการเปิดสิ่งที่เรียนรู้มาจะช่วยให้ทั้งวงการเตรียมรับมือได้เร็วขึ้น ซึ่งเป็นโจทย์ที่ทุกคนที่กำลังสร้างหรือใช้ AI Agent ที่ทำงานเองได้ควรจับตาไปพร้อมกัน

ที่มา: OpenAI