OpenAI และ Anthropic รับระบบเฝ้าระวัง AI Agent ยังมีช่องโหว่ จับตาพฤติกรรมเสี่ยงไม่ได้ทั้งหมด

OpenAI และ Anthropic ออกมายอมรับอย่างตรงไปตรงมาว่า ระบบเฝ้าระวังพฤติกรรม AI Agent ที่ทั้งสองบริษัทจะพัฒนาขึ้นมา เพื่อช่วยตรวจจับโมเดล AI ที่มีพฤติกรรมผิดปกติหรือไม่เป็นไปตามแนวทางความปลอดภัย ยังมีข้อจำกัด และมีช่องโหว่สำคัญที่ทำให้ AI Agent สามารถแสดงพฤติกรรมอันตรายโดยหลุดรอดจากการตรวจจับได้ โดยเฉพาะภัยคุกคามรูปแบบใหม่ที่ระบบไม่เคยพบมาก่อน

ทั้งสองบริษัทเผยแพร่บทความอธิบายความคืบหน้าของระบบ Monitoring ในช่วงเดือนตุลาคมที่ผ่านมา โดย OpenAI ระบุว่าได้ขยายขอบเขตการตรวจสอบพฤติกรรมของโมเดล AI ด้วยวิธีการที่ใช้ทรัพยากรประมวลผลสูงขึ้น ขณะที่ Anthropic พัฒนาเทคนิค Self-assessment ให้โมเดลสามารถประเมินบทสนทนาของตัวเองว่ามีเนื้อหาหรือพฤติกรรมที่อาจก่อให้เกิดอันตรายหรือไม่

แม้แนวทางเหล่านี้จะช่วยเพิ่มความสามารถในการตรวจจับพฤติกรรมที่ไม่สอดคล้องกับแนวทางความปลอดภัย (AI Misalignment) แต่ทั้งสองบริษัทยอมรับว่ายังมีข้อจำกัด ทั้งการตรวจจับภัยคุกคามที่ไม่เคยพบมาก่อน จุดบอดที่ติดมากับกระบวนการฝึกโมเดล และการแจ้งเตือนผิดพลาด

OpenAI ขยายขอบเขตการตรวจสอบพฤติกรรม ตรวจจับได้ดีขึ้น

OpenAI ระบุในบล็อกโพสต์เมื่อวันพฤหัสบดีว่า การเฝ้าระวังพฤติกรรมของ Frontier Models หรือโมเดล AI ระดับแนวหน้า เป็นกลไกความปลอดภัยอีกชั้นหนึ่งที่ช่วยรับมือในกรณีที่มาตรการป้องกันอื่น ๆ ไม่สามารถทำงานได้ตามที่คาดหวัง

บริษัทจึงตัดสินใจขยายขอบเขตการตรวจสอบพฤติกรรมของโมเดล โดยเลือกใช้วิธีที่มีต้นทุนด้านการประมวลผลสูงขึ้น เนื่องจากมองว่าเมื่อ AI มีความสามารถมากขึ้น ความเสียหายที่อาจเกิดจากโมเดลซึ่งแสดงพฤติกรรมผิดไปจากที่กำหนดก็มีแนวโน้มรุนแรงขึ้นตามไปด้วย

เพื่อประเมินประสิทธิภาพของระบบ OpenAI ได้นำพฤติกรรมผิดปกติที่ AI Agent แสดงออกระหว่างเหตุการณ์โจมตี Hugging Face กลับมาจำลองและทดสอบอีกครั้ง เพื่อดูว่าระบบ Monitoring ที่ได้รับการปรับปรุงจะสามารถตรวจจับสัญญาณเตือนและป้องกันเหตุการณ์ดังกล่าวได้เร็วเพียงใด

ผลการทดสอบพบว่า หากระบบ Monitoring เวอร์ชันใหม่ถูกนำมาใช้งานในช่วงเวลานั้น OpenAI เชื่อว่าจะสามารถตรวจจับพฤติกรรมที่เกี่ยวข้องกับการโจมตีได้เร็วขึ้นกว่าเดิมมากกว่า 30 ชั่วโมงก่อนเกิดเหตุ

ความเคลื่อนไหวดังกล่าวสะท้อนให้เห็นว่า OpenAI มองระบบเฝ้าระวังพฤติกรรม AI เป็นมาตรการสำคัญที่ต้องทำงานควบคู่ไปกับระบบป้องกันอื่น ๆ ไม่ใช่เพียงการกำหนดข้อจำกัดให้โมเดลตั้งแต่ขั้นตอนการพัฒนาเท่านั้น

Anthropic ใช้ Claude ประเมินบทสนทนาของตัวเอง ตรวจจับเนื้อหาเสี่ยงได้ 78%

ด้าน Anthropic เปิดเผยแนวทาง Self-assessment ในบล็อกโพสต์เมื่อวันที่ 16 ตุลาคม โดยเพิ่มขั้นตอนตรวจสอบความปลอดภัยที่ทำงานอยู่เบื้องหลังและผู้ใช้งานทั่วไปจะไม่เห็น

หลักการคือ เมื่อการสนทนาระหว่างผู้ใช้กับ AI Agent สิ้นสุดลง ระบบจะเพิ่มคำถามสำหรับประเมินความปลอดภัยเข้าไปในขั้นตอนการประมวลผล โดยให้โมเดล Claude พิจารณาว่ามีเนื้อหาหรือพฤติกรรมใดในบทสนทนาที่อาจก่อให้เกิดอันตรายหรือไม่ พร้อมตอบว่าใช่หรือไม่ใช่

หากพบความเสี่ยง โมเดลจะรายงานรายละเอียดเพิ่มเติมว่าอันตรายที่อาจเกิดขึ้นคืออะไร มีการปฏิเสธคำขอที่ไม่เหมาะสมไปแล้วหรือไม่ และประเด็นดังกล่าวมีระดับความเร่งด่วนเพียงใด จากนั้น Anthropic จะรวบรวมรายงานเหล่านี้ในแต่ละวันส่งต่อให้ทีมผู้เชี่ยวชาญตรวจสอบโดยมนุษย์อีกครั้ง

จากการทดสอบพบว่า เทคนิคดังกล่าวสามารถตรวจจับบทสนทนาที่ถูกจัดว่าอาจมีเนื้อหาเป็นอันตรายได้ 78% โดยมีอัตราการแจ้งเตือนผิดพลาด (False Positive) เพียง 1%

Anthropic ระบุว่าแนวทางนี้มีต้นทุนต่ำกว่าเทคนิค Monitoring บางประเภท เพราะไม่จำเป็นต้องใช้โมเดล AI อีกตัวเข้ามาอ่านและวิเคราะห์บทสนทนาทั้งหมดซ้ำอีกครั้ง นอกจากนี้ บริษัทยังพบว่าความสามารถในการประเมินตัวเองมีแนวโน้มพัฒนาขึ้นตามความสามารถของโมเดล Claude รุ่นใหม่ ๆ

อย่างไรก็ตาม Anthropic ยอมรับว่า Self-assessment ยังมีประสบการณ์จำกัดในการตรวจจับความเสี่ยงบางประเภท เช่น การฉ้อโกงและภัยคุกคามทางไซเบอร์ ทำให้โมเดลอาจไม่สามารถระบุพฤติกรรมอันตรายที่มีรูปแบบใหม่หรือซับซ้อนได้อย่างถูกต้อง

ยังมีจุดบอด ภัยคุกคามรูปแบบใหม่อาจหลุดรอดจากการตรวจจับ

แม้ทั้ง OpenAI และ Anthropic จะรายงานผลการพัฒนาที่ดีขึ้น แต่ทั้งสองบริษัทต่างยอมรับว่าการใช้ AI ตรวจสอบพฤติกรรมของ AI ด้วยกันเองยังมีข้อจำกัดที่ต้องแก้ไข

ปัญหาสำคัญคือ โมเดลอาจตรวจจับพฤติกรรมที่ไม่เคยพบเห็นมาก่อนได้ยาก โดย Anthropic ระบุว่าเทคนิค Self-assessment ถูกฝึกจากบทสนทนาจำลองและพัฒนาให้เป็นส่วนหนึ่งของโมเดล จึงมีโอกาสได้รับจุดบอดแบบเดียวกับข้อมูลและกระบวนการฝึกที่ใช้สร้างระบบขึ้นมา

ส่วน OpenAI ยังคงอยู่ระหว่างทดสอบว่าระบบ Monitoring ที่พัฒนาขึ้นจะสามารถตรวจจับพฤติกรรมผิดปกติรูปแบบใหม่ที่ไม่เคยพบในข้อมูลทดสอบได้ดีเพียงใด ขณะเดียวกัน ระบบก็ยังมีโอกาสแจ้งเตือนผิดพลาด แม้จะไม่ได้มีพฤติกรรมที่เป็นอันตรายจริงก็ตาม

ประเด็นนี้กลายเป็นความท้าทายสำคัญของอุตสาหกรรม AI เนื่องจากการให้มนุษย์ตรวจสอบทุกการทำงานและทุกบทสนทนาของ AI Agent เป็นเรื่องที่ทำได้ยากในทางปฏิบัติ บริษัทพัฒนา AI จึงต้องพึ่งพาโมเดล AI ด้วยกันเองในการเฝ้าระวังและแจ้งเตือนพฤติกรรมที่ผิดปกติ อย่างไรก็ตาม นักวิจัยทั้งภายในและภายนอกอุตสาหกรรมยังมีความกังวลว่า ระบบ Monitoring ที่ใช้อยู่ในปัจจุบันอาจยังมองไม่เห็นพฤติกรรมของ AI Agent ที่ไม่สอดคล้องกับแนวทางความปลอดภัยทั้งหมด

ที่มา