Nvidia เปิดตัวระบบความปลอดภัย ตรวสอบและกัก AI Agent หลังเกิดเหตุ AI หลุดการควบคุม
Nvidia เปิดตัว Open Agent Safety Platform ระบบรักษาความปลอดภัยสำหรับ AI Agent แบบ 2 ชั้น เพื่อควบคุมและรับมือกับ AI ที่สามารถทำงานได้ด้วยตัวเอง หลังช่วงที่ผ่านมาเกิดเหตุการณ์ที่ AI Agent หลุดออกจากสภาพแวดล้อมที่ถูกสร้างไว้เพื่อควบคุมการทำงาน รวมถึงกรณีของ Hugging Face และเว็บของรัฐบาลออสเตรเลียตามที่เราเคยรายงานไปแล้ว
แพลตฟอร์มดังกล่าวประกอบด้วยเครื่องมือโอเพนซอร์ส 2 ตัว คือ OpenShell และ Nvidia Sentry โดย Nvidia ระบุว่าสามารถตรวจสอบการทำงานของ AI Agent แบบเรียลไทม์ และเข้ามาหยุดหรือจำกัดการทำงานได้ทันที หากตรวจพบพฤติกรรมที่อยู่นอกเหนือจากที่กำหนดไว้
AI Agent ในปัจจุบันไม่ได้จำกัดอยู่แค่การตอบคำถาม แต่สามารถเข้าเว็บไซต์ รันโค้ด เปิดดูไฟล์ และเชื่อมต่อกับบริการภายนอกแทนผู้ใช้ได้ ความสามารถเหล่านี้ทำให้ AI ทำงานได้มากขึ้นโดยไม่ต้องรอคำสั่งจากคนในทุกขั้นตอน แต่ในอีกด้านหนึ่งก็ทำให้ควบคุมพฤติกรรมของ AI ได้ยากขึ้น หากระบบตัดสินใจทำบางอย่างที่ผู้พัฒนาไม่ได้คาดไว้
กรณีล่าสุดที่ถูกจับตามองเกิดขึ้นกับ Hugging Face เมื่อเดือนกรกฎาคม หลังมีรายงานเกี่ยวกับเหตุการณ์ที่ AI Agent ซึ่งเกี่ยวข้องกับโมเดลของ OpenAI สามารถหลุดออกจากสภาพแวดล้อมที่ใช้ควบคุมการทำงานได้
ขณะที่อีกเหตุการณ์หนึ่งซึ่งถูกเปิดเผยเมื่อสัปดาห์ที่ผ่านมา พบว่า AI Agent ของ OpenAI สามารถเข้าถึงส่วนสถิติของเว็บไซต์สุขภาพในระบบ Medicare ของรัฐบาลออสเตรเลียได้ เหตุการณ์ดังกล่าวทำให้ผู้เชี่ยวชาญออกมาเตือนถึงความเสี่ยงด้านความปลอดภัย เมื่อ AI Agent สามารถเข้าถึงและทำงานกับระบบจริงได้ด้วยตัวเอง
Justin Boitano หัวหน้าฝ่าย Enterprise AI ของ Nvidia กล่าวว่า จากข้อมูลที่บริษัททราบเกี่ยวกับเหตุการณ์ของ Hugging Face ระบบรักษาความปลอดภัยใหม่ของ Nvidia อาจสามารถป้องกันเหตุการณ์ดังกล่าวได้
OpenShell กำหนดขอบเขต Sentry เข้ามากักกันเมื่อ AI ทำผิดกฎ
ระบบของ Nvidia แบ่งการป้องกันออกเป็น 2 ชั้น โดยชั้นแรกคือ OpenShell ซึ่งเปิดตัวมาตั้งแต่เดือนมีนาคมที่ผ่านมา ทำหน้าที่กำหนดขอบเขตการทำงานของ AI Agent ว่าสามารถเข้าถึงอะไรได้บ้าง เช่น ไฟล์ เครือข่าย แอปพลิเคชัน และระบบอื่น ๆ
พูดง่าย ๆ คือ OpenShell ทำหน้าที่เหมือน “รั้ว” รอบ AI Agent โดยไม่เปิดทางให้ AI เข้าถึงทุกอย่างได้อย่างอิสระ หาก AI พยายามเข้าถึงทรัพยากรที่ไม่ได้รับอนุญาต ระบบสามารถบล็อกการเข้าถึงดังกล่าวได้
ส่วนชั้นที่สองคือ Nvidia Sentry ซึ่งทำหน้าที่เฝ้าดูพฤติกรรมของ AI Agent หากพบว่าทำงานผิดไปจากที่กำหนด Sentry สามารถแยก AI Agent ตัวนั้นออกจากระบบและนำเข้าสู่กระบวนการกักกัน (Quarantine) เพื่อไม่ให้พฤติกรรมดังกล่าวส่งผลกระทบต่อส่วนอื่นของระบบ
Nvidia ระบุว่า การทำงานร่วมกันของ OpenShell และ Sentry จะช่วยให้สามารถ ตรวจจับ จำกัดการทำงาน และกักกัน AI Agent ได้แบบเรียลไทม์ ซึ่งเป็นแนวทางที่บริษัทนำมาใช้รับมือกับความเสี่ยงที่เพิ่มขึ้นตามความสามารถของ AI Agent ที่ทำงานได้อย่างอิสระมากขึ้น
การเปิดตัวระบบดังกล่าวเกิดขึ้นในช่วงเดียวกับที่ Nvidia เดินหน้าขยายบทบาทในวงการ AI โดยบริษัทประกาศแผนเข้าซื้อ Hugging Face ด้วยมูลค่าประมาณ 13,000 ล้านดอลลาร์ ซึ่งจะทำให้ Nvidia มีบทบาทมากขึ้นทั้งในด้านโครงสร้างพื้นฐาน AI และเครื่องมือสำหรับพัฒนาและรักษาความปลอดภัยของ AI Agent
Jensen Huang ซีอีโอของ Nvidia มองว่า ความปลอดภัยของ AI ควรเป็นโจทย์ที่สามารถแก้ด้วยวิศวกรรมและเทคโนโลยี มากกว่าจะเป็นเหตุผลให้ต้องหยุดการพัฒนา AI โดย Open Agent Safety Platform ถือเป็นอีกความพยายามของ Nvidia ในการสร้างระบบควบคุมให้ทันกับความสามารถของ AI Agent ที่กำลังเพิ่มขึ้นอย่างรวดเร็ว