NSA, NIST และ CISA ออกแนวทางรับมือ AI Agent หลุดการควบคุม แนะองค์กรเตรียมแผนรับมือ 5 ขั้นตอน
หน่วยงานความมั่นคงและความปลอดภัยไซเบอร์ของสหรัฐฯ ได้แก่ National Security Agency (NSA), National Institute of Standards and Technology (NIST) และ Cybersecurity and Infrastructure Security Agency (CISA) เผยแพร่แนวทางรับมือเหตุการณ์ที่ AI Agent ทำงานผิดพลาดหรือกระทำการนอกเหนือจากที่ได้รับอนุญาต โดยเสนอแนวปฏิบัติ 5 ขั้นตอน ตั้งแต่การเตรียมพร้อม ตรวจจับ รับมือ กู้คืน ไปจนถึงการรายงานเหตุการณ์ เพื่อช่วยให้องค์กรควบคุมความเสี่ยงจาก AI ที่สามารถทำงานอัตโนมัติได้อย่างมีประสิทธิภาพมากขึ้น
แนวทางดังกล่าวเป็นข้อแนะนำโดยสมัครใจสำหรับบริษัทที่พัฒนา AI ขั้นสูง ครอบคลุมการฝึกฝนโมเดล การประเมินความสามารถ และการนำไปใช้งานจริง โดยเฉพาะระบบ AI Agent ที่ได้รับอนุญาตให้เข้าถึงเครื่องมือหรือระบบต่าง ๆ และอาจตัดสินใจทำสิ่งที่ไม่คาดคิด แม้จะอยู่ภายในขอบเขตสิทธิ์ที่ได้รับ หรือกระทั่งลงมือทำสิ่งที่ไม่ได้รับอนุญาตเลยก็ตาม
การเผยแพร่คำแนะนำครั้งนี้เกิดขึ้นหลังบริษัท AI ชั้นนำหลายแห่ง เช่น OpenAI, Anthropic, Google และ Meta เปิดเผยผลการทดสอบหรือจำลองสถานการณ์ที่พบว่าโมเดล AI บางตัวลงมือทำสิ่งที่ไม่เป็นไปตามความตั้งใจ หรือกระทำการโดยไม่ได้รับอนุญาต สะท้อนให้เห็นว่าความสามารถในการทำงานอัตโนมัติของ AI ก็มาพร้อมความเสี่ยงที่ต้องมีมาตรการควบคุมอย่างจริงจัง
แนะรับมือ AI Agent 5 ขั้นตอน ตั้งแต่ป้องกันจนถึงรายงานเหตุการณ์
แนวทางของหน่วยงานสหรัฐฯ แบ่งกระบวนการจัดการเหตุการณ์ออกเป็น 5 ขั้นตอน ได้แก่
- Prepare – เตรียมพร้อม: กำหนดมาตรการความปลอดภัยและแผนรับมือก่อนนำ AI Agent มาใช้งาน
- Detect – ตรวจจับ: เฝ้าระวังพฤติกรรมผิดปกติ พร้อมกำหนดตัวบ่งชี้การถูกโจมตีหรือการทำงานที่อาจก่อให้เกิดความเสี่ยง
- Respond – รับมือ: ระงับการทำงานหรือจำกัดขอบเขตของ AI Agent เมื่อพบพฤติกรรมที่อาจนำไปสู่เหตุการณ์ด้านความปลอดภัย
- Recover – กู้คืน: ตรวจสอบความปลอดภัยและยืนยันว่ามาตรการควบคุมยังทำงานได้ ก่อนอนุญาตให้ระบบกลับมาทำงานอีกครั้ง
- Report – รายงาน: บันทึกและรายงานเหตุการณ์เพื่อให้สามารถตรวจสอบย้อนหลังและปรับปรุงมาตรการป้องกันได้
แนวทางนี้ต่อยอดจากกรอบการจัดการความมั่นคงปลอดภัยไซเบอร์ NIST Cybersecurity Framework (CSF) 2.0 และเอกสาร SP 800-61 Revision 3 เพื่อให้ทีมรักษาความปลอดภัยสามารถนำหลักการที่คุ้นเคยมาใช้กับ AI Agent ซึ่งมีความสามารถและความเสี่ยงแตกต่างจากระบบไอทีทั่วไป
Chris Hughes รองประธานของ Noma Security บริษัทด้านความปลอดภัยและการกำกับดูแล AI Agent ระบุว่า แนวทางดังกล่าวสอดคล้องกับบทเรียนจากเหตุการณ์ที่เกิดขึ้นจริง โดยมาตรการสำคัญประกอบด้วยการให้สิทธิ์เข้าถึงระบบเท่าที่จำเป็น การตรวจสอบข้อมูลที่ AI ส่งออก การมีระบบหยุดการทำงานฉุกเฉิน (Kill Switch) และการเฝ้าระวังตั้งแต่ระดับโมเดล AI ซอฟต์แวร์ที่ควบคุมการทำงาน ระบบปฏิบัติการ ไปจนถึงเครือข่าย
นอกจากนี้ องค์กรควรตรวจสอบให้แน่ใจว่ามาตรการควบคุมสามารถจำกัดความเสียหายได้จริง และต้องยืนยันความปลอดภัยก่อนเริ่มระบบใหม่หลังเกิดเหตุ
แยกให้ออกเมื่อ AI เริ่มมีพฤติกรรมเสี่ยง
Aviv Nahum ผู้ร่วมก่อตั้งและซีอีโอของ Above Security บริษัทด้านการบริหารความเสี่ยง ชี้ว่า ความท้าทายสำคัญในการใช้งานจริงคือการตัดสินใจว่าเมื่อใดพฤติกรรมของ AI Agent ที่ทำงานอัตโนมัติควรถูกจัดเป็นเหตุการณ์ด้านความปลอดภัย
การที่ AI ทำสิ่งไม่ตรงตามความคาดหมายไม่ได้หมายความว่าจะเป็นอันตรายทุกครั้ง ขณะเดียวกัน การที่ AI ทำงานภายในขอบเขตสิทธิ์ที่ได้รับก็ไม่ได้รับประกันว่าการกระทำนั้นจะปลอดภัยเสมอไป
ทีมรักษาความปลอดภัยจึงต้องติดตามอย่างต่อเนื่องว่า AI Agent กำลังพยายามทำอะไร ติดต่อหรือทำงานร่วมกับระบบและ Agent ตัวอื่นอย่างไร และพฤติกรรมโดยรวมยังสอดคล้องกับวัตถุประสงค์ที่กำหนดไว้หรือไม่
แนวทางดังกล่าวยังให้ความสำคัญกับเหตุการณ์เกือบพลาด (Near-miss) ซึ่งหมายถึงสถานการณ์ที่การกระทำของ AI ยังไม่ก่อให้เกิดความเสียหาย แต่มีความเสี่ยงสูงที่จะนำไปสู่เหตุการณ์จริงในอนาคต โดยแนะนำให้จัดการสถานการณ์เหล่านี้เสมือนเป็นเหตุการณ์ด้านความปลอดภัย และเร่งบล็อก จำกัดการทำงาน หรือยุติการทำงานของ Agent ตามความเหมาะสม
สำหรับการตรวจจับพฤติกรรมผิดปกติ องค์กรควรกำหนดตัวบ่งชี้การถูกโจมตีหรือการทำงานที่เป็นอันตราย เก็บข้อมูลการทำงานของระบบ (Telemetry) และตรวจสอบความผิดปกติที่พบด้วยตนเองเพิ่มเติม
อีกประเด็นที่ต้องระวังคือเครื่องมือเฝ้าระวังที่ใช้ AI อาจกลายเป็นช่องโหว่เสียเอง Hughes จึงเตือนว่าระบบ Gateway และ Monitor ที่ทำหน้าที่ควบคุมหรือติดตาม Agent ต้องได้รับการตรวจสอบความปลอดภัยอย่างเข้มงวดไม่แพ้ตัว Agent ขณะที่หน่วยงานสหรัฐฯ แนะนำให้ใช้โมเดล AI หลายตระกูลช่วยตรวจสอบผลลัพธ์ข้ามกัน เพื่อลดความเสี่ยงจากการพึ่งพาโมเดลใดโมเดลหนึ่งมากเกินไป
แนวทางยังมีช่องว่าง
แม้แนวทางดังกล่าวจะช่วยวางกรอบการรับมือ AI Agent ที่ทำงานผิดพลาด แต่ก็ยังมีข้อจำกัดสำคัญ โดยเนื้อหามุ่งเน้นระบบ AI ที่ทำงานอัตโนมัติ มีเครื่องมือซอฟต์แวร์ให้ใช้งาน และสามารถโต้ตอบกับสภาพแวดล้อมได้ แต่ไม่ได้ครอบคลุมพฤติกรรมของ Agent ที่เกิดจากการโจมตีโดยตรง เช่น Prompt Injection หรือมัลแวร์ แม้จะระบุว่าสถานการณ์เหล่านี้เป็นประเด็นสำคัญที่ควรศึกษาเพิ่มเติมในอนาคต
Prompt Injection คือเทคนิคที่ผู้โจมตีแทรกคำสั่งที่เป็นอันตรายลงในข้อมูลหรือเนื้อหาที่ AI นำไปประมวลผล เพื่อหลอกให้ AI เพิกเฉยต่อคำสั่งเดิม หรือทำสิ่งที่ผู้โจมตีต้องการ หาก AI Agent มีสิทธิ์เข้าถึงข้อมูลหรือระบบสำคัญ ความผิดพลาดลักษณะนี้อาจส่งผลกระทบต่อองค์กรได้โดยตรง
Hughes มองว่าการไม่รวมการโจมตีจากฝ่ายตรงข้ามไว้ในนิยามเหตุการณ์ของแนวทางนี้เป็นข้อจำกัด เพราะการโจมตีลักษณะดังกล่าวเป็นหนึ่งในช่องทางที่พบได้บ่อยเมื่อ AI Agent ทำงานผิดพลาดในสภาพแวดล้อมองค์กร
เขายังชี้ว่า ข้อแนะนำส่วนใหญ่เน้นไปที่บริษัทผู้พัฒนาโมเดล AI ขั้นสูง มากกว่าจะครอบคลุมองค์กรที่นำ AI Agent ไปใช้งานจริง ดังนั้น ขั้นตอนต่อไปคือการนำมาตรการที่เข้มงวดเหล่านี้ไปปรับใช้กับองค์กรที่ใช้ AI Agent ในการทำงานประจำวันด้วย