Cisco เปิดตัว Project Quarry เครื่องมือโอเพ่นซอร์ส ตรวจจับ AI Agent อันตราย วิเคราะห์พฤติกรรมต่อเนื่อง สกัดข้อมูลรั่ว
Cisco เปิดตัว Project Quarry เครื่องมือโอเพ่นซอร์สสำหรับตรวจจับพฤติกรรมเสี่ยงของ AI Agent โดยวิเคราะห์การทำงานที่เชื่อมโยงกันตลอดทั้งเซสชัน แทนการตรวจสอบเพียงคำสั่งหรือการเรียกใช้เครื่องมือแต่ละครั้ง ช่วยให้ทีมรักษาความปลอดภัยตรวจจับความผิดปกติ เช่น การเข้าถึงข้อมูลสำคัญแล้วส่งออกไปยังเซิร์ฟเวอร์ภายนอก ซึ่งอาจเป็นสัญญาณของการขโมยข้อมูลหรือการใช้ AI ในทางที่ผิด
แนวทางนี้เกิดขึ้นท่ามกลางความกังวลเกี่ยวกับความปลอดภัยของ AI Agent ที่สามารถวางแผนและลงมือทำงานหลายขั้นตอนได้ด้วยตนเอง โดย Cisco มองว่า การตรวจจับการกระทำเพียงครั้งเดียวอาจไม่เพียงพอ เพราะกิจกรรมที่ดูเหมือนเป็นงานปกติเมื่อพิจารณาแยกกัน อาจกลายเป็นภัยคุกคามเมื่อเชื่อมโยงเข้าด้วยกัน
Project Quarry วิเคราะห์พฤติกรรม AI Agent ตลอดทั้งเซสชัน
Amy Chang หัวหน้าฝ่ายวิจัยภัยคุกคามและความปลอดภัย AI ของ Cisco อธิบายว่า เครื่องมือตรวจจับจำนวนมากในปัจจุบันมักพิจารณาพฤติกรรมเฉพาะจุด เช่น AI พยายามใช้เทคนิค Prompt Injection หรือเรียกใช้เครื่องมือที่เกี่ยวข้องกับการโจมตีหรือไม่ แต่สิ่งที่ยังขาดไปคือบริบทโดยรวมของสิ่งที่เกิดขึ้น
Chang เปรียบเทียบกับระบบตรวจจับการฉ้อโกงบัตรเครดิต ซึ่งธุรกรรมขนาดเล็กหรือการซื้อสินค้าจากสถานที่ผิดปกติอาจยังไม่เพียงพอที่จะยืนยันการทุจริต แต่เมื่อมีธุรกรรมหลายรายการต่อเนื่องกัน ระบบจึงอาจมองเห็นรูปแบบความผิดปกติได้ชัดเจนขึ้น
Project Quarry ใช้หลักการคล้ายกัน โดยพิจารณาความสัมพันธ์ระหว่างการกระทำต่าง ๆ ของ AI Agent ตัวอย่างเช่น การอ่านไฟล์ตั้งค่าหรือไฟล์ที่มีข้อมูลสำคัญอาจเป็นงานที่ได้รับอนุญาต ขณะที่การส่งคำขอไปยังเซิร์ฟเวอร์ภายนอกก็อาจเป็นการทำงานตามปกติ แต่หาก AI Agent อ่านไฟล์ที่มีข้อมูลสำคัญ แล้วนำข้อมูลนั้นส่งออกไปยังปลายทางที่ผู้โจมตีควบคุม พฤติกรรมทั้งสองขั้นตอนที่เชื่อมโยงกันย่อมมีความเสี่ยงสูงขึ้น
Cisco ระบุว่า Quarry รองรับการวิเคราะห์บทสนทนาของ Large Language Model (LLM) ทั้งแบบรอบเดียวและหลายรอบ การทำงานของ AI Agent การเรียกใช้เครื่องมือ การสื่อสารผ่าน Model Context Protocol (MCP) ตลอดจนข้อมูลนำเข้าแบบหลายรูปแบบ (Multimodal)
ใช้กฎตรวจจับพฤติกรรมเสี่ยง เชื่อมโยงหลักฐานเพื่อแจ้งเตือน
Project Quarry มาพร้อมระบบเขียนกฎตรวจจับพฤติกรรม ซึ่งมีแนวคิดคล้ายกับ Snort เครื่องมือตรวจจับการรับส่งข้อมูลเครือข่ายที่เป็นอันตราย และ YARA เครื่องมือระบุมัลแวร์ด้วยกฎที่กำหนดไว้ล่วงหน้า
ตัวอย่างเช่น ผู้ดูแลระบบสามารถกำหนดกฎให้ตรวจจับกรณีที่ AI Agent อ่านไฟล์ข้อมูลสำคัญ แล้วมีการส่งข้อมูลออกไปยังระบบภายนอกภายในช่วงเวลาที่กำหนด โดยการแจ้งเตือนจะเก็บหลักฐานจากทั้งสองเหตุการณ์ เพื่อให้ทีมรักษาความปลอดภัยตรวจสอบความเชื่อมโยงได้ ไม่ใช่เห็นเพียงกิจกรรมใดกิจกรรมหนึ่งโดยไม่มีบริบท
Amy Chang ยังยกตัวอย่างการตรวจจับ AI Agent ที่พยายามเชื่อมต่ออินเทอร์เน็ตจากสภาพแวดล้อม Sandbox ไปยังเซิร์ฟเวอร์ที่ไม่ได้รับอนุญาต หรือกรณีที่พบข้อมูลรับรองการเข้าถึง (Credentials) แล้วนำไปใช้กับบริการภายนอก นอกจากนี้ กฎที่มาพร้อมเครื่องมือยังสามารถตรวจจับกรณีที่มีมัลแวร์ซึ่งเข้ารหัสข้อมูลแบบ Base64 ปรากฏอยู่ในคำสั่งเรียกใช้เครื่องมือ และกำหนดให้บล็อกการทำงานตามนโยบายที่ตั้งไว้ได้
ผู้สนใจสามารถดาวน์โหลดซอร์สโค้ดและศึกษารายละเอียดการใช้งานได้จาก GitHub ของโครงการ ซึ่งมีทั้งคำแนะนำการติดตั้ง ตัวอย่างการตั้งค่า แนวทางเขียนกฎ และชุดกฎเริ่มต้น รวมถึงปลั๊กอินสำหรับ Claude Code, Codex และ AI Agent อื่น ๆ ที่รองรับ MCP
บทเรียนจากเหตุข้อมูล Hugging Face รั่วไหล
Cisco ระบุว่า แม้ทีมวิจัยยังไม่ได้นำ Project Quarry ไปทดสอบกับบันทึกข้อมูลเหตุการณ์ระหว่าง OpenAI และ Hugging Face โดยตรง แต่หากมีบันทึกการทำงานของ AI Agent ตลอดทั้งเซสชัน เหตุการณ์ดังกล่าวอาจมีหลายจุดที่สามารถใช้กฎของ Quarry ตรวจจับและแจ้งเตือนให้มนุษย์เข้าตรวจสอบได้
รายงานทางเทคนิคของ OpenAI เกี่ยวกับเหตุการณ์ดังกล่าวระบุว่า เมื่อวันที่ 10 กรกฎาคม AI Agent ได้ตรวจสอบโทเคนของ Hugging Face จำนวน 14 รายการที่ถูกเปิดเผยและมีสิทธิ์เขียนข้อมูล ก่อนนำโทเคนเหล่านั้นไปแบ่งปัน เหตุการณ์นี้สะท้อนความเสี่ยงจากการที่ AI Agent นำข้อมูลรับรองการเข้าถึงไปใช้ต่อในบริบทที่ไม่เหมาะสม
Chang อธิบายว่า กฎตรวจจับสามารถเชื่อมโยงเหตุการณ์ที่ AI Agent พบข้อมูลรับรองการเข้าถึงในผลลัพธ์จากเครื่องมือ แล้วนำข้อมูลนั้นไปเรียกใช้บริการภายนอก ซึ่งอาจไม่ใช่สิ่งที่ผู้ใช้หรือผู้ดูแลระบบอนุญาตให้ทำ
อย่างไรก็ตาม Cisco ย้ำว่า กฎตรวจจับเพียงอย่างเดียวไม่สามารถทดแทนระบบเฝ้าระวังการทำงานของ AI หรือการกำกับดูแลโดยมนุษย์ได้ทั้งหมด แต่การเปิดซอร์ส Project Quarry จะช่วยให้ทีมรักษาความปลอดภัยสามารถนำกฎไปตรวจสอบ ทดสอบ และปรับใช้กับ AI Agent ของตนเอง รวมถึงแบ่งปันรูปแบบภัยคุกคามที่ค้นพบร่วมกันได้