ממשל סוכני AI: הרשאות, אישורים ויומנים

שלושה שורשים לבעיה

החלוקה הזו לקוחה מהערך של OWASP על סוכנות יתר ברשימת הסיכונים המובילים שלו ליישומי LLM, והיא נקודת ההתחלה הכי שימושית לסקירת תכנון של סוכן.

הרשאות שייכות למערכת היעד

טעות התכנון הנפוצה ביותר היא לכתוב את הכללים בפרומפט: אל תמחק רשומות, קרא רק את הנתונים של הלקוח הזה. פרומפט הוא בקשה, לא בקרה. כל מה שמגיע למודל, כולל טקסט בתוך מסמך או מייל שהסוכן קורא, יכול לנסות לשנות את ההתנהגות שלו.

לכן מערכת היעד בודקת כל בקשה בעצמה: מי המשתמש, מה מותר לו, והאם הרשומה הזאת שייכת לו. לזהות של הסוכן יש רק את ההרשאות שהמשימה דורשת. זה אותו עיקרון כמו בדיקת הרשאות בצד השרת בכל אפליקציה, רק מיושם על סוג חדש של לקוח.

אילו פעולות דורשות אדם

שלב האישור צריך להראות מה באמת יקרה, ולא את הסיכום של הסוכן. מי שמאשר סיכום מאשר את הסיכום.

יומנים שאפשר לשחזר מהם

• כל קריאה לכלי עם הקלט והפלט, הזהות שתחתיה רצה והזמן.
• המשתמש והשיחה שהובילו לפעולה.
• אישורים: מי אישר מה, ומה הוצג לו.
• כישלונות וסירובים, לא רק הצלחות.

המבחן: אחרי אירוע, אתם יכולים לענות מה הסוכן עשה, בשם מי, עם אילו הרשאות ומי התיר את זה. אם לא, היומנים הם קישוט.

רשימת ממשל לכל סוכן

1. מטרה כתובה ורשימת הפעולות שמותר לסוכן לבצע.
2. כלים שתואמים אחד לאחד את הפעולות האלה, ולא יותר.
3. זהות והרשאות שמוגבלות למטרה ונפרדות מהחשבונות של אנשים.
4. הרשאות שנאכפות במערכות שהסוכן קורא להן.
5. כללי אישור לפעולות עם השפעה גדולה.
6. יומנים שעומדים במבחן השחזור.
7. בעלים שיכול לכבות את הסוכן, ודרך שנבדקה לעשות את זה.

שאלות נפוצות

מהי סוכנות יתר בסוכני AI?

זה המונח של OWASP לסיכון שבו סוכן מבוסס LLM מבצע פעולות מזיקות כי יש לו יותר מדי פונקציונליות, הרשאות או עצמאות. הוא מופיע ברשימת הסיכונים המובילים של OWASP ליישומי LLM.

פרומפט מערכת יכול לשמור על סוכן AI?

לא. הוראות בפרומפט הן בקשות, ותוכן שהסוכן קורא יכול לנסות לעקוף אותן. הבטיחות מגיעה מכלים צרים, מינימום הרשאות ובדיקת הרשאות במערכת היעד.

אילו פעולות של סוכן דורשות אישור אנושי?

כל דבר עם השפעה גדולה: שליחה אל מחוץ לארגון, מחיקה או דריסה של נתונים, תשלומים והחזרים, ושינויי הרשאות או הגדרות. מי שמאשר צריך לראות את הפעולה עצמה, לא סיכום.

סוכן AI יכול לעבוד תחת חשבון שירות משותף?

לא. לכל סוכן צריכה להיות זהות משלו, עם ההרשאות שהמטרה שלו דורשת, ובמידת האפשר הוא צריך לפעול בהקשר של המשתמש שהוא משרת.

יומנים מספיקים כדי לנהל סוכן?

לא. יומנים והגבלות קצב מקטינים נזק ועוזרים לגלות אותו, אבל לא מונעים אותו. צריך לשלב אותם עם מינימום הרשאות, כלים צרים ואישור לפעולות משמעותיות.