אין חובה לבחור גישה אחת. השאלה היא אילו שכבות מתאימות לסיכון, איך הן נבדקות יחד ומי אחראי כשאחת נכשלת. הדוגמאות הבאות הן המחשות מערכתיות, לא דיווחים על אירועים.
01כלים קיימים
לבחון לפני שמשחררים
מבחנים ותקיפות מבוקרות מחפשים יכולות מסוכנות וכשלים לפני שימוש רחב.
דוגמת מערכת: סוכן נבחן בסביבה סגורה לפני שמחברים אותו למסמכי ארגון.
מה זה לא פותר: המבחן עלול לפספס התנהגות שמופיעה רק בעולם האמיתי או בהקשר ארוך.
איזו שאלה לדרוש, ומאיפה זה מגיע?
איזה מבחן נכשל, ומה השתנה בעקבותיו?
02אמצעי הנדסי קיים
לתת רק את ההרשאה הנחוצה
מפרידים בין הצעה לבין ביצוע, מגבילים גישה ומבודדים קוד ומשאבים.
דוגמת מערכת: עוזר יכול להכין טיוטת תשלום, אך אין לו מפתח לביצוע העברה.
מה זה לא פותר: טעות בהגדרה, גישה עקיפה או הרשאות של שירות אחר יכולות לפגוע בבידוד.
איזו שאלה לדרוש, ומאיפה זה מגיע?
מה המערכת מסוגלת לעשות גם בלי אישור נוסף?
03כלים קיימים ומחקר
לנטר, לתעד ולהגיב
מחפשים סימנים לפעולה חריגה ושומרים תיעוד שאפשר לבדוק. מגדירים מי עוצר ומתי.
דוגמת מערכת: בקשה חריגה נעצרת לבדיקה, והבודק רואה גם את רצף הפעולות.
מה זה לא פותר: ניטור עלול להחמיץ, להתריע לשווא או להסתמך על מודל שטועה באותו אופן.
איזו שאלה לדרוש, ומאיפה זה מגיע?
האם נבדק מצב שבו המערכת מנסה לעקוף את הבקרה?
04עיקרון תכנון וממשל
להשאיר החלטה וערעור בידי אדם
להגדיר סמכות אמיתית לבדיקה, לתיקון ולעצירה, עם זמן ויכולת לחלוק על המכונה.
דוגמת מערכת: סירוב לשירות מגיע עם הסבר, כתובת לערעור ואפשרות לתקן נתון.
מה זה לא פותר: אדם שלוחץ אוטומטית על אישור הופך לחותמת. ערעור אינו מועיל אם אין יכולת לתקן.
איזו שאלה לדרוש, ומאיפה זה מגיע?
מי יכול להפוך החלטה, ובתוך כמה זמן?
05מחקר פעיל
להבין מנגנונים ומטרות
מחקר יישור מנסה לכוון התנהגות לצרכים אנושיים; פרשנות מכניסטית חוקרת מנגנונים פנימיים. אלה כלים שונים שמשלימים זה את זה.
דוגמת מערכת: בודקים האם התנהגות רצויה נשמרת גם אחרי שינוי של ההקשר.
מה זה לא פותר: הסבר חלקי אינו מבטיח התנהגות עתידית. גם בני אדם חלוקים לגבי המטרות הראויות.
איזו שאלה לדרוש, ומאיפה זה מגיע?
מה נשאר בלתי מוסבר, ובאיזה הקשר נבדקה ההתנהגות?
06מסגרת מחקרית
להוכיח בתוך גבולות מפורשים
מודל עולם, הגדרת בטיחות ומאמת נועדו לספק ערבויות תחת הנחות מוגדרות.
דוגמת מערכת: בקר נבדק מול תנאי פעולה שנכתבו במפורש לפני הביצוע.
מה זה לא פותר: הוכחה יכולה להיות נכונה ועדיין לא לכסות מצב שלא הוגדר. קשה לתאר עולם אנושי שלם.
איזו שאלה לדרוש, ומאיפה זה מגיע?
על אילו הנחות נשענת ההוכחה, ומה נמצא מחוץ לה?
07תוכנית מחקר
לפתח ידע עם פחות סוכנות
Scientist AI בוחנת מערכות שמטרתן לחזות ולהסביר, בלי לרדוף מטרה עצמאית בעולם.
דוגמת מערכת: כלי מציע הערכת השלכות, אך אינו מקבל משימה לבצע אותן בכל מחיר.
מה זה לא פותר: גם תחזית מדויקת יכולה לשמש גורם מזיק. מי שמפעיל את הכלי עדיין מחזיק בכוח.
איזו שאלה לדרוש, ומאיפה זה מגיע?
מה בדיוק מונע מהמנבא להפוך לרכיב בסוכן מסוכן?
08אמצעים קיימים ומדיניות
לאבטח את המודל והתשתית
מגבילים גישה למשקלי המודל, לתשתית וליכולות רגישות ומנסים למנוע גניבה ושימוש לרעה.
דוגמת מערכת: סביבת מחקר מופרדת מסביבת השירות, והגישה לחומר רגיש מבוקרת.
מה זה לא פותר: ריכוז גישה עשוי לרכז כוח; פתיחות יכולה לאפשר ביקורת, אך גם להקשות על משיכת יכולת שכבר הופצה.
איזו שאלה לדרוש, ומאיפה זה מגיע?
מי בוחן את האבטחה, ומי רשאי לבדוק את טענות החברה?
09מדיניות חברות
לקבוע סף ולעצור כשצריך
קושרים יכולות וסיכונים לתנאים להפעלה, להגבלות או לבדיקות נוספות. עדיף להגדיר החלטות מראש.
דוגמת מערכת: הרחבת שימוש נדחית עד השלמת בדיקה שנדרשה במדיניות.
מה זה לא פותר: מדיניות יכולה להשתנות; סף נמדד לא תמיד תופס את הסיכון, ותמריץ עסקי יכול להתנגש עם זהירות.
איזו שאלה לדרוש, ומאיפה זה מגיע?
מי מוסמך לעצור גם כשזה יקר, ואיפה מופיעה ההחלטה?
10מסגרות ממשל ויישום משתנה
ליצור אחריות מעבר לחברה
כללים, דיווח, פיקוח ושיתוף ידע יכולים לחבר בין מפתחים, ממשלות והציבור.
דוגמת מערכת: סיכון ואירוע חריג מגיעים גם לגורם שמסוגל לדרוש תיקון.
מה זה לא פותר: פערי אכיפה, תחרות בין מדינות וריכוז כוח מקשים על תיאום. מסמך לבדו אינו מנגנון אכיפה.
איזו שאלה לדרוש, ומאיפה זה מגיע?
מי בודק את הדיווח, ואיזו סמכות יש לו?
