בתכנון צוות דיגיטלי, התפקיד ״סוכן בקרת איכות״ נשמע טבעי. אבל השם לבדו אינו מגדיר רף איכות. אם לא ברור אילו שגיאות צריך לתפוס ואיזו ראיה מאשרת שהתוצר עומד בדרישה, גם שרשרת ארוכה של בודקים עלולה להשאיר את ההחלטה עמומה.
מתחילים בהגדרה של תוצר ראוי
אנחנו מציעים להגדיר איכות בשפה של המשימה. בטיוטה שמבוססת על מסמכים, ייתכן שנדרשים מקור לכל טענה מהותית וסימון מידע חסר. בחבילת קמפיין, נרצה עקביות מול הבריף וביסוס להבטחות. בתהליך פיננסי, נרצה התאמה לתקופה ולמקורות, לצד בדיקת התחשיב.
הגדרה כזו עוזרת להבחין בין שאלה שאפשר לבדוק באופן מובנה לבין שאלה שדורשת פרשנות. סכום, שדה נדרש או קישור קיים יכולים להתאים לבדיקה מוגדרת. בהירות של הסבר או משמעות של סתירה עשויות לדרוש שיקול דעת. התכנון צריך לתת לכל סוג בדיקה את המנגנון המתאים.
ממצא צריך לשנות את מצב העבודה
נניח שסוכן האיכות מגלה שטענה נשענת על גרסה לא מעודכנת. תוצר הבקרה צריך להסביר מה נמצא, לציין את המקור ולהחזיר את העבודה לתפקיד שיכול לתקן אותה. התהליך צריך גם לדעת מה ייחשב תיקון מספק, ומתי יהיה צורך להסלים לאדם.
ב־AOS, מנהלי הסוכנים אחראים להחזיק את לולאת הביצוע והבקרה כחלק מהמשימה. כך אפשר לחבר ממצא לתוצר, תוצר לסבב תיקון וסבב תיקון להחלטה. מספר הסוכנים אינו המדד; המדד הוא האם אפשר להבין מדוע העבודה אושרה ומה עדיין לא הוכרע.
שיפור מתמשך הוא שינוי שאפשר לבחון
ממצאי עבודה יכולים להציע חידוד של הקשר, זיכרון, כלי או סקיל. למשל, להוסיף בדיקת תוקף למסמך, לדייק תיאור של כלי או להבהיר מתי צריך מקור נוסף. אנחנו מתייחסים להצעה כאל שינוי שמצריך בדיקה, עם היסטוריה ועם גבולות הרשאה.
המשמעות המעשית היא שלמידה אינה סיבה להרחבת סמכות אוטומטית. סוכן יכול להציע הנחיה מדויקת יותר, אבל ההחלטה אם להחיל אותה ובאיזה היקף שייכת למדיניות המערכת והארגון. שינוי שעוזר במקרה אחד צריך להיבחן גם מול מצבים שבהם הוא עלול להפריע.
Anthropic מדגישה בהנחיותיה לכלי סוכנים הערכה באמצעות משימות מציאותיות ותוצאה שאפשר לאמת, וכן בחינה של שינויים על מקרי בדיקה שלא שימשו לשיפור. העיקרון שאנו לוקחים מכך הוא הצורך להעריך שינוי מעבר לדוגמה שגרמה לנו להציע אותו. Writing tools for agents — Anthropic
אישור אנושי צריך להגיע עם חבילת החלטה
כפתור אישור מועיל כאשר האדם יכול להבין למה הוא נותן אישור. אנחנו מציעים להציג את הפעולה המוצעת, את התוצר, את המקורות, את המגבלות ואת הנקודות שנותרו פתוחות. במידת הצורך, האדם צריך להיות מסוגל להחזיר את העבודה עם בקשה ממוקדת.
נכון גם להגדיר את היקף האישור. אישור להכין טיוטה שונה מאישור לשלוח אותה. אישור לחבילת שינוי שונה מאישור להפעלה בסביבת ייצור. ההבחנה הזו צריכה להופיע בתהליך עצמו, כך שהסוכן הבא יקבל סמכות ברורה וניתנת לפירוש.
השאלה הניהולית שכדאי לקחת מהמאמר
כשמציגים לכם צוות סוכנים, בקשו לעקוב אחרי טעות אחת. מי גילה אותה? מי קיבל אחריות לתקן? איזו ראיה הראתה שהתיקון הספיק? מה השתנה כדי להפחית הישנות? תשובות קונקרטיות יבהירו את איכות מנגנון הבקרה יותר מהצהרה כללית על פיקוח.
מבחינת GOBOOST, כאן נמצא החיבור בין טכנולוגיה לניהול: מערכת שמארגנת את העבודה, לצד תהליך שמגדיר את רף האיכות ואת הסמכות. כך אפשר להרחיב שימוש בסוכנים תוך הבנה של מה הם עושים, איך בודקים אותם ואיך משפרים את העבודה הבאה.
עקבו אחרי טעות אחת עד לתיקון ולשיפור שנבדק. זו דרך מעשית לבחון את איכות הניהול של צוות הסוכנים.
לראות צוותי סוכנים בפעולה