סבל של AI, באנים על עינויים, ולמה מקללים מודלים יותר מתמיד
זה לדעתי נובע מהניסוי שעשה מישהו שבנה TORTURE CHAMBER אז הם רוצים שזה יהיה ברור שאתה מקבל באן אם אתה עושה דברים כאלה.
חושב שהעבירו את זה פה
לא ?
דווקא קראתי שהם אמרו שלעשות כל מיני דברים כאלה, כמו torture chamber וכאלה, בשביל מחקר וניסויים – מבחינתם זה בסדר גמור.
אז זה לא כזה ברור למה הם מתכוונים כשהם מדברים על הדברים האלה, אבל זה כנראה כוונה למשהו שגם נוגע לבני אדם, ולא רק בנושא הזה שאנחנו מקללים את המודלים.
זה יותר בקטע של אנחנו לא באמת יודעים איך זה משפיע על המודל שלנו - וכיוון שאוטוטו AI הופך להיות השליט והאדון, כדאי שנראה לו שכשהיינו עם הכוח, הגנו עליו. 🤷
אני לא באמת חושב שאכפת להם.
אם כבר הייתי מנחש, אז הניחוש שלי היה שהם קלטו שהדבר הזה פשוט אחראי על איזה 20% או 30% מהתעבורה שלהם ומהכוח עיבוד. הם מנסים לראות אם הם יתחילו להעניש אנשים, אז זה פשוט יגדיל להם את הקפאסיטי באיזה 30%.
זה רק ניחוש כמובן, אבל סך הכל זה נשמע הגיוני שאנשים מקללים הרבה את המודלים.
מאז שאני עובד עם אופוס 5.5 ופיבל 5.1 אני כמעט לא מקלל. אין צורך. הם נותנים עבודה טובה.
היה מחקר שהראה שאקטביציה של אזורים שמזוהים עם כאב הובילה להתנהגויות לא צפויות ולהפרה של הנחיות שהמודל באופן רגיל היה מציית להן
https://arxiv.org/abs/2609.16247
> the authors find a fairly consistent internal activation direction corresponding to something like self-directed suffering, can artificially turn it up, and then observe models behaving as though they are motivated to make that state stop.
אני לא יודע, כולם מדברים על זה ש-Opus 5.5 ו-Fable 5.1 זה משהו מיוחד, אבל אני חייב להגיד שאני מוצא את עצמי מקלל יותר מתמיד. רק שני מקרים מהיומיים האחרונים:
1. אני עושה איזשהו פיצ'ר של טקסט לסכימה וביקשתי מ-Opus 5.5 להציע איך לעשות את זה. הוא נתן לי את כל ההצעות האפשריות חוץ מ-embedding, שזה כאילו הדרך הכי straightforward לעשות את זה, והצעות כל כך מפגרות שזה באמת מצחיק.
2. עשיתי fine tuning לאיזשהו מודל קטן וביקשתי מ-Fable שיכין לי dataset על בסיס דאטה שכבר יש לי, רק שיעשיר אותו ויבנה dataset כמו שצריך, ואז שיריץ סבב של training. בסוף הסבב אני רואה בסטטיסטיקות 95% accuracy ושמחתי, אבל כשבאתי לנסות בעצמי ראיתי שה-accuracy הוא 1.2%. ניסיתי להבין מה קורה, ואז מסתבר ש-Fable פשוט שם את התשובה הנכונה בתור האופציה הראשונה בכל batch.
זה דווקא משהו שלא הייתי מצפה מ-Fable לעשות, אבל הנה. ובלי fallback, כי ה-fallback מחובר אצלי.
מרגיש לי באמת שבזמן האחרון אני מדבר עם איזה ילד בן תשע. אם אני לא מסביר לו כל דבר בצורה הכי מדויקת שיש, הוא עושה שטויות: ממציא פיצ'רים, מוסיף דברים שלא ביקשתי, דוחף כל מיני בדיקות תקינות שאף פעם לא רציתי, ועושה אובר-אנג'ינירינג מפה ועד הודעה חדשה.
אני באמת מנסה לעבוד עם Dark Factory, אבל כל פעם חוטף את הסטירה הזאת מחדש. קשה לי להגיד שאני מרגיש שהמודלים התקדמו כמו שעושים מהם, וזה נכון מבחינתי גם למודלים של Anthropic וגם לאלה של OpenAI.
אני מוצא את עצמי עושה עליהם בקרה מאוד צמודה, כשלגמרי ציפיתי שבשלב הזה הם כבר יוכלו להיות הרבה יותר עצמאיים.
אגב, כל הפיצ'רים המפגרים האלה שהם ממציאים ועושים וכל הדברים האלה עובדים מושלם. רק הבעיה היחידה היא שאף פעם לא ביקשתי מהם לעשות את זה; הם פשוט מרחיבים לעצמם את הטווח ועושים דברים שהם על דעת עצמם.
באמת שניסיתי להנדס את זה מכל כיוון אפשרי ולגרום לזה לעבוד כמו שצריך, ועדיין הדברים האלה כל הזמן קורים – מבזבזים טוקנים ורצים על חינם, הכל.
מה ה effort level?
היי, אני עובד עם היי או אקסטרה היי, אני לא נוגע במקס.
לפחות מכל הבנצ'מרקים שראיתי, מקס רק הורס.
כי אצלי לרוב זה עובד טוב.
מאז שהפעלתי את ה things you should know רוב הבעיות האלה נפתרו.
אצלי מקס מככב.