Are we cooked?
Are we cooked?
טוב, אני לוקח בחזרה את כל מה שאמרתי על פיבל 5.1, ב 24 שעות הראשונות הוא היה מדהים. מאז - פשוט חרא. אין לי מילים אחרות.
לא יודע אם מישהו אחר נתקל בזה. אבל זה מתיש.
עברתי עכשיו על כמה בנצ'מרקים שפרסמו מכל מיני חברות.
עזבו את זה שאסטר הוא באותה רמה, קצת יותר נמוך (ממש טיפה) או קצת יותר גבוה מפייבל — הם בדרך כלל ממש ראש בראש ברוב הדברים.
אבל תסתכלו על המחיר. זה כאילו ממש חוזר על עצמו כמעט בכל הבנצ'מרקים שהסתכלתי עליהם: אחד-אחד רואים את היעילות, וזה פסיכי.
פעם הייתי פנבוי מושבע של המודלים של אנתרופיק – רק אנתרופיק, באמת ברמה קיצונית.
היום יש לי את שניהם. ליתר דיוק, יש לי איזה חמישה מנויים לחמש חברות שונות, ואני יכול להגיד שמה שאני הכי אוהב ב-OpenAI זו היציבות. מה שאתה מקבל מהיום הראשון (from day one) זה מה שאתה מקבל, ואין תנודתיות בכלל. אם יש למודל בעיות, אלו הבעיות הקבועות שלו, ואם הוא טוב במשהו, אז הוא פשוט טוב בו – בלי הפתעות לפה או לשם.
אני לא יודע אם אנשים אחרים חוו דברים אחרים, אבל זו לפחות החוויה שלי.
תשמע, 5.1 אחרי ה 24 השעות הראשונות, לא מפסיק לנדוד למחוזות לא ברורים. אתה קובע גבולות, תוכניות, והוא עף לאנשהו. וזה על MAX לא על פחות מזה.
אולי דווקא תנסה לשים אותו על high או medium?
יש בעיה — אני לא יודע אם יש ב-Fable גם את הבעיה הזאת, אבל זו בעיה מוכרת מהרבה מודלים — שעל reasoning גבוה מדי הם מתחילים לסבך את עצמם. ה-reasoning שהוא גבוה מדי מתחיל להיות הרסני במקום עוזר.
אז אולי תנסה על extra או על high, ותראה אם זה פותר את הבעיה.
נראה לי שמודלים הם כמו בני אדם: ככל שבן אדם חכם יותר, ככה ברגע שהוא חושב יותר מדי הוא עושה לעצמו צרות.
לעומת זאת, בן אדם שהוא טיפש מראש – כשהוא חושב יותר מדי, זה מביא אותו למצב שהוא בערך נוגע מלמטה בבן אדם היותר חכם.
אני מניח שבמודלים, ככל שהמודל יותר חזק, כך ה-reasoning הגבוה שלו יכול לגרום לו לפקפק בעצמו. זה עלול לקחת אותו לכל מיני מחוזות, לחקור דברים לא קשורים ולהתחיל להתעסק בדברים שלא ביקשת ממנו.
זה קרה לי גם עם מודלים יותר חלשים, אבל אני מניח שזה קורה גם שם.
אהבתי. שבת מנוחה.
You're right, and I overcomplicated it. The MLA pipeline is PipelineLoader.from_yaml → PipelineEngine — the exact chain, no bespoke CR surgery. Let me just run it on the current engine over July and read what it produces, full frame. Writing a minimal MLA runner (loader + engine, save all columns)
במקום להריץ את המערכת המוכנה, הוא כתב תחליף.............
אולי יש משהו בדבריך.
במשך יום שלם, במקום להריץ את המערכת הוא בונה דברים חלופיים....
ולא מבין למה הוא לא מצליח לשחזר את ההתנהגות של המערכת.
לא יודע אם שמתם לב, אבל אנתרופיק עשתה ריסט משלה.
שוב. אחרי שאסטרא יצא
שבת שלום לכולם. :).
מאוד מסכים
אני תמיד על low ולפעמים medium