כתבתי פוסט על איך אני מתכנן יחד עם ה-AI לפני שהוא כותב שורת קוד, ואיך…
בוקר טוב חברים
כתבתי פוסט על איך אני מתכנן יחד עם ה-AI לפני שהוא כותב שורת קוד, ואיך זה שומר על האיכות גם כשהוא רץ לבד.
ספוילר: זה לא planning רגיל.
סקרן לשמוע איך זה אצלכם!
https://go.chatlytics.ai/r/w3LsymD
ורק אמרו שהם מאיטים, פחחח
יאללה, פיבל 5.5, אם אתה שיפור לפחות כמו אופוס 5.5 לאופוס 5, אני לא יכול לחכות.
אני גם ממש מצפה לו
אומרים שכבר עכשיו מי שמשתמש בפייבל מקבל את ה5.5 שמעתי שמועה כזו, נראה לי חרטא בפיתה
אני משתמש בפיבל המון
לא רואה את 5.5 עדיין
גם אני לא, הטענה שמאחורי הקלעים זה 5.5
זה כמובן קשקוש אבל זה מסתובב ברשת
ולו רק כי אנטרופיק לא יוותרו על מינוף מודל חדש והבאז סביבו
בשביל שהאחרים יאיטו
A/B testing זה לא אומר שכולם מקבלים, זה אומר שיש אחוז מסוים של משתמשים שמקבלים את המודל.
נמחק אני רואה
יש מאחורי הקלעים כמה טסטים שנשמעים הגיוני -
מבקשים מפייבל לשלוף מהזיכרון את הציון למשחק/סרט שיצא באזור אפריל.
אז למעשה בודקים את ה cutoff date, וככה בודקים האם זה מודל חדש או ישן
ומה המסקנה?
הוא בדרך בימים הקרובים?
לאן נעלם הפוסט?
התחרטו 🤣
זה לא משתמש רשמי שלהם
חיובית
יש גם טענה שיש שדרוג גדול ביכולות, ורואים את זה בעריכת וידאוז ברמה מאוד גבוהה, אפילו יותר מאופוס 5.5
ופייבל 5.1 היה די בינוני
הוא היה יותר טוב מפייבל 5 לא?
שמעו opus 5.5 מרגיש כמו הקפיצה שקרתה ב4.5 שפתאום דברים היו אפשריים, שפתאום זה פשוט עובד. Opus 5.5 זה פשוט senior dev
עשיתי איתו משהו סופר מורכב ב10 פרומפטים, שב100 לא הצלחתי עד כה בעבר, והקוד יצא ממש סבבה ונקי
מורכבות - פיתוח אלגוריתם סימולציה לרכבים + מעבר לGPU עם numba ושיפורי ביצועים כדי שיגיע למהירות של קוד CUDA נקי
כן
אבל בעריכת וידאו למשל, בהשוואה לאופוס 5.5, הוא די בינוני.
אז את הקפיצה מייחסים לפייבל 5.5 שפשוט מזדהה כ 5.1
לא הבנתי קפיצה של מי?
ולא מאמין שיש מודל שמזדהה כמודל נחות יותר זה מרקטינג זוועה
הם עשו ריליס שקט, זה דווקא נשמע הגיוני..
למה שזה יהיה הגיוני לחברה כמו אנטרופיק?
יש באז סביב כל שחרור למה שיוותרו
הוא הרבה מעבר לסיניור. הוא חוקר, מתודי, מדויק, וגם כן. אם הוא מפשל, הוא מעדכן אותך, ואת הנהלים של עצמו שזה לא יחזור.
יותר ברמה של מה שהייתי מגדיר כ expert, או כמוביל תחום.
העברת אליו את המחקר של פייבל?
בהמון מקרים כן
כדי שהפעם השחרור הרשמי יהיה מושלם, אחרי field tests, ושיישא אותם גבוה גבוה על כנפי ההנפקה
מסכים
יש עדיין מקרי קצה שפיבל מנצח. בעיקר בדברים מאוד מאוד מורכבים ברמה של ניתוח של מולטי תחנות, עם מולטי פיצ'רים, עם propagation waves, temporal waves ועוד ועוד.
אז כל עוד אופוס 5.5 נותן תוצאות, הוא נשאר, ברגע שאני רואה שהוא תקוע - אני עובר לפיבל.
וברגע שעברתי לפיבל - בדרך כלל - הוא מוצא את המקום שאופוס 5.5 פספס, ונותן פיתרון. ההבדל הוא בעיקר ביכולת של פיבל להסתכל על הכל ביחד. אחד הדברים שאהבתי היה - אופוס 5.5 צודק, על פי השופטים הקיימים, שום תבנית לא נמצאה, אבל השופטים הקיימים לא נכונים או מוגבלים. והוא עדכן את השופטים, מצא את התבנית בחצי שעה של עבודה אחרי יום שלם של אופוס 5.5
וזה אחרי שאמרתי לאופוס שוב ושוב איך להסתכל על הנתונים, ובגלל המורכבות, הוא לא הגיע עד הסוף לנקודה.
אז פיבל 5.1 - נותן בראש לאופוס 5.5 בנקודות המאוד חשובות לי אישית. אבל אופוס 5.5 הוא סוס עבודה וברוב הנקודות יקח את פיבל בגלל השילוב של היכולות אל מול צריכת טוקנים.