סרטון טוב לכל מי שאומר שעדיין צריך לקרוא קוד:
סרטון טוב לכל מי שאומר שעדיין צריך לקרוא קוד:
https://go.chatlytics.ai/r/KGhNLyu
אוסיף ואומר שגם אם נרצה, בקרוב לא נוכל. בפרק זמן קצר הוא ייצר יותר קוד ממה שאנחנו יכולים לקרוא כדי להמשיך להכניס קוד בקצב שאנחנו רגילים ואז זה רק יאט אותנו.
בסוף זה יהיה להסתכל (אפילו בדיקות יהיו רק ע״י מכונות) על התוצר ולהגיד אם זה מה שרצינו (או אפילו לא נסתכל עליו אלא רק על האפקט שזה עושה, אבל זה עוד צעד קדימה..).
אז אני משתמש ב-Omni-GPT ושמתי לב לאיזשהו עניין מעניין: הרבה פעמים הוא מקבל מקלוד אחוזי שימוש, במיוחד בחישוב השבועי.
נגיד הוא קיבל 36%, אז הוא מראה לי בהתחלה 36% שימוש שבועי, ואז פתאום אחרי כמה דקות אחוזי השימוש מתעדכנים ל-35%. זאת אומרת, יש פה לדעתי איזה משהו ספקולטיבי שאנתרופיק שולחים בתוך הרספונסים שלהם, ואחר כך כשהם מחשבים באמת את הקווטות, הם מעדכנים את זה לאחוזים האמיתיים.
מכיוון שהתעסקתי עם הקוד של זה, אני יודע בוודאות שהמנגנון שבו הוא מושך את התצוגה של אחוזי השימוש זה מתוך ה-API של אנתרופיק
או שאולי אני טועה? יש למישהו רעיון אחר איך זה עובד?
לא כזה קריטי, אבל מעניין.
גרוק לובסטר
https://go.chatlytics.ai/r/27B9b8z
https://go.chatlytics.ai/r/JwJYH20
calle (@callebtc) on XBenchmarked local LLMs on Apple M5 Max 128GB: DeepSeek V4 Flash 0731 (ds4.c) vs muse-glimmer & gemma4 (ollama). DeepSeek is faster and m
לדעתי זה חוסר סנכרון בין סשנים, סוג של רייס קונדישן, ו stale data. אני רואה את זה כשאני מעורר סשן ישן, או כשיש אייג'נט שנסיים עבודה
לא קצת לאט?
לא יותר מדי נראה לי
gemma 4 31b
nvfp4
גודל 20gb בפועל
כמה מתוך 128 unified הוא vRAM?
11 טוקנים לשנייה? 🤔
כן, זה היה מסביר אם הוא היה מעלה מ-35 ל-36, אבל פה הוא מוריד מ-36 ל-35. הוא כאילו מראה לי 36, ואחרי כמה דקות מעדכן את זה למטה.
ואגב, אני כרגע בעיקר עם סשן אחד פתוח, אז זה בכלל גם, לדעתי, לא יכול להיות מוסבר על ידי סשן.
צריך לקרוא לו NaziClaw
זה סשן שנמצא מאחור בקאונטר עדיין על 35 והוא מציג אחרי שכבר הוצג משהו פרש שב 36
מרגיש לי שבטוח יש כלי כזה -
אני רוצה להריץ regressions על pi + an environment על כמה משימות, עם יכולת למקבל הרבה סשנים, לשמור טרייסים לתחקור וכו׳
יש משהו טוב שנתקלתם בו off the shelf או שתכלס עדיף לבנות לבד
כן זה לא הגיוני בעליל
אה חשבתי שאתה שואל על זה...
DeepSeek V4 Flash
התרגלת לטוב :) אין על ה3090.. הוא מהיר פי כמה מהמק. עלות תועלת הטובה ביותר שיש כל עוד לא צריכים הרבה VRAM
חחח ממש
100 טוקנים לשניה על gemma-26b
רק צריך לגרום לו לעבוד עם מנהל חכם
תנסה אולי את המודל החדש של meta אומרים שהוא די מהיר וגם תוסיף dflash
dflash?
אני עכשיו צריך להפעיל את השני דרך קודקס. גם יצא היום קודקס APP ללינוקס בכלל יעזור
speculative decoding
Qwen 35b a3b משמעותית יותר טוב
וqwen3.6 27B יעבוד לך מהר לדעתי גם והרבה יותר טוב משניהם
הוא לא הרבה יותר מהיר מהgemma
עוד מעט יוצא ה3.8 נקווה שהוא יהיה טוב
יש גרסת MTP בכלל טסה
סליחה הרבה יותר חכם, לא מהיר, זה אותו סדר גודל משקולות
מחכה לזה מאוד
יאפ
למה כולם פה מריצים מודלים מקומיים? (אני אישית בסביבת air-gap)
זה רק ההרגשה
אנחנו חבורה מיוחדת וקטנה 😂
כן כאילו נגיד מבחינת מחיר Deep seek החדש ממש זול
עובד טוב על ספארק?
לא ניסיתי, הוא 120b לפחות
יש לי 48 vram בסך הכול
עובד על המק, אמור לעבוד
48 זה 6000?
יש לי שלושה a5000 (זה 24 לכל אחד)
ועל אחד אני מריץ Gemma 24 למהירות עם vllm
ועל השאר את הqwen לתכנות
מעניין! כולם במחשב אחד?
קיבלתי שלושה מחשבי z6
אז אחד עכשיו עם שני gpus
הq2 עובד מעולה, לא מהיר (רגיל ל80+ token per sec ) אבל נותן לו משימה והולך למשהו אחר
זה על אחד, עדיין מחכה לכבלי fiber להרים את הswitch
כבר במשרד
השאלה היא האם q2 שווה ל qwen (החדש)
ה27B אין לי שמץ, לא שחררו מספרים
אבל הq2 של antirez/ds4 הוא נראה שלא פראייר
אתה יכול לנסות למשימות שלך תן להם משימה קשה ותשווה
אבל אין את ה27B החדש בכלל
אני אומר כרגע עם הישן
יכול להיות שהq2 טוב כמו הqwen
הא לעומת ה27B qwen3. 6 זה ליגה אחרת לגמרי
גם הq2
וואלה
הוא moe נכון?
מה שאומר שהוא יחסית מהיר?
תגדיר יחסית, מקבל 23 token per sec
900 prefill
לא שד מהירות
זה די מהיר יחסית
זה a13b כלומר זה מהיר יותר בתאוריה מ27B
אבל איטי בסדר גודל מאשר 35b a3b
לי יש כמה וכמה סיבות
אני מריץ לclaw ולמפעל תוכנה לחברה, aka dark factory
כן אתה לקחת ממש לקצה
אצלי זה לאימון וגם להיסק
אתה עושה אימון?
למחקר או לעבודה?
* ניסויים אישיים בבמודלים של GEN AUDIO
* ארכיטקטורות LLM שונות שאני מנסה
* מודלים לשוק ההון :)
אתה הרבה יותר מגוון ממני, אני כולה קוד וclaw, מאוד מיינסטרים
כן אני גם מאמן מודלים של vision על הdgx שלי
אם אתה מצליח claw נורמלי עם מודל מקומי חלש, כל הכבוד.. אצלי זה היה די מעפן.. אני מעדיף אופוס 5
עבד לי סבבה עם sonnet ו codex, מסכים שהמקומיים לא משהו, Gemma היה פח זבל. הראשון שעובד סביר (לא מדהים) הוא qwen 3.6 35B a3b
הוא סבבה לגמרי, אין בעיות עם tool calls בכלל, הבעיה שלו היא עם עברית רק. צריך לנסות מודלים אחרים אבל לא היה לי זמן, יכול גם לחבר אותו לds4 flash, זה כנראה overkill אבל אשתי מתחרפנת מqwen, שוב הוא עובד ממש סבבה באנגלית אבל עברית, אבוי
מי שבאמת צריך דחוף אקסטרה כסף לטוקנים...
זהו ש gemma באמת היה גרוע עם tool calls
ו qwen לא בעברית..
ואין לי כוח להתעסק בזה..
יום אחד המתמטיקאים/פיזיקאים/סטטיסטיקאים יפצחו ארכיטקטורת מודל ונריץ מקומית מודלים כמו אופוס 5 ב-50 טוקנים לשנייה בזמן שחברות ענק יריצו 2000 טוקנים לשנייה ויהפכו את כולנו לעבדים שלהם 😂
Deepseek v4 flash == glm 5.2 === opus 4.6/7
זה כבר קורה
למי שיש הרבה כסף
בואו נקווה שqwen 3.8 יהיה מספיק טוב
השנה, שנה הבאה יהיה לך את זה בהרבה פחות
יהיה מעניין מאוד
Vaibhav Sisinty on X: "Someone on the internet just built a full flight simulator using Claude Code. Real terrain. Real locations. You can fly to any point on Earth. 🤯 Use it on Web: https://go.chatlytics.ai/r/SKwrRc4 Built in two weeks. By one person, Who is not even a game developer. We are not ready for https://go.chatlytics.ai/r/wd5dakF" / X https://go.chatlytics.ai/r/drtCTEG
@186139688316930
כמובן הרבה הרבה יותר פשוט משלך