יש מצב שזה הlocal setup הכי טוב

https://go.chatlytics.ai/r/ENy797r

Apple introduces new Mac Studio with M5 Max and M5 UltraApple announced the new Mac Studio, featuring M5 Max and the all-new M5 Ultra, delivering a monumental leap in AI performance and even faste

יש מצב שזה הlocal setup הכי טוב

חזרו לעד 512gb

אם כי הmax יחסית איטי

כן, הוא מצוין להרבה דברים, אבל אני חושב שהבעיה הכי גדולה ל-AI מקומי היא רוחב הפס של הזיכרון.
אני חושב שהם כולם באזור ה-256, ואיך שלא תסובב את זה — בסוף ה-prefill שלך יהיה איטי ברמות, וזה לא יהיה החוויה הכי טובה בעולם.

כמה דברים:
1. הmax הוא על 600 גיגה בשנייה והultra הוא 1.2 טרה לשנייה, שזה מאוד מרשים. זה הרבה יותר מה 270 גיגה לשנייה של הdgx או הstrix halo
2. ה prompt prefill לא חסום בזיכרון אלא ב compute, פה המגבלה הגדולה, הmax הוא סדר גודל מהיר פי 1.5 מ strix halo והultra פי 2 ממנו. ועדיין גם הultra איטי פי 3 מאשר הdgx spark.
3. מסכים מאוד שprefill איטי מאוד מבאס, אבל גם הdgx מתקשה במודלים גדולים, מתחת ל1000 לשנייה זה לא שמיש אבל תכלס רק 4-5 אלף בשנייה זה נוח ומעל 10 אלף זה ממש מהיר וזה רק אפשרי במשהו כמו 35b a3b.

סה"כ למודל 256gb m5 Ultra יהיה קשה להתחרות איתו, אתה מקבל decode ברמה של 5090 בערך אם כי prefill איטי יחסית

עדיין 4 dgx spark לעומת ה512gb כנראה נותנים פייט עם אותו כמות זכרון, טרה לשנייה של זכרון והרבה יותר כח עיבוד, אם זה מודל שנכנס לכולם בזיכרון אז בכלל אם זה moe גדול גם כנראה