> ## Content Index
> Fetch the complete content index at: https://agentic-engineering.chatlytics.blog/llms.txt
> Use this file to discover other available public pages before exploring further.

# ומצד שלומצד שני יש את המאמר הזה, שהם טיפה סותרים אחד את השני
- URL: https://agentic-engineering.chatlytics.blog/t7f5e931f/
- Published: 2026-10-19T17:23:11.000Z
- Updated: 2026-10-19T17:23:11.000Z
- Description: ומצד שלומצד שני יש את המאמר הזה, שהם טיפה סותרים אחד את השני בעצם.
- Author: Omer Nesher
- Tags: p-shay, shahaf, Adys, Yanir, Uriel, א.ל, Nadav, Ori Levi

2026-10-18

Shay

ומצד שלומצד שני יש את המאמר הזה, שהם טיפה סותרים אחד את השני בעצם.  
[https://arxiv.org/html/2609.40303v1](https://arxiv.org/html/2609.40303v1?ref=agentic-engineering.chatlytics.blog)

אני אקצר במחקר שעשו החבר'ה האלה:

הם בעצם לקחו מספר הרנסים שונים — כאלה מאוד מאוד מתקדמים, עם כלים מאוד מאוד מתקדמים, עם המון אופציות וטריקים ושטיקים ואת כל הטוב שכל ה-LLMs היום נותנים.

ומצד שני, אחד ההרנסים היה בעצם LLM של כל מה שיש לו זו לולאת while וקריאה ל-Bash, וזהו. ובעצם ההרנס הזה ניצח בבנצ'מרקים את כל ההרנסים האחרים.

13:00

shahaf

Shay

אני אקצר במחקר שעשו החבר'ה האלה: הם בעצם לקחו מספר הרנסים שונים — כאלה מאוד מאוד מתקדמים, עם כלים מאוד מאוד מתקדמים, עם המון אופציות וטריקים ושטיקים ואת כל הטוב שכל ה-LLMs היום נותנים. ומצד שני, אחד…

בדוק

13:09

Adys

מישהו עובד עם זה פה? נראה מבטיח, מדברים על OFF LOAD מאד מאד יעיל  
[https://github.com/Niko1221/Strata](https://github.com/Niko1221/Strata?ref=agentic-engineering.chatlytics.blog)

[GitHub - Niko1221/Strata: Qwen3.8-Flash-Next on any consumer hardware: one-click install for Windows / Linux. Strata inference engine, OpenAI/Anthropic API on localhost, optional image input.Qwen3.8-Flash-Next on any consumer hardware: one-click install for Windows / Linux. Strata inference engine, OpenAI/Anthropic API on localho ![](https://opengraph.githubassets.com/6924579a5e09823fd6928486f1ac04c0b167d86d9f021ceb713092b6045e0769/Niko1221/Strata)](https://github.com/Niko1221/Strata?ref=agentic-engineering.chatlytics.blog) 

Adys

https://youtube.com/watch?v=NA9D49kQFuU&si=u1qXhSFWvqriPF3b

פה הוא דיבר על זה   
הוא אומר שכל כרטיס עם 12 VRAM  
יכול להריץ כל מודל בביצועים טובים!  
אם יש במחשב הרבה RAM

‏**סיכום: "כל הדרכים להשיג 128GB זיכרון גרפי ל-AI מקומי" (ערוץ Kai ביוטיוב)**  
‏סרטון באנגלית של 18:39 דקות. המסר המרכזי: לא חייבים מחשב של 3,000 עד 7,000 דולר כדי להריץ מודל גדול על מחשב משלך. ההבדל האמיתי בין המסלולים הוא דיוק המודל, 3 ביט או 4 ביט, ואת ההבדל הזה אפשר לתמחר בדולרים.  
‏  
‏**1\. למה דווקא 128GB**  
‏• המודל שכולם מריצים היום על מחשב ביתי הוא Qwen 3.8 Flash-Next. בגרסת 4 ביט הוא שוקל 94 עד 124GB, ולכן "צריך 128".  
‏• אבל המודל קורא בכל מילה רק כ-6 מיליארד פרמטרים, ולא את כולם. לכן מנוע בשם Strata שומר את החלק הפעיל בכרטיס המסך ואת השאר בזיכרון הרגיל של המחשב. מישהו הריץ אותו כך על כרטיס RTX 3090 עם 24GB בלבד.  
‏• **המסקנה:** כמות הזיכרון והמהירות הן כבר לא אותה קנייה.  
‏  
‏**2\. ה-128 שעל הקופסה הוא תקרה, לא מה שמקבלים בפועל**  
‏• בחלונות, במחשבי Strix Halo, הכרטיס הגרפי מקבל כברירת מחדל רק 96GB. בלינוקס אפשר להגיע לכמעט 120GB.  
‏• גם במק המגבלה היא כ-96GB, וצריך להעלות אותה ידנית.  
‏• גם ה-DGX Spark של אנבידיה, שעולה 6,950 דולר, מחזיק חלק מהמודל על הדיסק.  
‏  
‏**3\. האפשרויות ומה הן נותנות**  
‏• **Strix Halo של AMD (מחשב מיני, מ-3,099 דולר):** האפשרות הזולה שמריצה טוב את גרסת 4 ביט, בלינוקס ועם המנוע הנכון. כ-50 מילים בשנייה. מנוע לא מתאים האט את קריאת הפרומפט פי 10: 23 דקות במקום 2.  
‏• **Mac Studio M5 Max (5,099 דולר):** שקט ומהיר בכתיבה, 40 עד 75 מילים בשנייה. עוד אין נתונים על קצב קריאת פרומפטים ארוכים.  
‏• **DGX Spark (6,950 דולר אחרי ייקור של 74%):** היתרון שהיה לו בקריאת פרומפטים ירד היום לכ-4 שניות. כדאי רק אם באמת חייבים CUDA.  
‏• **RTX Spark החדש (לפטופים של מיקרוסופט, כ-6,000 דולר):** המספרים השיווקיים נמדדו על דגמים מוקדמים. ההמלצה היא לחכות לבדיקות עצמאיות.  
‏• **4 כרטיסי שרת משומשים:** היה הכי מהיר, 60 עד 70 מילים בשנייה, בכ-3,000 דולר. אבל הוא צורך 500 עד 600 וואט, והמבצע נגמר כשהמחירים זינקו.  
‏  
‏**4\. המסלול שאף אחד לא מתמחר**  
‏מחשב גיימינג רגיל עם כרטיס של 12GB ו-64GB זיכרון רגיל, עם המנוע Strata וגרסת 3 ביט, נותן 50 עד 94 מילים בשנייה. זה הקצב של הקופסאות היקרות. אם כבר יש לך מחשב כזה, השדרוג עולה כ-880 דולר.  
‏  
‏**5\. כמה עולה "הביט הרביעי"**  
‏• אם כבר יש לך מחשב גיימינג, המעבר מ-3 ביט ל-4 ביט עולה כ-2,200 דולר.  
‏• אם בונים מאפס, ההפרש הוא רק כ-700 דולר.  
‏• לא ברור כמה האיכות באמת יורדת ב-3 ביט. היצרן טוען שנשמרים 99.4%, אבל אף אחד לא השווה את הגרסאות בעבודת סוכנים ארוכה.  
‏  
‏**6\. מגבלות**  
‏• הטריק עובד רק על משפחת המודלים הזו. המודל הבא עלול לא להתאים לו, וקופסה של 128GB תריץ כל מודל.  
‏• אם צריך לשרת כמה משתמשים או נחיל סוכנים, מחשב ביתי לא מספיק.  
‏• אם משתמשים רק מעט, זול יותר לשכור: כרטיס של 96GB ב-RunPod עולה 2.09 דולר לשעה. 3,000 דולר ב-API של Qwen קונים כ-6.6 מיליארד מילים.  
‏  
‏**ההמלצה שלו:** קודם לנסות את מה שכבר יש. אם קונים, Strix Halo עם לינוקס. ולבחור קודם את המנוע ורק אחר כך את המותג.  
‏  
‏*(responded in 157s)*

מעביר סיכום של זה שהכין @170729295376531

השורה התחתונה:  
המודל שכולם מריצים היום על מחשב ביתי הוא Qwen 3.8 Flash-Next. בגרסת 4 ביט הוא שוקל 94 עד 124GB, ולכן "צריך 128".  
‏• אבל המודל קורא בכל מילה רק כ-6 מיליארד פרמטרים, ולא את כולם. לכן מנוע בשם Strata שומר את החלק הפעיל בכרטיס המסך ואת השאר בזיכרון הרגיל של המחשב. מישהו הריץ אותו כך על כרטיס RTX 3090 עם 24GB בלבד.

15:13

Yanir

Adys

השורה התחתונה: המודל שכולם מריצים היום על מחשב ביתי הוא Qwen 3.8 Flash-Next. בגרסת 4 ביט הוא שוקל 94 עד 124GB, ולכן "צריך 128". ‏• אבל המודל קורא בכל מילה רק כ-6 מיליארד פרמטרים, ולא את כולם. לכן מנוע…

ושיתף את התהליך כולו? כולל מסקנות? תוצאות?

15:14

Adys

Yanir

ושיתף את התהליך כולו? כולל מסקנות? תוצאות?

בוידאו

יש מספרים מפתיעים מאד, מדובר על קפיצות משמעותיות בעבודה עם STRATA

כמו כן יש שם עוד כל מני נתונים מעניינים, קשה להעביר, צריכים לראות את הסרטון  
כמו למשל שלא כל הזכרון זמין בכלל לאינפרנס בכל מני חומרות ועוד

15:16

Yanir

כי לפי מה שקוראים למעלה  
מסמך של שני עמודים  
אתה תצטרך כ 3.5 דק לריפליי קצר

5 משפטים - 2800 טוקנים במודל כבד כמו שהוא מציין למעלה

עכשיו, קח מסמך של שני חלקים שתעלה…  
170 אלף טוקנים - אתה מת

אם אתה מדבר על קאצ אנד שוט כזה לשאלה תשובה, אולי תשרוד 

יש אפשרות לגלוש לשימוש בדרייב, מנסיונות שלי, לא עובד טוב, אולי חוסר נסיון שלי וכו  
שיתוף של ראם ווי ראם - תלוי במודל, בדרך כלל הצלחתי עם gguf וכאלה מהאגינג פייס

15:20

Adys

לא הבנתי מאיפה הבאת את זה? אולי פספסתי

ציטוט - **DGX Spark (6,950 דולר אחרי ייקור של 74%):** היתרון שהיה לו בקריאת פרומפטים ירד היום לכ-4 שניות

הספארק עם PREFILL טוב, לא?   
הוא טוען שאחרי עבודה עם מנוע מתאים, ההבדל ירד ל 4 שניות בלבד לטובת הספארק, פרפיל

15:27

Uriel

נשמע גבוה מאוד

כנראה הddr מאוד מהיר גם

בסוף spark זה 256 bit ddr5

16:12

Adys

Uriel

נשמע גבוה מאוד

ראית שכתבתי prefill? 🤓  
למדתי

Uriel

נשמע גבוה מאוד

הטבלה מכאן  
[https://github.com/Niko1221/Strata](https://github.com/Niko1221/Strata?ref=agentic-engineering.chatlytics.blog)

16:14

Uriel

Adys

ראית שכתבתי prefill? 🤓 למדתי

That's my boy😂

![](https://api.lextrove.com/m/HTrGvjHETfWmipicZmDc4oSFXe2T1EioiIc_tOzOjBAAAAAAav3e-QAAAAAKLemkW7bio7k_At_NiSolAl5IiW05azu8jXSmYI0sPQ)

בקיצור, יש שם שילוב שזה quants יותר קטנים, המודל הזה נוטע להשתמש יותר ב experts מסויימים וזה שהם משתמשים גם בcpu לחשב במקביל לgpu. בקיצור מרשים אבל אין קסמים, זה בפועל מודל קטן בחצי, זה מודל שבמקום 60 גיגה ראם זה 30 גיגה ראם בערך + engram

Q2 vs Q4

17:02

א.ל

Shay

אני אקצר במחקר שעשו החבר'ה האלה: הם בעצם לקחו מספר הרנסים שונים — כאלה מאוד מאוד מתקדמים, עם כלים מאוד מאוד מתקדמים, עם המון אופציות וטריקים ושטיקים ואת כל הטוב שכל ה-LLMs היום נותנים. ומצד שני, אחד…

מה הייתה המשימה במחקר?

מה בעצם הריצו ב bash ?

17:12

Nadav

The task is autonomous ML engineering: give an AI agent a machine-learning problem, access to data and computational resources, and ask it to independently develop a high-performing solution.

For example, the agent might need to inspect a dataset, select a model, write training code, experiment with architectures, debug failures, evaluate performance, and improve its solution over many hours.

מתוך סיכום שבדיוק ביקשתי מchatgpt

17:13

Adys

Uriel

בקיצור, יש שם שילוב שזה quants יותר קטנים, המודל הזה נוטע להשתמש יותר ב experts מסויימים וזה שהם משתמשים גם בcpu לחשב במקביל לgpu. בקיצור מרשים אבל אין קסמים, זה בפועל מודל קטן בחצי, זה מודל שבמקום 60…

הטענה שעם מעל 96 RAM במחשב אתה יכול להריץ כל מודל  
אתה מדבר על Q3 מול Q4? זה כן, אבל אם יש מספיק זכרון לא צריך גם לרדת ל3  
כמו כן, הטענה שאין כמעט הבדל בין 3 ל4

וכמובן שלא צריך להשוות את זה לספארק, מדובר על העניין שאתה יכול להשיג הרבה בלי. זה משמעותי. למי שיש ספארק יש פתרון.   
עכשיו גם למי שיש מחשב גיימינג חזק

יגיע המחשב ותאתגרו אותי

17:37

Uriel

לא כל המסקנות שלך נכונות

אתה לא יכול כל מודל 😅 בהצלחה להריץ muse spark open גם על ספארק😅

המודל הספציפי הזה מאוד ידידותי למחשבים כאלה בגלל שהוא משתמש רק ב4.8 מליארד פרמטרים אקטיבים וגם נראה שבעיקר בסט מצומצם של experts

17:40

Adys

ברור מדובר במודלים שמתאימים לשימוש ביתי לא אופוס

אבל אתם בהתגוננות קשה בעלי הספארק

תתייחסו לעניין של מה שיש פה ולא מה שאין פה

17:44

Uriel

חחח מה יש להתגונן

זה אחלה פתרון למי שאין מספיק VRAM

אני מחכה כבר להריץ muse spark open במפעל, הייתי רוצה dsv4.1 flash החדש אבל לא רוצה סיני

17:49

2026-10-19

Ori Levi

מישהו מוכר או מכיר מישהו שמוכר מק מיני 64 gb?

15:24

· +1 short messages