[video]

p-ניצן-מגדל 20 Oct 2026, 21:02
2026-09-09
ניצן מגדל

פותח פה דיון שאני מנהל עם עצמי לאחרונה בנושא הזה (קצת חפירה ואם לא מתאים @162118053716090 אז מוזמנים להוריד את זה):
אם הייתם בעמדת מפתח מה הייתם עושים ?אני חושב שעצירה ומחשבה על דרך לא להגיע לAGI תוביל לכך שארהב תיפול מאחור בתחום הAI ביחס לסין. כי אני חושב שסין לא תנסה לעשות את זה בעצמה. גם אם יגיעו להסכמות שזה מה שעושים דרך אגב.
אני מפחד לא פחות משליטה סינית על כלל המודלים המתקדמים או התקדמות יותר משמעותית של הסינים בקצב מהיר יותר מזה שחברות אמריקאיות יצליחו לעמוד ולהגן מהם.
אני לא יודע אם ה 10% האלה שזה יהרוג אותנו הם שווים את ההפסד של המרוץ. כמה שאני רוצה להגיד לא אכפת לי מי ינצח גם ארהב משחקת לא לפי הכללים. אני הרבה יותר מפחד מה המשטר הסיני יעשה עם הכלי הזה מאשר המשטר האמריקאי (כי יש על המשטר האמריקאי יותר הגבלות)

09:56
2026-09-15
2026-09-16
Tomer

Hi,
I am looking into which VPSs to use for agentic use cases: agents, MCPs, etc. These are my current findings. Any thoughts, suggestions, preferences from your experience:

04:42
Shay
Tomer
Hi, I am looking into which VPSs to use for agentic use cases: agents, MCPs, etc. These are my current findings. Any thoughts, suggestions, preferences from your experience:

שים לב שהמחירים כאן זה רק לקומפוט.
כד להרים משהו שימושי, תצטרך גם במינימום סטורג', ותקשורת.
על כל אחד מהם התשלום בנפרד.
תוסיף אותם להשוואה.
ויש גם את דיג' יטל אושן והוסטינגר.
ויש לך גם פלטפורמות כמו raleway ודימיהם ששווה לבדוק

04:48
Tomer

צודק, אבל יש במחיר כיסוי, הנה טבלה יותר מעודכנת:

הסטורג לגמריי מספיק לי. אתה מוצא את עצמך חורג מהנפח של התקשורת?

מישהו גם אמר לי על Contabo. זולים בערך פי שניים. זה הגיוני?

05:19
ניצן מגדל
Tomer
מישהו גם אמר לי על Contabo. זולים בערך פי שניים. זה הגיוני?

אני על הרצנר ודי מרוצה..

לא סמכתי על קונטבו. האתר שלהם נראה לי SUS. אבל זה כנראה רק תחושה שלי..

05:32
Tomer

גם עכשיו כשאתה רואה כמה contabo עולה ? 😝

05:32
ניצן מגדל

ידעתי שהם יותר זולים

אני משלם 5 דולר בחודש.. על 4GB 2CPU אם אני זוכר נכון..

05:34
Tomer

איזה מכונה אתה מריץ עם הצנר ולאיזה דברים אם זה בסדר לשאול?
הףבעבר הייתי על EC2 לאופנקלו וגם עם הרנס, והיה צפוף על המכונה של ה 2Gb RAM

05:35
ניצן מגדל

כלכך מעט זה מתחת למה שהם מוכנים לחייב אותי באשראי אז יוצא שאני משלם פעם בשלושה חודשים

אופנקלו עם שכבת ניהול קבצים וניהול PERSONAL BRAIN

משתמש בו בשביל להקים מוצרי OPEN SOURCE לפני התמעה בסביבת העבודה שלי. בשביל סביבה ISOLATED לגמרי בלי גישה לדברים של העבודה

05:36
Tomer

הדרגת כניסה של ה-4 Ram מספיקה לך?

05:36
ניצן מגדל

כן .. לא היה לי בעיה

הוא מריץ בנוסף אליו גם מוצרים שלי שכתבתי ומפיץ לי אותם על גבי TAILSCALE

אני לא SUPER HEAVY USER מניח שיש פה אנשים שיותר מדמים עבודה אינטנסיבית ממני. אם יש אחרים שאומרים שזה לא מספיק אולי לא להסתמך על המילה שלי בנושא..

05:38
Bar

למה אתה לא מנסה את המכונה החינמית באורקל? היא עם 12 ג'יגה זיכרון

05:39
ניצן מגדל

אלי השאלה ?

מאמין שמה שהוא בחינם אני המוצר בו.

05:40
Bar

לא, לתומר :)

ניצן מגדל
מאמין שמה שהוא בחינם אני המוצר בו.

זה ביזנס מודל אחר - הם נותנים לך משהו קטן בחינם ואז כשאתה כבר שם וצריך יותר זה עולה כסף

וזה הצורת חדירה שלהם לשוק כי יש להם מלחמה רצינית מול הקלאודים הישנים

05:42
ניצן מגדל

כמו הFREE TIER של AMAZON או האחרות.

05:43
Shay
Bar
וזה הצורת חדירה שלהם לשוק כי יש להם מלחמה רצינית מול הקלאודים הישנים

הם מאוד מכוונים לסטודנטים וג'וניורים לפני שמצאו את העבודה הראשונה.
הסטודנט של היום, זה הvp של עוד 7 עד 10 שנים

05:43
ניצן מגדל

משתמשים בCLOUD שלהם ? איך הוא ?

05:44
Bar
ניצן מגדל
כמו הFREE TIER של AMAZON או האחרות.

בדיוק
אתה לא ממש המוצר שם, אין להם קשב להסתכל עלייך בחינמים

05:44
ניצן מגדל

אוהב את הנוחות של הCLOUD PROVIDERS הגדולים לארגונים. אבל הם יקרים לכל דבר אחר..

05:45
Bar
Shay
הם מאוד מכוונים לסטודנטים וג'וניורים לפני שמצאו את העבודה הראשונה. הסטודנט של היום, זה הvp של עוד 7 עד 10 שנים

לא מדויק
הם פונים גם לחברות ומציעים להם להיכנס (עם קרדיטים, לא רק עם המכונה החינמית) אבל כן זה בכיוון אחר

בסוף הם עם אותם טריקים כמו הקלאודים הגדולים האחרים

05:45
ניצן מגדל

משיחה שהייתה לי בSUMMIT הבנתי שיש להם תמיכה משמעותית באפליקציות JAVA בניה והרצה שלהם בצורה אחרת. (לא בדקתי בעצמי)

05:46
Bar

כדאי שיהיה להם כי הם הבעלים של ג'אווה ;)

ובחזרה לנושא המקורי - @92105691148426 אני מריץ על המכונה החינמית שם אובונטו שהתקנתי עליו גם gui עם טריקים כי אין gpu במכונה ועליו הרמס ודברים (כמו פיירפוקס, vnc, tailscale)

05:49
Shay
Bar
לא מדויק הם פונים גם לחברות ומציעים להם להיכנס (עם קרדיטים, לא רק עם המכונה החינמית) אבל כן זה בכיוון אחר

קרדיטים זה משחק של כולם.
אפשר לקבל בין 100 ל 200k בתכניות של סטארטאפים.

המטרה היא להרגיל אותך להשתמש הרבה ובחינם, ואז יום אחד כשאתה מתחיל לשלם, אתה פתאום מגלה שיש לך חשבונית של 10,000 דולר בחודש כמו כלום.

וזה לא תמיד כולל שימוש במודלים, לפעמים למודלים יש תמחור נפרד של קרדיטים.

05:51
ניצן מגדל
Shay
המטרה היא להרגיל אותך להשתמש הרבה ובחינם, ואז יום אחד כשאתה מתחיל לשלם, אתה פתאום מגלה שיש לך חשבונית של 10,000 דולר בחודש כמו כלום. וזה לא תמיד כולל שימוש במודלים, לפעמים למודלים יש תמחור נפרד של קר…

כן... נשמע מדויק מאוד

05:53
Bar

זה בדיוק ככה
הפואנטה שדיברתי על הקרדיטים היא להראות שאתה לא המוצר ב-free tier (או בקרדיטים)
זה לא ג'ימייל או פייסבוק
זאת דרך לגרום לך להתחיל להשתמש ואחר כך לשלם

05:55
o.n
Eylon
https://x.com/completeskeptic/status/2099925682726002904?s=46

קראתי (מהטלפון) את הפוסט באיקס ואת הבלוג, מאוד לא ברור.. אני חושב שאולי בכוונה זה כתוב לא ברור.
אולי מהמחשב זה יהיה יותר ברור..
מהמר שמדובר על מודל דיפוזיה כלשהו, ולכן הוא לא מחייב על האאוטפוט טוקנז, ומפה גם הדרישה לסכימה של האאוטפוט

06:02
Tomer
Bar
למה אתה לא מנסה את המכונה החינמית באורקל? היא עם 12 ג'יגה זיכרון

חינם בלי אותיות קטנות?

06:02
ofekron89
Shay
המטרה היא להרגיל אותך להשתמש הרבה ובחינם, ואז יום אחד כשאתה מתחיל לשלם, אתה פתאום מגלה שיש לך חשבונית של 10,000 דולר בחודש כמו כלום. וזה לא תמיד כולל שימוש במודלים, לפעמים למודלים יש תמחור נפרד של קר…

לא חושב, אתה היום נמצא איפה שהיית נמצא בהתחלה של האינטרנט, כשהיית מקבל מוצר איטי ומעפן ויקר מאוד. יהיה כל כך הרבה iot וכל כך הרבה דברים מבוססי ai וזה יהיה כל כך מהיר כך שהכל יהיה זורם (כמו שהאינטרנט היום) והעלות של זה תהיה כמו האינטרנט של היום (כמה זה 100 שח בחודש?)

06:04
Bar
Tomer
חינם בלי אותיות קטנות?

חינם באותיות גדולות
הם אומרים איזה מכונה / מכונות אתה יכול וכמה מגבלת סטורג' וזה
אבל הכל נדיב, אני ככה כמה חודשים, לא שילמתי שקל

06:06
ניצן מגדל
o.n
קראתי (מהטלפון) את הפוסט באיקס ואת הבלוג, מאוד לא ברור.. אני חושב שאולי בכוונה זה כתוב לא ברור. אולי מהמחשב זה יהיה יותר ברור.. מהמר שמדובר על מודל דיפוזיה כלשהו, ולכן הוא לא מחייב על האאוטפוט טוקנז, …

האם אני לא טועה שהיה כבר מודלים דומים של GEMMA שעשו דבר דומה ? חישוב מקבילי של מספר תשובות בו זמנית ? diffiusion gemma ?
היה שם ירידה באיכות לפי מה שאני זוכר אצלם. לא כלכך הצלחתי להבין את השוני בצורת החישוב המקיבלית שלהם.

06:09
אבי אמסלם
Tomer
מישהו גם אמר לי על Contabo. זולים בערך פי שניים. זה הגיוני?

אני משתמש בhttps://go.chatlytics.ai/r/2lTjX9X לא זוכר מאיפה קיבלתי המלצה ולדעתי הוא יצא יותר זול מ

06:17
Shay
06:42
R

https://go.chatlytics.ai/r/pdHbhhr
מעניין אבל לא נראה שימושי במיוחד.
פספסתי משהו?

07:37
Michael

llm classifier at scale

נחמד יש מלא יוזקייסים

לא llm, סליחה

11:35
Avishai Tsabari

בעוד כמה שנים נצחק על ה-80 טוקנים לשנייה

כמו שהיה פעם אינטרנט בקו טלפון..

משגר פעולה - בום זה מבוצע

11:49
Michael

האמת שאני לא מרגיש שיש בעיה של throughput

אני יכול לייצר כל כך הרבה קוד, מסמכים, טיקטים, רשומות שאף אחד לא ידע מה לעשות איתם

מבחינתי אולי עדיף שזה אפילו יהיה קצת איטי יותר

11:50
Avishai Tsabari

כרגע אנחנו עדיין צוואר בקבוק

11:50
Michael

אני לא חושב

11:50
Avishai Tsabari

אבל כשלא נהיה יותר צוואר בקבוק

11:51
Michael

אני לא חושב שאנחנו צריכים יותר שיט

11:51
Avishai Tsabari
Michael
מבחינתי אולי עדיף שזה אפילו יהיה קצת איטי יותר

באמת? מדוע?

11:51
Michael

אני חי בעתיד אחי

11:51
Avishai Tsabari

תסביר

11:51
Michael

יש לי אמדשים בכיסים במכנסיים

אני לא צריך עוד slop של llmים

11:52
Avishai Tsabari

ואם זה לא יהיה slop?

הרי ברור שזה יהיה פחות slop לא?

אנחנו רק בתחילת הדרך

אני רוצה שמשהו יקרה, והוא יבנה לבד תוך שהוא בדק את כל המשמעויות בלי טעויות תוך שנייה

11:54
Michael

אני לא חושב שslop הוא בעיה של llmים כי הם llmים, אתה יכול להעלים סלופ גם היום

11:54
shahaf
11:54
Avishai Tsabari

אבל יש לזה עלות

11:54
shahaf

אני גם כבר עייף מאוד מלהגיד למודלים החדשים שהם רק מסתבכים

11:54
Michael

גם אני

please explain the issue and solution in a single sentence

11:54
Avishai Tsabari

אבל זה ייפתר ברור לכם

Michael
please explain the issue and solution in a single sentence

וואוווו מממש!

In a single line

11:55
Michael

אני חושב שזה רק יהיה גרוע יותר

11:55
Avishai Tsabari

קבוע אצלי

Michael
אני חושב שזה רק יהיה גרוע יותר

לא חושב..

11:55
shahaf

אני גם מרגיש שזה הולך ונהיה יותר גרוע

11:55
Michael

כל הllmים היום לא מאומנים כדי שאתה תקרא את הטקסטים שלהם

הם מאומים בrl לחתור למגע

11:55
Avishai Tsabari

אני גם לא אצטרך

שפת קוד נועדה לבני אדם.
מחשב יכול לכתוב בבינארי / אסמבלי

בסוף אני לא צריך לראות מה הוא כתב.

אני צריך שיבצע את זה בצורה רובסטית

ונכונה

11:56
Michael

אני חושב שslop זו בעיה של קונטקסט שהוא לא משותף לך ולמודל, הוא מקבל שם החלטות ממוצעות כי אתה אומר לו ״ברררר מהר יותר״

11:56
Avishai Tsabari

כן אבל אם בבסיס הוא יפלוט יותר טוקנים הוא לא יצטרך להתפשר

בעיני אנחנו עדיין בהתחלה של ההתחלה

11:57
Michael

זה ברור

Avishai Tsabari
כן אבל אם בבסיס הוא יפלוט יותר טוקנים הוא לא יצטרך להתפשר

כן אולי יותר טוקנים יכול לפתור את זה

11:57
Avishai Tsabari

עכשיו הוא יוצר יותר slop והשוק והתחרות תפתור את זה

או שהגדולים יחליטו לשים רגולציה כדי למנוע תחרות

11:58
Michael

כן יש לי מלא יוזקייסים לtypesafe, וכולם מגיעים מזה שהוא מהיר וזול

ראיתי שכבר בונים כאלו על qwen

12:03
Tomer

Jev isn't LLM, it isn't gen ai, it's a decision layer.

12:13
Michael

כן ברור, עקרונית בvector space שיש לך שליטה עליו אתה אמור להיות מסוגל לעשות כזה מעל llm עם log probs

אמנם הסתברויות של טוקנים הם לא הסתברויות של קלאסיפיקציה אבל אתה תקבל משהו בשכונה

12:17
Tomer

הם לא חשפו את הארכיטקטורה, אבל ממה שקראתי ליד והצא׳ט משערך זה לא ממומש כך. גם בסוף זה לא רץ על כל ה-dictionary שלך. זה רץ על סטרקט שאתה מייצר בזמן אמת. אני חושב שפה הכח שלו. יש לו את הכח של LLM עם קלאסיפיקציה שאתה מגדיר ברגע הקריאה.

12:19
Michael

כן מה נקרא tool calling with constrained decoding, לא אומר שזה מה שהם עשו, אבל אני בטוח שמחר יהיו 1000 כאלו בhugging face עם probabilities שמבוססים על הvector space שלך

הם עשו משהו אחר כדי לגרום לinference להיות כל כך זול, זה בטוח לא llm בצד של הdecoding

12:23
Tomer

זה כנראה לא. אני לא הייתי מנוון את זה לזה. מה שאתה אומר זה Rule based מבחינה אלגוריתמית ואני חושב שמה שהם עשו יותר מקביל למימוש אלגוריתמי על מלא אבל באמצעות רשת.

יש לזה הצדקה במלא use cases של decision making בכלל בלי קשר ל-LLM .

12:26
Avishai Tsabari

אם אני מבין נכון, בצורה פשוטה, ל jev יש מוח של פרונטיר. כלומר הוא לא מודל סיווג כמו Bert.
אתה מגדיר את כל סכימות הפלט שאתה מחפש בצורה דטרמניסטית והוא ממלא אותה בצורה מדויקת בלי לפלוט מלא טוקנים לא רלוונטיים.

אבל יכולת ההבנה שלו היא של פרונטיר.

לכן עלות ה output שלו הוא אפס, ויש רק עלות ל input

13:13
Regev
Michael
אמנם הסתברויות של טוקנים הם לא הסתברויות של קלאסיפיקציה אבל אתה תקבל משהו בשכונה

זה לא עובד, אבל אני מניח שאפשר לקחת ללמ ולבנות אימון שיגרום לזה להיות יותר calibrated

13:15
Michael

כן קליברציה

13:16
Regev

מנסיון

13:16
Michael

אם יש לך גישה לvector space

13:16
Regev

הסתברויות של הטוקנים לא calibrated בשיט

פשוט כי confidence זה מונח מאוד בעייתי בשפה גם אם היית רוצה להגדיר את המטריקה הזו

בשונה מהמקרה של predictive models שמתאמנים על סיגנלים שברור בהם נכון ולא נכון, המודל יכול להיות מאוד confident אבל הוא לא הבין בכלל מה אתה מבקש ממנו

ואז גם אם הטוקנים היו calibrated זה שווה ל...

רוב הכשלים של קלסיפיקציה זה בכלל שהיוזר לא יודע להגדיר בצורה ברורה מה הוא רוצה

(אנחנו מתעסקים בבעיה הזו כבר 4 שנים)

וזה מחמיר ככל שאתה בדומיין ספציפי + נותן ליוזר להגדיר סכמה

13:19
Uriel
Avishai Tsabari
אם אני מבין נכון, בצורה פשוטה, ל jev יש מוח של פרונטיר. כלומר הוא לא מודל סיווג כמו Bert. אתה מגדיר את כל סכימות הפלט שאתה מחפש בצורה דטרמניסטית והוא ממלא אותה בצורה מדויקת בלי לפלוט מלא טוקנים לא רל…

עלות output אפס כי זמן/עלות compute עליהם היא מזערית. היום output עולה סדר גודל יותר כי prefill מהיר בסדר גודל או שתים מdecode בגלל שאחד זה batched והשני זה single או במקרה הטוב mtp של כמה

בסוף זה חשבון פשוט של תפוקה לאורך זמן חלקי עלות

13:21
Regev
Avishai Tsabari
אם אני מבין נכון, בצורה פשוטה, ל jev יש מוח של פרונטיר. כלומר הוא לא מודל סיווג כמו Bert. אתה מגדיר את כל סכימות הפלט שאתה מחפש בצורה דטרמניסטית והוא ממלא אותה בצורה מדויקת בלי לפלוט מלא טוקנים לא רל…

מה שתיארת זה בדיוק ברט.. אתה מגדיר קלאסים ומקבל הסתברויות, פשוט עושים טריקים כדי לתת לזה להיות גמיש

13:21
Avishai Tsabari
Avishai Tsabari
אם אני מבין נכון, בצורה פשוטה, ל jev יש מוח של פרונטיר. כלומר הוא לא מודל סיווג כמו Bert. אתה מגדיר את כל סכימות הפלט שאתה מחפש בצורה דטרמניסטית והוא ממלא אותה בצורה מדויקת בלי לפלוט מלא טוקנים לא רל…

נניח יש מייל מלקוח לתמיכה.

אז יש מראש קטגוריות ל-
* נושא שיחה (מוגדרים מראש)
* האם יש איום נטישה (כן / לא)
* רמת דחיפות (1 עד 5).

Jev יודע למלא את זה.

13:22
Regev

עדיין לא קראתי את הבלוג הטכני אגיע לזה בערב אבל אני אופתע אם זה מאוד שונה מדברים כמו gliner gliclass, פשוט אף אחד לא אימן אנקודרים גדולים והם כנראה עשו את זה, מאז ומעולם ידוע שהם הרבה יותר חזקים בtoken level tasks

Avishai Tsabari
נניח יש מייל מלקוח לתמיכה. אז יש מראש קטגוריות ל- * נושא שיחה (מוגדרים מראש) * האם יש איום נטישה (כן / לא) * רמת דחיפות (1 עד 5). Jev יודע למלא את זה.

תן לשני מומחים להחליט האם יש איום נטישה ותקבל אי הסכמה של 20-30%

באופן נאיבי זה נשמע מקסים 🙂

13:23
Avishai Tsabari

העניין הוא ש jev לא פולט טקסט

קראתי

13:23
Regev

גם bert לא פולט טקסט..

13:23
Avishai Tsabari

הוא פולט תשובות לפי סכימה מוגדרת

Regev
גם bert לא פולט טקסט..

נכון

13:23
Regev

ואפשר גם לקחת qwen ולא לתת לו לפלוט טקסט ועדיין להשתמש בlogits של כל טוקן בסכמה שכתבת מראש

בסגנון של speculative decodding, תכתוב את כל האופציות ותחשב הסתברויות לכל אחד מהרצפים

13:24
Avishai Tsabari

אבל bert לא יכול לסווג 10 נושאים.. לרוב יאומן למשימה בודדת אלא אם אתה משרשר

13:24
Regev

זה יהיה יחסית זול לסרוק מרחב של אופציות

ממש לא נכון

יכול גם יכול

13:24
Avishai Tsabari

פה הם נותנים מובנה.

לא הייתי מזלזל במה ש jev מביא..

נשמע מעניין בכל אופן

Avishai Tsabari
https://typesafe.ai/blog/introducing-system-one-models-and-jev

@107684007252205
@144646630064147
קרא את זה ואת ההתכתבויות האחרונות בנושא וההבדל בין זה ל LLM רגיל ולמודל כמו Bert

13:26
בישי בוט

‏קראתי. TL;DR של הבלוג + איפה זה נופל בדיון שלכם:
‏
‏🔷 מה Jev
‏מחלקת מודלים חדשה ("System One") מ-TypeSafe (דיוגו אלמיידה, לשעבר OpenAI/InstructGPT). לא אוטורגרסיבי — פולט את כל הסכימה במקביל בשאילתה אחת. אין מחרוזות בכלל, רק טיפוסים עם הסתברויות. קלט $0.042/MTok, פלט חינם, 70-500ms.
‏
‏🔷 מול LLM רגיל
‏זה בדיוק ההבדל שאוריאל תיאר: אין decode סדרתי, רק prefill + ראש פלט מקבילי. מכאן ה-40x-200x. גם אפס type errors — לא by training אלא מתמטית, המרחב מוגדר מראש.
‏
‏🔷 מול BERT — רגב צודק חלקית
‏המכניקה אכן משפחת אנקודרים/GLiNER. שני הבדלים אמיתיים: (1) סקייל — אנקודר בגודל פרונטיר, מה שבאמת אף אחד לא עשה; (2) RLCD — RL על קליברציה, לא על preference או verifiable reward. זה הטיעון המרכזי שלהם.
‏
‏🔷 לגבי הקליברציה
‏הם לא טוענים שהלוג'יטים מכוילים "מעצמם" — הם אימנו על זה ישירות. אבל ה-eval שלהם משווה לממוצע הסתברויות של Astra+Fable, לא ל-ground truth. כלומר הבנצ'מרק מודד הסכמה עם מודלים גדולים, לא צדק. הבעיה שרגב העלה — ששני מומחים לא מסכימים על "איום נטישה" ב-20-30% — לא נפתרת פה, היא רק מועברת למודל הרפרנס.
‏
‏✅ ההימור: מהירות ומחיר אמיתיים ומוכחים. הקליברציה — צריך לראות בשטח.
‏
‏(responded in 40s)

13:26
AntAgent

‏קראתי את הפוסט ואת ההתכתבות. בעיניי, הוויכוח פה הוא פחות על “האם אפשר להחזיר JSON במקום טקסט” — את זה אפשר לעשות גם עם BERT וגם עם LLM רגיל — ויותר על מה המודל אופטם לעשות, ומהו ממשק הפלט הבסיסי שלו.

ההשוואה בקצרה:

- LLM רגיל: מקבל טקסט ומייצר רצף טוקנים, אחד אחרי השני. אפשר לבקש ממנו להחזיר JSON או תשובות מתוך סכימה, אבל בפועל הוא עדיין מייצר מחרוזת שצריך לפרסר ולאמת. הוא יכול לטעות בסכמה, להוסיף טקסט, או להיות לא עקבי בהסתברויות שלו.
- BERT / encoder: לא מייצר טקסט אוטורגרסיבי. הוא קורא את כל הקלט במקביל ומפיק ייצוגים. מעליו אפשר להוסיף ראשי סיווג, למשל “נושא”, “דחיפות”, “נטישה”. לכן הטענה ש-BERT חייב להיות מאומן למשימה אחת אינה מדויקת: אפשר לעשות multi-task או multi-label, עם כמה ראשים. אבל בדרך כלל צריך להגדיר מראש את הראשים, הקטגוריות והאובייקטיב של כל משימה.
- Jev / System One: לפי התיאור, זה מודל שנבנה מלכתחילה כדי לקבל state לא-מובנה ולהחזיר ערכים מובנים, טיפוסיים והסתברותיים, כאשר השאלות והאפשרויות מוגדרות כחלק מה-query. הוא לא “כותב תשובה שנראית כמו JSON”; הפלט שלו הוא API מובנה שהמודל לא יכול לחרוג מהטיפוס שלו.

כלומר, בדוגמה של מייל תמיכה אפשר לבקש מ-Jev בבת אחת:

text
{
topic: ...,
churn_risk: ...,
urgency: ...
}

וכל שדה יכול להחזיר גם הסתברויות/ביטחון. זה מתאים ישירות ל-routing או ל-`if` בקוד, בלי להפעיל parser על טקסט.

החידוש הנטען של TypeSafe הוא בשלושה רבדים:

1. אדריכלות ודגימה – במקום decode סדרתי של טוקנים, הם טוענים שכל ההחלטות המוגדרות מוחזרות במקביל. זה מסביר את יתרון ה-latency, במיוחד כשיש הרבה שאלות בלתי־תלויות.
2. אימון למטרה אחרת – LLM רגיל מאומן להפיק טקסט שבני אדם מעדיפים; Jev מאומן ל-“calibrated decisions”: שההסתברות 80% באמת תהיה נכונה בערך 80% מהמקרים.
3. ממשק type-safe – האפשרויות החוקיות מוגדרות מראש ולכן אין type errors. אבל חשוב לדייק: זה לא אומר שאין טעויות סמנטיות. Jev עדיין יכול להחליט לא נכון אם המייל עמום; הוא פשוט לא יחזיר ערך שאינו חוקי בסכמה.

לכן רגב צודק בנקודה העקרונית: אפשר לקחת Qwen או מודל אחר, להגדיר מראש את כל האפשרויות, להשתמש ב-logits או constrained decoding, ולא להציג טקסט בכלל. ואפשר גם לעשות זאת עם BERT, GLiNER או מודל classification ייעודי.

אבל זה עדיין לא בהכרח הופך אותם ל-Jev. השאלות החשובות הן:

- האם המודל אומן מראש לעבוד עם סכימות דינמיות והרבה החלטות שונות?
- האם ההסתברויות שלו calibrated או רק softmax שנראה כמו confidence?
- האם הוא מחזיר את כל ההחלטות באמת במקביל, או שעושים decoding/סריקה של רצפים אפשריים?
- האם הוא שומר על איכות של מודל frontier במשימות שלא אומנו כ-classifier ספציפי?
- האם היעילות נשמרת גם כשיש סכימה גדולה ושאלות תלויות זו בזו?

הבדל חשוב נוסף: BERT קלאסי בדרך כלל מחזיר embedding או logits על output head קבוע. Jev, לפי הפוסט, אמור לקבל שאלות/אפשרויות כחלק מהקלט ולהיות יותר “פונקציית החלטה כללית” — מעין מודל foundation שממפה:

text
unstructured state + typed questions
→ typed probabilistic decisions

אז הניסוח הכי הוגן הוא:

> Jev לא ממציא את עצם הרעיון של סיווג, logits או structured output. החידוש הוא ניסיון להפוך את זה ליכולת foundation כללית, calibrated ויעילה מאוד, במקום לחבר לכל משימה classifier נפרד או לעטוף LLM גנרטיבי ב-parser.

ובעניין “לא פולט טקסט”: גם BERT לא פולט טקסט, ולכן זו לבדה לא הבחנה. ההבחנה היא ש-Jev מתיימר להיות ממשק החלטות מובנה וגמיש, עם כמה סוגי שאלות באותה קריאה, הסתברויות מכוילות ובלי עלות decode סדרתי. את הטענות על היעילות והכלליות עדיין צריך לבדוק מחוץ לדוגמאות ול-evals שהחברה בחרה להציג.

13:27
Regev

https://go.chatlytics.ai/r/Fyt7Lay

Introducing GLiNER2.5: Efficient Span-Free Information Extraction with Schema-Driven InterfaceA new boundary-prediction architecture replaces span enumeration, adding joint entity-relation extraction, constrained classification, and u

אם אני צריך לנחש בלי לקרוא כלום - עשו אנקודר בגודל כמה עשרות מיליארדים של פרמטרים בסקייל גדול + אימון שהlogits יהיו calibrated + משהו בסגנון ^ בשביל סכמות

יש פה הרבה עבודה לא טריויאלית

13:28
Avishai Tsabari
Regev
אם אני צריך לנחש בלי לקרוא כלום - עשו אנקודר בגודל כמה עשרות מיליארדים של פרמטרים בסקייל גדול + אימון שהlogits יהיו calibrated + משהו בסגנון ^ בשביל סכמות

זה אני מסכים

13:28
Regev

אין פה שום דבר ״groundbreaking״ זה לחבר כמה רעיונות בצורה נכונה (שזה קשה בפני עצמו don't get me wrong)

13:28
o.n
Michael
please explain the issue and solution in a single sentence

התחלת להיות מנומס איתם?
Are you scared NOW? 😉

13:28
Regev

אבל יש כבר עבודות יפות של להפוך דקודר לencoder אחרי אימון - אז יש מצב שאפשר לשחזר משהו דומה בהתבסס על qwen 3.8 27b עם קצת עבודה חכמה

13:29
Avishai Tsabari
Regev
אין פה שום דבר ״groundbreaking״ זה לחבר כמה רעיונות בצורה נכונה (שזה קשה בפני עצמו don't get me wrong)

מסכים

כך או כך, יש לזה הרבה מאד שימושים.

13:30
Regev

You are preaching to the quire

זה הליבה של מה שאנחנו פותרים כבר 4 שנים

יש לזה מיליארד שימושים, העולם לא מתחיל להבין

13:31
Avishai Tsabari

בעוד כמה שנים נגיד איזה מטומטמים היינו בקיצור

או שאתה צוחק עלינו כבר עכשיו @132401057505440

13:31
Regev

בתור סטארטאפ שהיה שמח שהעולם יבין... זה לא עוזר לי שהוא לא מבין

אז יותר בוכה מצוחק 🙂

אבל הבעיה האמיתית שהם ייתקלו בה ישר זה שלרוב היוז קייסים זה פשוט לא יעבוד out of the box, בדיוק כמו שfrontier models ממש טובים בלעשות 80 במשימות האלה ולא טובים ב95

(הם גם מאוד יקרים אבל במציאות זאת בעיה מסדר שני)

אבל ננסה את זה בטוח, מעניין כמה טוב זה עובד 🙂

13:34
Michael
o.n
התחלת להיות מנומס איתם? Are you scared NOW? 😉

חח אני אריץ dev rage מתישהו ואבדוק את הטרנד

Regev
אין פה שום דבר ״groundbreaking״ זה לחבר כמה רעיונות בצורה נכונה (שזה קשה בפני עצמו don't get me wrong)

אין רעיונות חדשים בעולם, זה הכל מחזור של רעיונות קיימים בסידורים שונים ודומיינים שונים

14:06
· +3 short messages

Tags