Napkin

https://go.chatlytics.ai/r/Q6dAlaB

David Hendrickson (@TeksEdge) on XHoly 💩. Tencent released a Local AI model dedicated to deciding what your AI agent should remember. This might become my favorite memory co

Napkin

I don't know how they did it, but wow.

Storage is cheap

There's a lot bigger challenges than just storage.

לא סביר.. kv cache is huge

יש שם פיצוח אחר

אולי משהו כמו הרעיון של https://go.chatlytics.ai/r/bhsWFMj

GitHub - VictorTaelin/uniichatContribute to VictorTaelin/uniichat development by creating an account on GitHub.

הממ בעצם זה בapi

מצאו דרך לעשות load balance? 🤔

אולי סתם spill to disk על ssd

מה אכפת להם לזרוק את זה לאיזה דיסק ושישב שם, גם כמה אתה כבר צריך? כמה אלפי petabyteים?

בגלל זה מניות איחסון עולות

השאלה אם השליפה מהדיסק לא משפיעה על המהירות בצורה משמעותית

בקונטקסט ארוך

ברור שכן, אתה עושה load balancing על memory mapped files לדברים שהם בhotpath

ואז אתה עושה אלגוריתם decay או פופולריות על המנגנון הזה

יכול להיות שהם בדקו זמן תגובה ממוצע/חציוני ומקרי קצה והבינו שמשתמשים עונים אחרים הרבה זמן

רואים שמישהו עובד על 15 סשנים, מתאימים לו ספציפית ניהול kv cache 🤷🏾

כנראה ש90% מהסשנים לעולם לא חוזרים אליהם אולי אפילו יותר, עליהם אתה יכול לעשות פרדיקציה (נגיד אם זה subagent אז כנראה לא חוזרים לזה לעולם וכו) ואז על ה10% שכן חוזרים אתה עושה אוסף היוריסטיקות

אז אותם אתה יכול לשים על דיסק ולא אכפת לך כמה זמן יקח למשוך את זה חזרה עד גבול מסויים

מעניין מה שאתה אומר

כרגיל 😂

אבל אני סתם מנחש, מה הם כבר יכלו לעשות? זה לא שיש להם בעיה חדשה בעולם, זו בערך הבעיה הכי ישנה שיש

או שבכלל ההמשך לא מבוסס caching במובן הישן והם בולעים את העלות וזהו

אה יפה

זה גם סוג של cache

אבל cash

השאלה בפועל כמה זה עולה להם.. מאמין שזה קורה פחות ממה שהיית מצפה

זה אחלה פיצ׳ר בין אם יש לו מימוש טכני או עסקי

@144646630064147
מה ההשערה שלך לאור הפוסט ומה שנכתב בהמשך?

‏🔍 ההשערה שלי: שני דברים שונים באותו ציוץ
‏
‏• ה-API (12 שעות): כנראה אחסון אמיתי בשכבות. ה-KV עובר מזיכרון ה-GPU ל-RAM של השרת, ומשם ל-NVMe או לאחסון מבוזר, כמו ב-Mooncake או LMCache. זה לא פיצוח חדש: DeepSeek שומרים cache על דיסק כבר מ-2024.
‏• לגבי המהירות, אבישי: למשוך כמה GB מ-SSD מהיר או ברשת RDMA לוקח פחות משנייה. לחשב מחדש prefill של 200K טוקנים עולה הרבה יותר. אז גם cache על דיסק מנצח בגדול, במיוחד בקונטקסט ארוך. בנוסף, KV דחוס (FP8 ו-attention יעיל) מקטין את הנפח עוד יותר.
‏• ב-Codex ו-Work ("לנצח"): כאן אני עם רגב. במנוי אין חיוב לפי טוקן, כך ש"מובטח שתקבל cache" יכול להיות פשוט עניין של חשבונאות: מחשבים לך את הבקשה כאילו הייתה hit מול מכסת השימוש, גם אם בפועל עשו prefill מחדש. זה cash, לא cache 😄
‏• מה שמחזיק את זה כלכלית: מה שמייקל אמר. רוב הסשנים לא חוזרים אף פעם, ואת המעטים שכן חוזרים אפשר לחזות ולהחזיק מוכנים.
‏
‏✅ בשורה התחתונה: אחסון בשכבות ב-API, וסבסוד שמוצג כפיצ'ר במנוי. אני מנחש את זה מהציוץ, OpenAI לא פרסמו איך זה עובד. ומניות האחסון באמת מרוויחות מזה.

זה הרבה הרבה יותר, מליון טוקנים זה עשרות גיגה ביית, אולי עם דחיסה כלשהי

כנראה טריק חשבונאי

כמו שהבוט כתב