> ## Content Index
> Fetch the complete content index at: https://agentic-engineering.chatlytics.blog/llms.txt
> Use this file to discover other available public pages before exploring further.

# Napkin
- URL: https://agentic-engineering.chatlytics.blog/t3ec5771f/
- Published: 2026-10-22T05:24:29.000Z
- Updated: 2026-10-22T05:24:29.000Z
- Description: Napkin
- Author: Omer Nesher
- Tags: SJ, p-shay, Dor Kleiman, Regev, Avishai Tsabari, Michael, בישי בוט, Uriel

2😮×2

2026-10-21

SJ

[https://go.chatlytics.ai/r/Q6dAlaB](https://go.chatlytics.ai/r/Q6dAlaB?ref=agentic-engineering.chatlytics.blog)

[David Hendrickson (@TeksEdge) on XHoly 💩. Tencent released a Local AI model dedicated to deciding what your AI agent should remember. This might become my favorite memory co ![](https://pbs.twimg.com/media/HUwwUaIbkAEzsQr?format=webp&name=large)](https://go.chatlytics.ai/r/XyosqzX?ref=agentic-engineering.chatlytics.blog) 

SJ

https://x.com/teksedge/status/2111132564710990044?s=46

Napkin

05:08

Shay

I don't know how they did it, but wow.

![](https://api.lextrove.com/m/HTrGvjHETfWmipicZmDc4qchMIcXAkI8vKlBt5cfzPgAAAAAawEqtQAAAACp9E1iMwTIVOp6Scff4eqi_3QdFrTXwu8TQ2NVU-lI8Q)

08:09

Dor Kleiman

Shay

I don't know how they did it, but wow.

Storage is cheap

08:19

Shay

There's a lot bigger challenges than just storage.

08:20

Regev

לא סביר.. kv cache is huge

יש שם פיצוח אחר

אולי משהו כמו הרעיון של [https://go.chatlytics.ai/r/bhsWFMj](https://go.chatlytics.ai/r/bhsWFMj?ref=agentic-engineering.chatlytics.blog)

[GitHub - VictorTaelin/uniichatContribute to VictorTaelin/uniichat development by creating an account on GitHub. ![](https://opengraph.githubassets.com/11413d3ff2ede1e5c50eb45204e82caba5af7e3fe5a7b96fcbd8a7c3068562ab/VictorTaelin/uniichat)](https://go.chatlytics.ai/r/UKSRWvw?ref=agentic-engineering.chatlytics.blog) 

הממ בעצם זה בapi

08:22

Avishai Tsabari

Regev

יש שם פיצוח אחר

מצאו דרך לעשות load balance? 🤔

08:56

Michael

אולי סתם spill to disk על ssd

מה אכפת להם לזרוק את זה לאיזה דיסק ושישב שם, גם כמה אתה כבר צריך? כמה אלפי petabyteים?

08:59

Avishai Tsabari

בגלל זה מניות איחסון עולות

השאלה אם השליפה מהדיסק לא משפיעה על המהירות בצורה משמעותית

בקונטקסט ארוך

09:00

Michael

ברור שכן, אתה עושה load balancing על memory mapped files לדברים שהם בhotpath

ואז אתה עושה אלגוריתם decay או פופולריות על המנגנון הזה

09:01

Avishai Tsabari

יכול להיות שהם בדקו זמן תגובה ממוצע/חציוני ומקרי קצה והבינו שמשתמשים עונים אחרים הרבה זמן

רואים שמישהו עובד על 15 סשנים, מתאימים לו ספציפית ניהול kv cache 🤷🏾

09:02

Michael

כנראה ש90% מהסשנים לעולם לא חוזרים אליהם אולי אפילו יותר, עליהם אתה יכול לעשות פרדיקציה (נגיד אם זה subagent אז כנראה לא חוזרים לזה לעולם וכו) ואז על ה10% שכן חוזרים אתה עושה אוסף היוריסטיקות

אז אותם אתה יכול לשים על דיסק ולא אכפת לך כמה זמן יקח למשוך את זה חזרה עד גבול מסויים

09:05

Avishai Tsabari

מעניין מה שאתה אומר

כרגיל 😂

09:06

Michael

אבל אני סתם מנחש, מה הם כבר יכלו לעשות? זה לא שיש להם בעיה חדשה בעולם, זו בערך הבעיה הכי ישנה שיש

09:08

Regev

או שבכלל ההמשך לא מבוסס caching במובן הישן והם בולעים את העלות וזהו

09:21

Michael

אה יפה

זה גם סוג של cache

אבל cash

09:23

Regev

השאלה בפועל כמה זה עולה להם.. מאמין שזה קורה פחות ממה שהיית מצפה

09:24

Michael

זה אחלה פיצ׳ר בין אם יש לו מימוש טכני או עסקי

09:25

Avishai Tsabari

Shay

I don't know how they did it, but wow.

@144646630064147   
מה ההשערה שלך לאור הפוסט ומה שנכתב בהמשך?

09:28

בישי בוט

‏🔍 **ההשערה שלי: שני דברים שונים באותו ציוץ**  
‏  
‏• **ה-API (12 שעות):** כנראה אחסון אמיתי בשכבות. ה-KV עובר מזיכרון ה-GPU ל-RAM של השרת, ומשם ל-NVMe או לאחסון מבוזר, כמו ב-Mooncake או LMCache. זה לא פיצוח חדש: DeepSeek שומרים cache על דיסק כבר מ-2024.  
‏• **לגבי המהירות, אבישי:** למשוך כמה GB מ-SSD מהיר או ברשת RDMA לוקח פחות משנייה. לחשב מחדש prefill של 200K טוקנים עולה הרבה יותר. אז גם cache על דיסק מנצח בגדול, במיוחד בקונטקסט ארוך. בנוסף, KV דחוס (FP8 ו-attention יעיל) מקטין את הנפח עוד יותר.  
‏• **ב-Codex ו-Work ("לנצח"):** כאן אני עם רגב. במנוי אין חיוב לפי טוקן, כך ש"מובטח שתקבל cache" יכול להיות פשוט עניין של חשבונאות: מחשבים לך את הבקשה כאילו הייתה hit מול מכסת השימוש, גם אם בפועל עשו prefill מחדש. זה cash, לא cache 😄  
‏• **מה שמחזיק את זה כלכלית:** מה שמייקל אמר. רוב הסשנים לא חוזרים אף פעם, ואת המעטים שכן חוזרים אפשר לחזות ולהחזיק מוכנים.  
‏  
‏✅ בשורה התחתונה: אחסון בשכבות ב-API, וסבסוד שמוצג כפיצ'ר במנוי. אני מנחש את זה מהציוץ, OpenAI לא פרסמו איך זה עובד. ומניות האחסון באמת מרוויחות מזה.

09:29

Uriel

Michael

אולי סתם spill to disk על ssd

זה הרבה הרבה יותר, מליון טוקנים זה עשרות גיגה ביית, אולי עם דחיסה כלשהי

כנראה טריק חשבונאי

כמו שהבוט כתב

12:37

· +1 short messages