אולי סתם spill to disk על ssd
אולי סתם spill to disk על ssd
מה אכפת להם לזרוק את זה לאיזה דיסק ושישב שם, גם כמה אתה כבר צריך? כמה אלפי petabyteים?
בגלל זה מניות איחסון עולות
השאלה אם השליפה מהדיסק לא משפיעה על המהירות בצורה משמעותית
בקונטקסט ארוך
ברור שכן, אתה עושה load balancing על memory mapped files לדברים שהם בhotpath
ואז אתה עושה אלגוריתם decay או פופולריות על המנגנון הזה
יכול להיות שהם בדקו זמן תגובה ממוצע/חציוני ומקרי קצה והבינו שמשתמשים עונים אחרים הרבה זמן
רואים שמישהו עובד על 15 סשנים, מתאימים לו ספציפית ניהול kv cache 🤷🏾
כנראה ש90% מהסשנים לעולם לא חוזרים אליהם אולי אפילו יותר, עליהם אתה יכול לעשות פרדיקציה (נגיד אם זה subagent אז כנראה לא חוזרים לזה לעולם וכו) ואז על ה10% שכן חוזרים אתה עושה אוסף היוריסטיקות
אז אותם אתה יכול לשים על דיסק ולא אכפת לך כמה זמן יקח למשוך את זה חזרה עד גבול מסויים
מעניין מה שאתה אומר
כרגיל 😂
אבל אני סתם מנחש, מה הם כבר יכלו לעשות? זה לא שיש להם בעיה חדשה בעולם, זו בערך הבעיה הכי ישנה שיש
או שבכלל ההמשך לא מבוסס caching במובן הישן והם בולעים את העלות וזהו