ViViに2年ぶりに登場させて頂きました。 こちらは新MGが撮った写真でございます。 皆さんチェックしてくれたかな？←ちゃんと過去形。笑 #載せるの遅くてもいいよって皆さんに言って頂き感謝しかございません# #最近SNSを見る機会が減ってしまいまして# #更新率悪くてすみません# 🙇‍♀️

最近のイベントでみんなから貰った 素敵なプレゼント達〜🎁❤️‍🔥❤️‍🔥 （載せるの遅くなってごめんね🥲） 全部大切に使っております！ありがとう さて！今日もお仕事頑張るぞ〜〜〜💪

載せるのがだいぶ遅くなってしまいましたが、C89もいっぱいいっぱいの良い頂き物をたっくさん頂き、本ッ当にありがとうございましたぁっ！ 会場でもお昼ご飯や飲み物やお菓子などのお差し入れを頂きましてっ。 私の嬉しさもいっぱいさね！

だいぶ載せるの遅くなっちゃったけど、いつもお世話になってる共立美容外科で顔のレーザー脱毛、ハイドラフェイシャル、グリシルグリシンイオン導入やってもらいました❤️ はぁこれから夏焼けたくない…😭

TL;DR トークン単位でモデルを切り替えるルーティングは理論上おいしいのに、既存のサービング基盤に載せると遅くなる。その構造的な問題を専用ランタイムで解いた論文です。NeurIPS 2026採択。 タイトル: TokenRouter: Efficient Serving System for Token-Level LLM Routing URL: ポイント 🎯 R2Rは32Bの品質を保ちながら32Bに送るのは全トークンの5%。クエリ単位だと約40%で、細かい粒度の旨味は大きいです 🧱 ところがvLLMやSGLangは全リクエストがステップ同期する前提。遅いモデルを毎ステップ待ち、切り替えのたびにバッチが断片化します ✍️ 開発者はroute・send・receiveの3関数で「1リクエストがどう流れるか」だけ書き、非同期化はランタイムが担当します 🔀 モデルごとに独立したサブサーバを立て、クライアント・デコーディング・モデル間の3ループを分離。KVキャッシュを保ったまま受け渡します ⏳ 到着即実行ではなく閾値までバッファしてから起動。待ちすぎるとSLMが飢えるので、最適値を離散時間マルコフ連鎖から解析的に導きます 📈 15通りのアルゴリズム×ワークロードすべてで改善し、スループットは2.01〜64.15倍 🧪 出力を2,048から8,192トークンに伸ばしても性能が横ばい。標準実装はここでスループットの58〜85%を失います ただし効果の幅は広く、Co-LLMとR-Stitchでは32B単体のほうが速いままです。常に勝てる銀の弾丸ではない点は押さえておきたいところです。 #LLM# #推論基盤#

おふぁんちあ更新しました！ 画質良すぎて載せれなくて、サイズ変換するのに遅くなっちゃった🥺 みんなだいすき〇〇〇ーｼョンです！✨✨✨ どうかも載せる！