seekinganythingbutalpha
@ivanalog_com
Focus on 1) Technology and Dividend Blended 2) Drawdown protection. Check highlights and articles. No investment advice.
Now building ModelDock
参加 October 2011
772 フォロー中 17.2K ファン
大家一定要试试 Strata，流式输送加 CPU、GPU 协同，家用电脑 Prefill 轻松 1000 tps。
你想想，1600 tps 都比 API 快了，家用电脑能有这 2200 tps，还要啥自行车？
反正这 3000 tps 我先用着，你们慢慢考虑。
もっと見る
我的strata fork 主要是在上游的基础上，进一步微调数据传输提升Prefill，目前int8 KV在我的电脑上可以达到~3000 tps prefill， 65 decode。
Claude诚不我欺也。
（我的电脑decode目前受限于内存带宽，提升空间非常有限，必须要换内存）
もっと見る
