seekinganythingbutalpha
@ivanalog_com
Focus on 1) Technology and Dividend Blended 2) Drawdown protection. Check highlights and articles. No investment advice.
Now building ModelDock
가입 October 2011
772 팔로잉 중 17.2K 팬
大家一定要试试 Strata，流式输送加 CPU、GPU 协同，家用电脑 Prefill 轻松 1000 tps。
你想想，1600 tps 都比 API 快了，家用电脑能有这 2200 tps，还要啥自行车？
反正这 3000 tps 我先用着，你们慢慢考虑。
더 보기
我的strata fork 主要是在上游的基础上，进一步微调数据传输提升Prefill，目前int8 KV在我的电脑上可以达到~3000 tps prefill， 65 decode。
Claude诚不我欺也。
（我的电脑decode目前受限于内存带宽，提升空间非常有限，必须要换内存）
더 보기
