seekinganythingbutalpha
@ivanalog_com
Focus on 1) Technology and Dividend Blended 2) Drawdown protection. Check highlights and articles. No investment advice.
Now building ModelDock
Joined October 2011
772 Following 17.2K Followers
大家一定要试试 Strata，流式输送加 CPU、GPU 协同，家用电脑 Prefill 轻松 1000 tps。
你想想，1600 tps 都比 API 快了，家用电脑能有这 2200 tps，还要啥自行车？
反正这 3000 tps 我先用着，你们慢慢考虑。
Show more
我的strata fork 主要是在上游的基础上，进一步微调数据传输提升Prefill，目前int8 KV在我的电脑上可以达到~3000 tps prefill， 65 decode。
Claude诚不我欺也。
（我的电脑decode目前受限于内存带宽，提升空间非常有限，必须要换内存）
Show more
