seekinganythingbutalpha
@ivanalog_com
Focus on 1) Technology and Dividend Blended 2) Drawdown protection. Check highlights and articles. No investment advice.
Now building ModelDock
Joined October 2011
772 Following 17.2K Followers
我的strata fork 主要是在上游的基础上，进一步微调数据传输提升Prefill，目前int8 KV在我的电脑上可以达到~3000 tps prefill， 65 decode。
Claude诚不我欺也。
（我的电脑decode目前受限于内存带宽，提升空间非常有限，必须要换内存）
Show more
昨天Opus5.5说我的十年老硬件+新卡的硬件上限是 2500/60 （X370 Ryzen 5900 5070 Ti 64GB ram）
今天它自己优化到了2746/68，比官方上游快60%/10%。
根据它的计算，如果内存改善（我的内存跑在2133上），还有20-30%的改善空间。
Architectds/strata
Show more
