seekinganythingbutalpha
@ivanalog_com
Focus on 1) Technology and Dividend Blended 2) Drawdown protection. Check highlights and articles. No investment advice.
Now building ModelDock
加入 October 2011
772 正在關注 17.2K 粉絲
我的strata fork 主要是在上游的基础上，进一步微调数据传输提升Prefill，目前int8 KV在我的电脑上可以达到~3000 tps prefill， 65 decode。
Claude诚不我欺也。
（我的电脑decode目前受限于内存带宽，提升空间非常有限，必须要换内存）
顯示更多
昨天Opus5.5说我的十年老硬件+新卡的硬件上限是 2500/60 （X370 Ryzen 5900 5070 Ti 64GB ram）
今天它自己优化到了2746/68，比官方上游快60%/10%。
根据它的计算，如果内存改善（我的内存跑在2133上），还有20-30%的改善空间。
Architectds/strata
顯示更多
