가입 후 초대 링크를 공유하면 동영상 재생 및 초대 보상을 받을 수 있습니다.

铁柱
@TiezhuCrypto
研究员,Crypto/美股/A股,长期跟踪美联储,宏观研究者。
가입 May 2022
2K 팔로잉 중    36.8K 팬
完全赞同。 所有我将继续持有intc以及美光。chatbot吃的是HBM,但是agent的问题在于,你问一个问题,可能要调用几十次模型。 这带来的问题就是数据的中间态明显变多,比如说搜索结果、缓存、图片、历史对话、邮件之类的东西。根本没必要放在hbm或者dram里面。 这些数据属于中间态,或者叫温数据都会下沉到SSD,包括数据中心里面,由于其他的瓶颈太多,比如电力、空间,那么就会变成单位机架能容纳多少TB、每瓦能带来多少的带宽。 另外有一个反直觉的事实,就是即便agent便宜,效率高了,反而Nand的需求会更大,因为调用更多,带来的就是中间态的数据量更为爆炸。
더 보기
CPU和NAND都会缺死的 本来每台device需要的资源,变成了agent需求。agent调用都要用CPU的