登録して招待リンクを共有すると、動画再生報酬と紹介報酬を獲得できます。

Itaru Tomita / 冨田到
@itarutomy
リサーチや研究開発向けの生成AIエージェント @snorbe_ai を作っています。 @deskrex | 著書 かんき出版『知的生産でAIを使いこなす全技法』 
参加 January 2018
388 フォロー中    2.8K ファン
英国でAI推論(学習済みのモデルを動かして答えを出す処理)専用のチップを開発するFractileが、シリーズCで7.2億米ドルを調達しました( Capital、Founders Fund、Lightspeed Venture Partners、Redpointで、英国政府のSovereign AI Venture FundやBritish Business Bank、AlphabetのCapitalGも参加しています。英国政府の発表では、ラウンドは5億英ポンド超、評価額は50億英ポンド超。Financial TimesとReutersは評価額を70億米ドルと伝えています。CEOのWalter Goodwinは、この資金で来年に最初のチップとシステムを出荷すると書いており、ブリストルの拠点も広げる予定です。 扱うのは、AIが答えを出すまでの待ち時間です。LLM(大規模言語モデル)は何段階もの処理を経て出力を作り、1段階ごとに結果をチップの外にあるHBM(高帯域メモリ)へ送り、次の段階でまた読み戻します。この往復が推論を遅くします。大きなモデルに長い作業を連続でこなさせるエージェント的な使い方が広がり、速度を落とさずに回したいという要求が強まったことで、この制約が目立つようになりました。 Fractileの答えは、一般的なDRAMを各チップの真上に積み重ねる設計です。メモリを演算回路のすぐ上に置けばデータの移動距離が短くなり、速度が上がって電力も減ります。Cerebrasはチップ上に大容量のSRAM(高速だが高価で容量が限られるメモリ)を載せていますが、FractileはDRAMを使うことで、速さと容量のどちらかを諦める構図を避けようとしています。チップだけでなく、LLMを自社チップで速く動かすための機械学習コンパイラ(モデルをチップ向けに変換するソフト)まで含めて開発しており、ラック単位のシステムとして出荷する計画です。 英国政府にとっては、AIの土台になるハードウェアを国内に持つという産業政策の意味もあります。エージェントが長い作業を自律的にこなすようになるほど、モデルの賢さだけでなく出力の速さが、AIに任せられる仕事の範囲を決めていくのかもしれません。
もっと見る