うみゆき@AI研究
@umiyuki_ai
ジェネレーティブAIを研究してAIアニメキャラを錬成します。
本垢は@_darger
Discord「ジェネレーティブAI友の会」
Joined October 2022
61 Following 65.1K Followers
GoogleによるSKILL.stateとかいうテクでLLMの入力トークン量が94%減らせるとかいう研究。普通はLLMはチャット履歴とかを全部コンテキストとして持ち続けるけどSKILL.stateではコンテキスト履歴を捨てて現在の状態(state)だけを持つという。状態ってのはゲームで言うとセーブデータみたいなもん。ドラクエとかでゲームプレイ操作履歴を全部保存しなくても現在のHPやレベルとかの状態だけ保存すりゃ再開できる。じゃけんSKILL.stateでも全履歴を持たずに現在の状態だけ保持する。具体的にはLLMは応答するたびについでにJSON辞書の状態を追加、変更、削除して次の応答ができるような最新状態にアプデする。次の応答ではコンテキストの代わりにこの状態だけが入力されるという寸法らしい。へ～、コンテキストは削減できるだろうけどKVキャッシュは効かなくなるね
Show more
