ABBELとは？LLMの要約を「信念状態」で監督し長時間タスクを効率化するBerkeleyの新手法を解説
UC BerkeleyのBAIRが、LLMの自己要約を自然言語の「信念状態（belief state）」として監督する枠組みABBELを発表しました。協働コーディング環境CollabBenchで、フルコンテキスト型との性能差を約50%縮め、学習ステップを50%削減しつつ、推論時のピークトークン量を大幅に抑えます。
#コンテキスト圧縮 の記事一覧（2）
入力トークンを16分の1に圧縮、推論速度8.8倍——NYUら6機関がLLM新アーキテクチャ「LCLM」をオープンソース公開
NYU・コロンビア大学・プリンストン大学・メリーランド大学・ハーバード大学・ローレンス・リバモア国立研究所の共同研究チームが開発した「Latent Context Language Models（LCLM）」は、LLMの入力トークン列をデコーダー処理前に最大16分の1へ圧縮し、KVキャッシュ手法と比較して出力速度を8.8倍向上させた。16倍圧縮時でもRULERベンチマークで75.06%の精度を維持し、検証済みの全KVキャッシュ手法を上回る結果を出した。