CUDAの代替を狙うInfinityとは？「どんなチップでもAIを動かす」カーネル自動生成の狙いを解説
AIインフラ企業Infinityが評価額1億ドルで1500万ドルを調達しました。Nvidia依存の要であるCUDAに代わり、SRAM・GPU・スマホチップ・Systolic Arrayなど「あらゆるチップ」でAIモデルを動かす低レベルソフト（カーネル）をAIエージェントで自動生成するのが狙いです。
#推論最適化 の記事一覧（2）
KVキャッシュとは？LLM推論を高速化する仕組みをPyTorch実装で解説
LLMの推論コストを左右する「KVキャッシュ」の役割と実装方法を、PyTorchベースのGPTモデル改修例で示した解説記事が公開されました。MultiHeadAttentionへのバッファ追加とposition管理だけで、トークン生成のたびに過去系列を再計算する無駄を解消できます。