Large language models (LLMs) aren’t actually giant computer brains. Instead, they are massive vector spaces in which the probabilities of tokens occurring in a specific order is encoded. Billions of ...

これまでローカルPCでは、ビデオカードのVRAM(ビデオメモリ)容量の関係から本連載で試せたのは34Bクラスまでだった。ところが最近、遅くなるものの、不足分はメインメモリを使って補うことによって、104BクラスのCommand R+が動くようになったので、2つの ...

上海AIラボ/上海人工知能研究所、清華大学、香港大学、ハルビン工業大学、北京理工大学、香港科技大学（広州）からなる ...

Enterprise AI applications that handle large documents or long-horizon tasks face a severe memory bottleneck. As the context grows longer, so does the KV cache, the area where the model’s working ...

Microsoft は、オープンソースの Python ライブラリ「AutoGen」で大規模言語モデル（LLM）アプリケーションフレームワークの競争に加わった。 Microsoft の説明によると、AutoGen は LLM ワークフローのオーケストレーション、最適化、自動化を簡素化する ...

AIの本体と言える大規模言語モデル(LLM)のトレーニングはほとんどの場合PyTorchやPythonを使用して行われていますが、そうしたトレーニングを純粋なC言語のみで実装したツール「llm.c」が登場しました。まだ最適化が行われておらず従来の手法に速度面では ...

しかし、上記のように出力を構造化したとしても、出力結果の制約を全て満たすわけではなく、 「⁠LLMをアプリケーションに型安全に組み込める」 とは限りません。実際の開発においては以下のようなケースに遭遇し、修正のためのコードを書くという ...