過去Noteをまとめたものです。 シストリックアレイ( Systolic array )とは、行列乗算を効率的に行うための演算器アレイです。大手IT企業のAI半導体、NPUなどで使用されています。 では、趣味レベルで自作してみよう。 ブロック図 シストリックアレイの概念図は ...

GPUを作ってみようから始まる話。 GPUの設計コードを見て最初に分かったこと、「GPUは大量のメモリアクセスがキモ」。実際に自分で設計して、GPUを動かすCUDAもどきのコードを時こうしてDeepLeaningを動かすところまでやりましたが、NeuralNetworkの計算では ...

Python is convenient and flexible, yet notably slower than other languages for raw computational speed. The Python ecosystem has compensated with tools that make crunching numbers at scale in Python ...

Composable transformations of Python+NumPy programs: differentiate, vectorize, JIT to GPU/TPU, and more - jax/docs/array_refs.md at main · jax-ml/jax ...