Transformerは RNNのような順番に処理する構造を持たず、全単語を同時に見る Self-Attentionは「単語同士の関係はわかるが、順番はわからない」 例：「犬が猫を追いかける」と「猫が犬を追いかける」 Self-Attentionだけでは、どっちの主語か区別できない 2. 解決策 ...

日々、ChatGPTをはじめとするLLMと対話を続けています。 最近、生成AIブームのきっかけとなったTransformerアーキテクチャについて改めて考える中で、ふと「Transformerのマルチヘッドアテンションも重要だが、ポジショナルエンコーディングも同じくらい重要な ...

ChatGPTなどの自然な会話が可能なチャットAIのベースとなっている大規模言語モデルは、Googleが開発した機械学習アーキテクチャ「Transformer」を採用しています。そんなTransformerが文脈に沿った自然な文章を出力する仕組みについて、AI専門家のLuis Serrano氏が ...

Transformerは「Tokenization(トークン化)」「Embedding(埋め込み)」「Positional encoding(位置エンコーディング)」「Transformer block ...