大規模言語モデルクイズ上級

Question 1

GPT系の大規模言語モデルがテキストを生成する際の基本的な仕組みとして最も正確な説明はどれでしょうか？

Accepted Answer

過去のトークン列をもとに、次に来る確率が最も高いトークンを順次予測して生成する

Question 2

TransformerのMulti-Head Attention（マルチヘッドアテンション）が複数のヘッドを使用する主な理由は何でしょうか？

Accepted Answer

異なるヘッドが異なる種類の関係性（文法的、意味的など）を同時に学習できるため

Question 3

単語埋め込み（Word Embedding）の特徴として正しいものはどれでしょうか？

Accepted Answer

意味的に似た単語同士がベクトル空間上で近い位置に配置される

Question 4

大規模言語モデルの事前学習における「マスク言語モデル（Masked Language Model）」の学習方法として正しいものはどれでしょうか？

Accepted Answer

入力文の一部の単語を隠し（マスクし）、その隠された単語を予測させる

Question 5

TransformerがRNN（再帰型ニューラルネットワーク）と比較して優れている点として最も重要なものはどれでしょうか？

Accepted Answer

入力を並列処理できるため、学習時間を大幅に短縮できる