AI・機械学習 活性化関数GELUを理解する GELU(Gaussian Error Linear Units)は、OpenAI GPTやBERTで使われている活性化関数(activation)です。 BERTの論文で出てきても、「何かしらの活性化関数を使ってるんだなー」、とか... 2020.09.04 AI・機械学習画像認識自然言語処理