活性化関数

GELU(Gaussian Error Linear Units)は、OpenAI GPTやBERTで使われている活性化関数(activation)です。 BERTの論文で出てきても、「何かしらの活性化関数を使ってるんだなー」、とか...