論文名 Prajit Ramachandran, Barret Zoph, Quoc V. Le: Swish: a Self-Gated Activation Function, arXiv:1710.05941 [cs.NE], 20171016. [1710.05941] Searching for Activation Functions どんなもの？ 現在主流のReLUに替わる、という簡易な活性化関数を…

※ 10月27日にVersion2が出ていたので、続編書きました。 upura.hatenablog.com追記以上 ーーーGoogle Brainが10月16日に公開した、深層のニューラルネットワークの画像分類・機械翻訳タスクでReLUを上回る性能を示したという活性化関数「Swish」をPythonで描…