バッチ正則化が進化しました。【コラム】#011

こんにちは！こーたろーです。


毎日忙しくしています。


しかしながら、ブログで技術的なことを発信するのは結構リラックスできて、続けられそうな気がします。


今日のテーマはコチラです。


ai-scholar.tech




機械学習の基本としては、バッチ正則化・ドロップアウト・活性化関数を用いることが多いですが、バッチ正則化は広く使われているものであります。


一方で、バッチ正則化については、欠点もあります。


その点をこちらの記事ではこのように説明されています。

かなり高価な操作であること、さらに悪いことに、学習例間の独立性を壊してしまいます。また、推論中のモデル性能と学習中のモデル性能の間に不一致が生じる可能性があり、隠れた追加のハイパーパラメータを学習する必要があります。

そのため、バッチ正則化を使わない手法というのがあれば、技術が一歩進んだことになります。


「NF-ResNets」と呼ばれるものを使用しています。


画像認識のタスクにおいて、こちらを用いることで、精度向上を達成し、優れた特徴を保持しているということが結論づけられています。


記事に詳細なモデルの説明・理論的な部分が記載されていますので、一読してみてください。




ではでは。

直感 Deep Learning ―Python×Kerasでアイデアを形にするレシピ