DeepLearningで使用される学習機(Optimaizer)が新しく発表されました。
名前は「AdaBelief」でAdamとMomentamSDGのいいとこどりをしたようなものだそうです。
ざっくりとした説明としては
より正確な学習率を求めることで、より早く学習が進み、より汎化性能も出るよというものです。
数回分の誤差が小さい場合、誤差に対する更新量の割合を増やし、
逆に数回分の誤差が大きい場合は、誤差に対する更新量の割合を増やし。
この数回分を考慮するというのがキモのようです。
モデルを変えずに精度が上がるかもしれないのは、開発者としては非常にありがたい話です。
