ReLU (Rectified Linear Unit) to jedna z najpopularniejszych funkcji aktywacji stosowanych w sztucznych sieciach neuronowych. Działa ona w sposób nieliniowy, zwracając wartość zero dla wszystkich ujemnych sygnałów wejściowych oraz samą wartość wejściową dla sygnałów dodatnich. Prosta konstrukcja matematyczna sprawia, że jest niezwykle wydajna pod względem obliczeniowym i znacznie przyspiesza proces uczenia modelu. Ponadto pomaga ograniczyć problem zanikającego gradientu, co umożliwia skuteczne trenowanie bardzo głębokich sieci.
Źródło: github.com
