Połączenia rezydualne, znane również jako skip connections, to technika stosowana w głębokich sieciach neuronowych polegająca na pomijaniu jednej lub kilku warstw i przekazywaniu sygnału bezpośrednio dalej. Rozwiązanie to pozwala na efektywne przepływanie gradientów podczas procesu wstecznej propagacji, co zapobiega problemowi ich zanikania. Dzięki temu możliwe jest skuteczne trenowanie bardzo głębokich architektur, takich jak ResNet, bez spadku wydajności modelu. W praktyce sieć uczy się jedynie rezyduum, czyli różnicy między wejściem a wyjściem, co znacząco ułatwia proces optymalizacji.
Źródło: github.com
