Sieć typu feed-forward (FFN) to rodzaj architektury neuronowej, w której informacje przepływają wyłącznie w jednym kierunku – od warstwy wejściowej, przez ewentualne warstwy ukryte, aż do wyjściowej, bez pętli sprzężenia zwrotnego. W modelach typu Transformer warstwa ta działa niezależnie dla każdego tokenu, stosując sekwencyjne przekształcenia liniowe i nieliniowe funkcje aktywacji w celu zwiększenia zdolności reprezentacyjnej sieci.
📖 Dowiedz się więcej w kontekście:
Reklama
