Per-Layer Embeddings (PLE) to innowacyjna architektura stosowana w modelach takich jak Gemma 4, która wprowadza oddzielne macierze osadzeń dla każdej warstwy dekodera zamiast pojedynczej macierzy na wejściu. Pozwala to na wstrzykiwanie specyficznych dla danej warstwy sygnałów rezydualnych, co znacząco poprawia jakość reprezentacji semantycznej i efektywność pamięciową poprzez możliwość przeniesienia części parametrów do pamięci RAM lub na dysk. Dzięki temu rozwiązaniu mniejsze modele mogą osiągać wyższą precyzję odpowiedzi bez konieczności ładowania wszystkich parametrów do ograniczonej pamięci akceleratora (VRAM).
📖 Dowiedz się więcej w kontekście:
Reklama
