Mixture-of-Experts (MoE) to architektura uczenia maszynowego, która dzieli złożone zadania na mniejsze podmodele zwane ekspertami, z których każdy specjalizuje się w innym rodzaju danych. Zamiast aktywować całą sieć dla każdego zapytania, inteligentny mechanizm bramkujący (gating network) dynamicznie wybiera tylko najbardziej odpowiednich ekspertów do przetworzenia konkretnego fragmentu informacji. Pozwala to na budowanie modeli o ogromnej liczbie parametrów przy jednoczesnym zachowaniu wysokiej wydajności i niższych kosztów obliczeniowych podczas wnioskowania.
📖 Dowiedz się więcej w kontekście:
Reklama
