Density and Score Transformer (DiScoFormer)

Density and Score Transformer (DiScoFormer) to uniwersalna architektura typu Transformer służąca do jednoczesnej estymacji gęstości prawdopodobieństwa i funkcji wyniku (score function) bezpośrednio z próbek danych. Model ten wykorzystuje mechanizm uwagi (attention) jako uogólnienie klasycznej estymacji jądrowej (KDE), co pozwala na lepsze skalowanie w wysokich wymiarach i eliminację konieczności ponownego trenowania dla nowych rozkładów. Dzięki współdzieleniu parametrów i zastosowaniu funkcji straty spójności, DiScoFormer oferuje wysoką precyzję oraz zdolność do uogólniania wiedzy na dane spoza rozkładu treningowego. Jest on wykorzystywany jako gotowe narzędzie (plug-in) w zadaniach takich jak modelowanie generatywne, wnioskowanie bayesowskie czy symulacje fizyczne.