AudioNet to specjalistyczny moduł sieciowy w architekturach multimodalnych (np. w modelu HunyuanCustom z Tencent), wykorzystujący hierarchiczne uwarstwienie i cross-attention przestrzenne, aby integrować dźwięk z generacją wideo lub analizą multimodalną. Moduł ten umożliwia precyzyjne mapowanie sygnałów audio na ruchy i ekspresje wizualne, np. w aplikacjach takich jak synchroniczne avatary śpiewające, wirtualni prezenterzy czy deepfake’owe scenariusze z lip-synciem. Kluczowym zadaniem AudioNet jest zachowanie spójności tożsamości użytkownika przy jednoczesnym przetwarzaniu warunków audio-wizualnych.
Źródło: renewableai.org
