HeartCodec to zaawansowany tokenizer muzyczny o niskiej częstotliwości klatek (12,5 Hz), będący kluczowym komponentem frameworku HeartLib. Przekształca on sygnały audio w kompaktowe, dyskretne tokeny, co znacząco skraca długość sekwencji i pozwala na wydajniejsze modelowanie muzyki przez duże modele językowe. Architektura ta skutecznie łączy zachowanie długofalowej struktury muzycznej z precyzyjnymi detalami akustycznymi, zapewniając wysoką jakość rekonstrukcji dźwięku. Dzięki swojej efektywności HeartCodec umożliwia generowanie długich form muzycznych przy optymalnym wykorzystaniu zasobów obliczeniowych.
Źródło: emergentmind.com
