Streszczenie AI
HeartLib to otwartoźródłowy ekosystem modeli sztucznej inteligencji do pracy z muzyką, łączący w sobie m.in. wyrównywanie audio-tekstu, tokenizację muzyki oraz generację piosenek pod kontrolą użytkownika. Jego kluczowe moduły, takie jak HeartMuLa (generator piosenek) czy HeartCodec (tokenizer muzyczny), umożliwiają precyzyjną kontrolę nad stylami, tekstami czy strukturą utworów, przy zachowaniu wysokiej jakości przy niskich wymaganiach obliczeniowych.
Projekt wyróżnia się skalowalnością (np. model HeartMuLa-oss-3B) oraz wsparciem dla wielojęzyczności, oferując alternatywę dla zamkniętych platform. Wraz z HeartMuLa Studio (otwartoźródłowym narzędziem do edycji muzyki) i dostępnością na GitHubie, HeartLib staje się narzędziem dla naukowców, twórców i deweloperów.
Wstęp techniczny
HeartLib to zespół otwarto-źródłowych modeli fundamentalnych (foundation models) dedykowanych do przetwarzania, zrozumienia i generowania muzyki. Projekt stanowi kompleksowe rozwiązanie dla pracowników naukowych i twórców, którzy chcą pracować z muzyczną sztuczną inteligencją bez ograniczeń zamkniętych platform. HeartLib wprowadza ujednolicony ekosystem obejmujący wyrównywanie audio-tekstu, tokenizację muzyki, rozpoznawanie tekstów piosenek oraz kontrolowalną generację muzyki.
Architektura i komponenty główne
Framework HeartLib składa się z czterech kluczowych modułów, każdy odpowiadający innym aspektom przetwarzania muzyki:
- HeartCLAP – model wyrównywania audio-tekstu, który uczy się wspólnej przestrzeni osadzenia dla semantyki muzycznej. Umożliwia precyzyjne tagowanie muzyki i wyszukiwanie międzymodalne, stanowiąc fundament dla zadań generacyjnych.
- HeartCodec – innowacyjny tokenizer kodeka muzyki o niskiej częstotliwości klatek (12,5 Hz) przy zachowaniu wysokiej wierności. Oddaje długodystansową strukturę muzyczną, jednocześnie zachowując drobiazgowe szczegóły akustyczne umożliwiające efektywne modelowanie autoregresywne.
- HeartTranscriptor – zaawansowany model rozpoznawania tekstów piosenek zoptymalizowany do rzeczywistych scenariuszy muzycznych, oporny na szumy i zniekształcenia charakterystyczne dla produkcji muzycznej.
- HeartMuLa – generator piosenek oparty na modelach językowych (LLM), zdolny do syntetyzowania wysokowiernościowej muzyki pod kontrolą użytkownika. Obsługuje elastyczne wejścia, w tym opisy stylów, szczegółowe teksty i audio referencyjne, oferując precyzyjną kontrolę nad atrybutami muzycznymi takimi jak gatunek, nastrój i rytm.
Innowacyjne rozwiązania techniczne
HeartCodec wyróżnia się nowatorskim podejściem do tokenizacji muzyki. Tradycyjne kodeki muzyczne muszą wybierać między wysoką wierności a efektywną pracą z długimi sekwencjami. HeartCodec rozwiązuje ten dylemat, osiągając wysoką ekspresyjność przy niskiej częstotliwości klatek. Architektura hierarchiczna HeartMuLa dekomponuje proces modelowania na dwa etapy: transformator globalny, który modeluje zależności pomiędzy ramkami, oraz transformator lokalny predykujący pozostałe tokeny w ramach każdej ramki. Takie podejście umożliwia zarówno wydajne, jak i skalowalne modelowanie długich sekwencji muzycznych.
Model obsługuje mechanizm warunkowania oparty na tekstach piosenek opatrzonych markerami strukturalnymi takimi jak [intro], [verse] czy [chorus]. Markery te kierują modelem w identyfikowaniu i zachowywaniu struktury piosenki, co prowadzi do generacji bardziej spójnych i logicznych muzycznie kompozycji.
Skala i wydajność
HeartMuLa-oss-3B, wersja trójmiliardowa modelu, demonstruje niezwykłe rezultaty. Po raz pierwszy pokazano, że system na poziomie komercyjnym (porównywalny z platformą Suno) można odtworzyć przy użyciu danych akademickich i zasobów GPU dostępnych dla naukowców. Model obsługuje wielojęzyczność, pozwalając na generowanie piosenek w angielskim, hindzie, bengalskim, chińskim i innych językach.
Praktyczne zastosowania i ekosystem
HeartLib znajduje zastosowanie w kilku domenach. Naukowcy mogą wykorzystywać framework do badań nad modelami muzyki i uczenia maszynowego. Twórcy muzyki mogą eksploatować kontrolowalną generację do prototypowania i wstępnej produkcji. Deweloperzy mogą budować aplikacje z wykorzystaniem otwarto-źródłowych komponentów bez zależności od zamkniętych API.
Ekosystem rozszerzył się także o HeartMuLa Studio – aplikację pełnostakową z interfejsem użytkownika React, backendem FastAPI i wsparciem dla lokalnego uruchamiania modeli. Studio oferuje doświadczenie podobne do Suno, ale całkowicie otwarto-źródłowe, z możliwościami tailoringu głosu za pomocą LoRA oraz wsparciu dla wielogpuowych ustawień.
Dostępność i integracja
HeartLib dostępny jest na GitHubie oraz poprzez Hugging Face Model Hub. Instalacja wymaga podstawowej konfiguracji Pythona, a wstępne przykłady znajdują się w repozytorium projektu. Uniwersalne modelowanie, zaufanie do otwarto-źródłowych danych treningowych i niskie wymagania obliczeniowe w stosunku do możliwości czynią projekt dostępnym dla szerokiego grona użytkowników, od naukowców do hobbystów.
Źródła
- HeartMuLa/heartlib – Oficjalne repozytorium GitHub
- HeartMuLa – Strona demonstracyjna projektu
- HeartMuLa-oss-3B – Model na Hugging Face
- HeartMuLa: A Family of Open Sourced Music Foundation Models – Publikacja naukowa
- HeartMuLa Studio – Aplikacja z interfejsem graficznym
