Streszczenie AI
Współpraca NVIDIA i AI4Bharat w ramach projektu Nemotron‑pretraining‑Indic‑v1 zbudowała 2,8‑bilionowy korpus syntetycznych danych dla 22 języków indyjskich, wykorzystując potoki GPU i akcelerowane przepływy NeMo Data Designer, które po automatycznej weryfikacji i „samonaprawie” dostarczyły ponad 438 mln tokenów wysokiej jakości. Próbowało się tę bazę w dalszym pre‑trainingu modelu Nemotron 3.5 Super VL, co przyniosło wzrost wyników we wszystkich benchmarkach wiedzy i rozumienia języków indyjskich, w tym lepsze oceny zero‑shot na testach rangą wirtualnego świadomości (IndiVibe). Autorzy podkreślają jednak, że generowane teksty, choć technicznie bogate, nie zastępują natywnych treści kulturowych, dlatego zalecany jest ich połączenie z wyselekcjonowanymi, naturalnymi dokumentami.
Spis treści:
- Problem asymetrii danych w modelach wielojęzycznych
- Struktura korpusu i obsługa skryptów pisma
- Dwuścieżkowy potok przetwarzania i samonaprawa danych
- Wyniki empiryczne: Walidacja na modelu Nemotron 3.5 Super VL
- Praktyczne wdrożenie i integracja w ekosystemie deweloperskim
- Ograniczenia i dobre praktyki inżynieryjne
- Źródła
Współpraca badawcza między firmą NVIDIA a ośrodkiem AI4Bharat przy indyjskim instytucie IIT Madras zaowocowała publikacją Nemotron-pretraining-Indic-v1 – syntetycznego korpusu pretreningowego liczącego około 2,8 biliona tokenów dla 22 oficjalnych języków Indii. Projekt ten demonstruje usystematyzowane przejście od prostego scrapowania sieci w stronę generowania danych syntetycznych wysokiej jakości za pomocą akcelerowanych potoków GPU. Oprócz samego zbioru danych udostępniono pełny silnik orkiestracji oparty na frameworku NeMo Data Designer, co umożliwia społeczności inżynierów powtarzanie procedury na własnych zbiorach dokumentów.
Problem asymetrii danych w modelach wielojęzycznych
Podstawową barierą rozwoju modeli językowych dla języków indyjskich – którymi posługuje się łącznie niemal 1,2 miliarda ludzi (około 97% populacji Indii według spisu powszechnego) – jest zjawisko określane w literaturze jako niedobór danych wysokiej jakości (data scarcity). Zdecydowana większość powszechnie dostępnych w sieci tekstów w tych językach cierpi na niski poziom merytoryczny, redundancję, brak specjalistycznego słownictwa technicznego oraz wysoki poziom zaszumienia. Próby trenowania modeli wyłącznie na naturalnych korpusach pozyskanych z sieci często skutkują gorszą reprezentacją pojęć matematycznych, logiki programistycznej czy precyzyjnych nauk ścisłych.
Inżynierowie z NVIDIA i AI4Bharat zdecydowali się rozwiązać ten problem poprzez kontrolowaną syntezę danych: przetłumaczenie i adaptację 15 wyselekcjonowanych podzbiorów korpusu Nemotron-CC-v2 (obejmujących treści webowe, zbiory pytań i odpowiedzi, kod źródłowy oraz matematykę) na 22 języki. W ten sposób wiedza techniczna zawarta w dokumentach anglojęzycznych została bezpośrednio przetransferowana do języków lokalnych przy jednoczesnym zachowaniu pełnej identyfikowalności (provenance tracking) – każdy wygenerowany rekord posiada jednoznaczny identyfikator dokumentu źródłowego.
„Podstawowy problem polega na tym, że technologia dla języków indyjskich pozostaje w tyle za angielskim, ponieważ nie dysponujemy wystarczającą ilością danych wysokiej jakości dla tych języków”.
Zespół badawczy NVIDIA i AI4Bharat
Struktura korpusu i obsługa skryptów pisma
Korpus nie ogranicza się wyłącznie do tradycyjnych alfabetów indyjskich. Projekt uwzględnia rzeczywiste nawyki użytkowników internetu w Azji Południowej, gdzie powszechnym zjawiskiem jest zapis fonetyczny w alfabecie łacińskim (romanizacja). W efekcie przygotowano 34 unikalne konfiguracje język-pismo:
- 22 języki w pismach rodzimych: łącznie ok. 2,6 biliona tokenów (dokładnie 2601,0 mld tokenów, m.in. dewanagari, bengalski, tamilski, telugu, kannada, gudźaracki, gurmukhi).
- 12 języków w zapisie zromanizowanym (alfabet łaciński): 224,6 miliarda tokenów (dla języków: bengalski, gudźaracki, hindi, kannada, malajalam, marathi, nepalski, odia, pendżabski, tamilski, telugu oraz urdu).
Liczby tokenów wyliczono przy użyciu tokenizera Gemma-4. Warto zwrócić uwagę na rozróżnienie metodologiczne: zapis zromanizowany nie jest tłumaczeniem na język angielski, lecz tekstem w danym języku indyjskim zapisanym fonetycznie alfabetem łacińskim. Zapewnienie ekspozycji na oba warianty pisma pozwala modelom radzić sobie ze zjawiskiem code-mixing oraz nieformalnymi zapytaniami użytkowników.
Dwuścieżkowy potok przetwarzania i samonaprawa danych
W celu wygenerowania korpusu opracowano architekturę potoku opartą na bibliotece NeMo Data Designer. Zamiast prostego tłumaczenia maszynowego zastosowano wieloetapowy proces uwzględniający walidację metryczną i zautomatyzowaną korektę błędów. Z uwagi na zróżnicowaną złożoność lingwistyczną i stabilność modeli generatywnych potok podzielono na dwa osobne przepływy pracy:
Cecha potoku | Grupa 12 języków głównych | Grupa 10 języków o niższych zasobach |
|---|---|---|
| Objęte języki | Bengalski, gudźaracki, hindi, kannada, malajalam, marathi, nepalski, odia, pendżabski, tamilski, telugu, urdu. | Asamski, bodo, dogri, kaszmirski, konkani, maithili, manipuri, sanskryt, santali, sindhi. |
| Model tłumaczący | Gemma-4-31B-it (tłumaczenie całych dokumentów z zachowaniem bloków kodu i formuł). | Indic Translate (model tłumaczeniowy 8B opracowany przez Bodhan AI). |
| Ocena jakości (Judge) | Gemma-4-31B-it w oparciu o rubrykę inspirowaną standardem Multidimensional Quality Metrics (MQM). | Gemma-4-31B-it oceniająca spójność i poprawność względem dokumentu źródłowego. |
| Próg akceptacji | Minimum 75/100 punktów w zdefiniowanej rubryce jakościowej. | Minimum 75/100 punktów w zdefiniowanej rubryce jakościowej. |
| Mechanizm naprawy (Repair) | Iteracyjna naprawa na bazie informacji zwrotnej (odzyskano 438,4 mld tokenów). | Brak pętli samonaprawy; filtracja jednoprzebiegowa, segmentacja okienkowa (santali) i transliteracja pisma (manipuri). |
| Warianty pisma | Pismo natywne oraz dedykowany etap transliteracji do alfabetu łacińskiego. | Wyłącznie pismo natywne. |
Kluczowym elementem w grupie 12 języków jest faza zautomatyzowanej naprawy (targeted repair). Rekordy, które w pierwszym przebiegu uzyskały ocenę poniżej 75 punktów, nie były od razu odrzucane. Model oceniający generował ustrukturyzowaną informację zwrotną (wskazującą np. pominięcia treści, nieprzetłumaczone fragmenty lub uszkodzone bloki kodu), po czym model tłumaczący dokonywał korekty tekstu. Sam ten mechanizm pozwolił odzyskać i włączyć do korpusu aż 438,4 miliarda pełnowartościowych tokenów.
Wyniki empiryczne: Walidacja na modelu Nemotron 3.5 Super VL
Aby zweryfikować użyteczność tak wygenerowanych danych, zespół przeprowadził eksperyment z etapem kontynuowanego pretrenowania (Continued Pretraining – CPT) na modelu Nemotron 3.5 Super VL. W budżecie 100 miliardów tokenów wydzielono 10% (10 miliardów tokenów) na mieszankę danych indyjskich – łącząc dane syntetyczne z naturalnymi tekstami – podczas gdy pozostałe 90% stanowiło proporcjonalną bazę z wcześniejszych etapów treningowych.
Porównanie checkpointów bezpośrednio przed i po fazie CPT wykazało wzrost wyników we wszystkich raportowanych benchmarkach wiedzy i rozumowania dla języków indyjskich:
- MILU (Massive Indic Language Understanding): wzrost zdolności rozumienia języka i wiedzy domenowej.
- Indic MMLU-Pro: poprawa w zaawansowanym wielozadaniowym wnioskowaniu.
- Indic ARC-Challenge oraz ARC-Easy: znaczący progres w testach rozumowania naukowego.
- Indic GSM8K: zauważalny wzrost precyzji w wieloetapowych zadaniach matematycznych.
- Ogólny zysk: przyrosty punktowe na poszczególnych benchmarkach wahały się w przedziale od 4,98 do 9,82 punktu procentowego.
Dodatkowo model po pełnym procesie post-trainingu osiągnął wyższe noty w teście IndiVibe (benchmarku firmy Sarvam AI), badającym płynność wypowiedzi, wierność zapisowi w odpowiednim alfabecie, użyteczność oraz naturalną długość odpowiedzi asystenta.
Praktyczne wdrożenie i integracja w ekosystemie deweloperskim
Wdrożenie korpusu i powiązanych narzędzi przynosi bezpośrednie korzyści inżynierom budującym wielojęzyczne systemy sztucznej inteligencji. Zbiór zorganizowano według standardowych oznaczeń BCP-47, łączących kod języka, pismo oraz region (np. hi-Deva-IN dla hindi w alfabecie dewanagari czy hi-Latn-IN dla hindi w zapisie łacińskim).
Dzięki integracji ze strumieniowaniem w bibliotece Hugging Face Datasets zespoły inżynieryjne mogą dokonywać inspekcji danych i profilowania tokenizatorów bez konieczności pobierania wieloterabajtowego wolumenu na lokalne macierze dyskowe:
from datasets import load_dataset, get_dataset_split_names
dataset_id = "nvidia/Nemotron-pretraining-Indic-v1"
config_name = "hi-Deva-IN"
splits = get_dataset_split_names(dataset_id, config_name=config_name)
dataset = load_dataset(dataset_id, name=config_name, split=splits, streaming=True)
# Pobranie pojedynczego rekordu do analizy struktury
sample = next(iter(dataset))
print(sample)Z punktu widzenia architektury danych korpus ten otwiera trzy główne scenariusze zastosowań produkcyjnych:
- Projektowanie mieszanek treningowych (Data Blending): Dane syntetyczne doskonale uzupełniają niedobory w obszarze nauk ścisłych, kodu i matematyki, podczas gdy naturalny tekst w języku lokalnym zachowuje niuanse kulturowe i wiedzę regionalną. Eksperymenty sugerują, że alokacja rzędu 10% budżetu CPT na zbalansowaną mieszankę syntetyczno-naturalną pozwala podnieść kompetencje językowe modelu bez degradacji pierwotnych zdolności w języku angielskim.
- Adaptacja domenowa za pomocą wtyczki Nemotron Bharat: Udostępnienie wtyczki dla NeMo Data Designer pozwala przedsiębiorstwom na konwersję własnych, zamkniętych baz wiedzy (np. dokumentacji technicznej, procedur bankowych, systemów prawnych) na języki lokalne przy jednoczesnym egzekwowaniu reguł nienaruszalności formatowania, tabel, znaczników kodu i linków URL.
- Rygorystyczna ewaluacja w oparciu o Indic-LLM-Eval-Suite: Równolegle rozwijany pakiet ewaluacyjny zintegrowany z NVIDIA NeMo-Gym udostępnia zrewidowane i oczyszczone wersje testów (m.in. MILU-1.5, IndicIFEval-1.5 oraz Indic-SWE-bench), co pozwala na precyzyjną weryfikację modeli pod kątem halucynacji i degradacji składniowej.
Ograniczenia i dobre praktyki inżynieryjne
Twórcy projektu zwracają uwagę na istotne ograniczenia generowania danych syntetycznych. Tłumaczenie tekstów z języka angielskiego – nawet realizowane z zachowaniem najwyższych progów jakościowych MQM – nie zastąpi treści tworzonych natywnie przez rodzimych użytkowników danego języka. Nie odzwierciedla ono w pełni lokalnego kontekstu społeczno-kulturowego i idiomatyki. Ponadto w grupie 12 języków ten sam model pełnił funkcję translatora i arbitra (oceniającego), co może wprowadzać systematyczne błędy poznawcze (model self-bias). Dlatego najlepszą praktyką inżynieryjną pozostaje traktowanie syntetycznych korpusów jako bazy dla wiedzy techniczno-rozumowej i łączenie ich z wyselekcjonowanymi, naturalnymi zbiorami tekstów.
