YaRN (Yet Another RoPE Extension) to zaawansowana technika służąca do rozszerzania okna kontekstowego w dużych modelach językowych. Pozwala ona modelom na przetwarzanie znacznie dłuższego tekstu, sięgającego nawet do jednego miliona tokenów, przy zachowaniu wysokiej wydajności. Metoda ta modyfikuje kodowanie pozycji rotacyjnych (RoPE), minimalizując utratę jakości i potrzeby ponownego, kosztownego trenowania. Dzięki YaRN modele mogą sprawnie analizować bardzo długie dokumenty bez utraty spójności wypowiedzi.
YaRN – context window extension technique (up to 1 M tokens) (YaRN)
