Late Chunking to nowoczesna technika podziału dokumentów stosowana w systemach RAG, która odwraca tradycyjną kolejność przetwarzania danych poprzez osadzenie całego tekstu przed jego segmentacją. Dzięki wykorzystaniu modeli o długim oknie kontekstowym, metoda ta pozwala na wygenerowanie wektorów dla poszczególnych fragmentów, które zachowują informacje o ich otoczeniu i relacjach semantycznych w skali całego dokumentu. W efekcie uzyskane fragmenty są znacznie bogatsze merytorycznie i lepiej oddają znaczenie tekstu, co prowadzi do wyższej precyzji wyszukiwania informacji oraz lepszej jakości generowanych odpowiedzi. Jest to szczególnie skuteczne rozwiązanie w przypadku długich tekstów, gdzie tradycyjny podział często powoduje utratę kluczowego kontekstu między sąsiednimi blokami danych.
Late Chunking (technika podziału dokumentów) (Late Chunking)
Reklama
