Chunking to proces dzielenia dużych zbiorów danych lub długich tekstów na mniejsze, łatwiejsze do przetworzenia fragmenty, zwane chunkami. Metoda ta jest kluczowa w systemach AI i RAG, ponieważ pozwala modelom językowym na efektywniejsze przeszukiwanie informacji oraz lepsze zrozumienie kontekstu przy zachowaniu limitów tokenów.
Źródło: geeksforgeeks.org
