Document Loader to kluczowy komponent systemu RAG, który odpowiada za automatyczne pobieranie i wczytywanie zewnętrznych dokumentów z różnych formatów, takich jak PDF, DOCX czy bazy danych. Jego głównym zadaniem jest ekstrakcja surowego tekstu wraz z metadanymi i przekształcenie ich w ustrukturyzowaną formę gotową do dalszego przetwarzania. Załadowane w ten sposób dane mogą być następnie dzielone na mniejsze fragmenty i przekazywane do modeli embeddingowych w celu zapisania w bazie wektorowej. Stanowi on fundamentalny, pierwszy krok w procesie zasilania potoków AI wiedzą pochodzącą z własnych źródeł organizacji.
Źródło: geeksforgeeks.org
