Tokenizacja to proces dzielenia ciągu tekstu na mniejsze jednostki, zwane tokenami, takimi jak słowa, fragmenty wyrazów lub znaki, co pozwala modelom językowym na analizę i przetwarzanie danych. W szerszym kontekście technologicznym oznacza również zastępowanie wrażliwych danych, np. numerów kart płatniczych, unikalnymi identyfikatorami w celu zwiększenia bezpieczeństwa lub cyfrowe odwzorowanie praw do aktywów na blockchainie.
Źródło: commint.pl
