Top-p sampling, znane również jako nucleus sampling, to technika stosowana w generowaniu tekstu przez modele językowe, polegająca na dynamicznym doborze zbioru najbardziej prawdopodobnych kolejnych słów. Zamiast rozważać cały słownik lub stałą liczbę słów, algorytm wybiera najmniej liczny zbiór tokenów, których skumulowane prawdopodobieństwo osiąga założony próg p. Pozwala to na uniknięcie generowania powtarzalnych odpowiedzi, a jednocześnie ogranicza ryzyko pojawienia się słów niepasujących do kontekstu. Dzięki temu wygenerowany tekst jest bardziej naturalny, różnorodny i spójny logicznie.
Źródło: arxiv.org
