Top-k to technika filtrowania stosowana w modelach językowych oraz architekturach Mixture of Experts, która polega na ograniczeniu wyboru do k najbardziej prawdopodobnych opcji. W procesie generowania tekstu pozwala to na odrzucenie mniej istotnych tokenów, co zwiększa spójność wypowiedzi, natomiast w modelach rzadkich służy do aktywowania jedynie wybranych, najlepiej dopasowanych ekspertów dla danego zadania.
Źródło: medium.com
