Dywergencja Kullbacka-Leiblera (KL) to miara statystyczna określająca różnicę między dwoma rozkładami prawdopodobieństwa w tej samej przestrzeni zdarzeń. W uczeniu maszynowym i teorii informacji służy do oceny, jak dobrze przewidywany rozkład prawdopodobieństwa odzwierciedla rozkład rzeczywisty. Wartość tej dywergencji jest zawsze nieujemna i wynosi zero tylko wtedy, gdy oba rozkłady są identyczne. Należy pamiętać, że dywergencja KL nie jest symetryczna, co oznacza, że odległość rozkładu A od B nie jest równa odległości B od A.
Kullback-Leibler divergence (KL)
