Entropia w teorii informacji i uczeniu maszynowym to miara niepewności, losowości lub stopnia nieuporządkowania w zbiorze danych. Wskazuje ona średnią ilość informacji niezbędną do zakodowania wyników określonego doświadczenia. W kontekście algorytmów drzew decyzyjnych entropia służy do oceny czystości podziału danych w węzłach – im mniejsza jej wartość, tym bardziej jednorodne są powstałe podgrupy. Maksymalną wartość entropia osiąga przy równomiernym rozkładzie klas, natomiast wartość zero oznacza, że zbiór zawiera wyłącznie elementy jednego rodzaju.
Entropia (przyrost informacji) (Entropy)
