Przewodnik po modelach opartych na drzewach: od pojedynczych struktur do zaawansowanych zespołów

Drzewa decyzyjne, lasy losowe oraz algorytmy z rodziny boosting to fundamentalne techniki uczenia maszynowego wykorzystywane do zadań klasyfikacji i regresji. Modele te pozwalają na skuteczne odwzorowywanie nieliniowych zależności w danych tabelarycznych, ewoluując od prostych, łatwo interpretowalnych struktur grafowych do wysoce zoptymalizowanych zespołów klasyfikatorów. Wdrażanie i optymalizacja tych rozwiązań opiera się na głębokim zrozumieniu mechanizmów podziału przestrzeni cech oraz inżynieryjnych metod redukcji błędu predykcyjnego.

Budowa i optymalizacja pojedynczego drzewa decyzyjnego

Drzewo decyzyjne to skierowany graf acykliczny, w którym proces wnioskowania rozpoczyna się w korzeniu, przechodzi wzdłuż odpowiednich gałęzi na podstawie testowanych warunków i kończy w liściach determinujących ostateczną predykcję. Konstrukcja drzewa opiera się na algorytmach rekurencyjnego podziału przestrzeni wejściowej w taki sposób, aby zminimalizować różnorodność (zanieczyszczenie) próbek trafiających do węzłów potomnych. Oznacza to poszukiwanie podziałów lokalnie optymalnych na każdym etapie budowy struktury. Do wyboru najlepszego atrybutu dzielącego stosuje się zazwyczaj kryterium entropii lub wskaźnik Giniego, które charakteryzują się wysoką czułością na zmiany w rozkładach klas. Entropia stanowi miarę stopnia nieuporządkowania układu informacyjnego. Wykorzystuje ona logarytmy o podstawie 2, a jej wartość dąży do maksimum, gdy prawdopodobieństwa wystąpienia poszczególnych klas są równe. Alternatywny dla niej indeks Giniego opiera się na sumie kwadratów prawdopodobieństw i cechuje się wyższą wydajnością obliczeniową, gdyż nie wymaga stosowania złożonych operacji logarytmicznych.

Pojedyncze drzewa decyzyjne wykazują bardzo silną tendencję do przeuczania, co w praktyce oznacza, że struktura zbyt precyzyjnie dopasowuje się do szumu i wartości odstających w zbiorze treningowym. Aby kontrolować ten proces, wdraża się warunki stopu prewencyjnie ograniczające rozrost grafu, takie jak narzucenie maksymalnej głębokości drzewa lub określenie minimalnej liczby obserwacji w jednym liściu. Bardziej zaawansowaną techniką jest przycinanie (ang. pruning) post-factum. Polega ono na wygenerowaniu pełnego, rozbudowanego drzewa, a następnie usuwaniu poszczególnych gałęzi tak długo, jak proces ten zmniejsza lub nie zwiększa błędu na oddzielnym zbiorze walidacyjnym. W optymalizacji stosuje się często kryterium kosztu i złożoności, które minimalizuje funkcję uwzględniającą zarówno dokładność dopasowania, jak i parametr karzący za nadmierną liczbę węzłów końcowych.

Lasy losowe i mechanizm baggingu

Las losowy to algorytm zespołowy, który niweluje problem niestabilności pojedynczych drzew za pomocą techniki agregacji bootstrapowej, określanej jako bagging. Bagging polega na trenowaniu wielu oddzielnych modeli bazowych na pseudopróbach generowanych poprzez losowanie obserwacji ze zwracaniem z początkowego zbioru danych. Statystycznie każda taka próba zawiera około 63,2% unikalnych elementów ze zbioru treningowego. Obserwacje niewylosowane, określane jako out-of-bag, tworzą naturalny zbiór walidacyjny wynoszący około 36,8% całej populacji i służą do estymacji błędu bez konieczności stosowania zewnętrznej walidacji krzyżowej. Ostateczna predykcja całego lasu decyzyjnego w klasyfikacji jest wynikiem głosowania większościowego poszczególnych drzew, podczas gdy w zadaniach regresji następuje zwykłe uśrednienie ich wyników.

Fundamentalną modyfikacją odróżniającą lasy losowe od zwykłego baggingu jest wdrożenie mechanizmu losowego wyboru cech podczas podziału każdego węzła. Algorytm nie ewaluuje wszystkich dostępnych zmiennych, lecz jedynie ich niewielki, losowo wyselekcjonowany podzbiór, najczęściej równy pierwiastkowi kwadratowemu z całkowitej liczby cech. Zabieg ten sztucznie uniezależnia od siebie poszczególne drzewa, zapobiegając dominacji jednego, najsilniejszego atrybutu we wszystkich generowanych strukturach. W efekcie drastycznie redukowana jest wariancja całego zespołu, co przekłada się na ogromną odporność na przeuczanie, nawet w obecności zaszumionych danych i bez stosowania mechanizmów przycinania. Złożoność obliczeniowa lasów losowych jest relatywnie niska względem ich potężnych możliwości, a dzięki całkowitej niezależności drzew składowych, proces trenowania w pełni skaluje się wielowątkowo. Dodatkowym atutem jest możliwość precyzyjnej analizy ważności cech na podstawie ich średniego wkładu w poprawę podziałów węzłów w całym systemie drzew.

Sekwencyjne uczenie na błędach: algorytmy Boosting

Boosting reprezentuje zupełnie odmienny paradygmat budowania modeli zespołowych, bazujący na sekwencyjnym, a nie równoległym treningu struktur decyzyjnych. Kluczowa idea tej metody zakłada, że każdy kolejny klasyfikator w łańcuchu skupia się na redukcji błędów popełnionych przez swoich poprzedników. Realizuje się to poprzez operowanie na wagach przypisanych do poszczególnych próbek w zbiorze treningowym. W klasycznym algorytmie AdaBoost, po utworzeniu pojedynczego drzewa, znacząco zwiększa się prawdopodobieństwo wylosowania lub wagę tych obserwacji, które zostały błędnie sklasyfikowane. Następny model uczy się więc na zmodyfikowanym rozkładzie danych, co zmusza go do koncentracji na tzw. trudnych przypadkach. Ostateczna decyzja całego zespołu jest ważoną sumą predykcji, gdzie modele charakteryzujące się najniższym błędem otrzymują największy udział.

Nowoczesne i wysoce wydajne implementacje, takie jak Gradient Boosting, XGBoost oraz LightGBM, podchodzą do zagadnienia w sposób bardziej analityczny. Zamiast modyfikować rozkład wag próbek wejściowych, optymalizują one ogólną funkcję kosztu przy użyciu metody spadku gradientu. Poszczególne drzewa decyzyjne przewidują bezpośrednio wartości rezydualne, czyli błędy pozostawione przez sumę wcześniejszych estymatorów. Predykcja w systemach Gradient Boosting jest wynikiem dodania wyjść kolejnych drzew (często skalowanych o parametr szybkości uczenia) i przepuszczenia ich przez finalną funkcję aktywacji. XGBoost udoskonala ten proces poprzez zaawansowane mechanizmy regularyzacji (ograniczające pojemność modelu) i optymalizację cache procesora, podczas gdy LightGBM wprowadza strategie wzrostu drzew typu „leaf-wise”, zorientowane na ekspansję najbardziej obiecujących liści. Zapewnia to potężną moc predykcyjną i bezkonkurencyjną wydajność na dużych zbiorach danych tabelarycznych.

Porównanie kryteriów podziału węzła

Poniższa tabela przedstawia techniczne różnice między najpopularniejszymi kryteriami podziału stosowanymi podczas tworzenia drzew decyzyjnych.

Praktyczne zastosowania w inżynierii danych

Algorytmy wykorzystujące drzewa decyzyjne dominują we współczesnych architekturach sztucznej inteligencji nastawionych na przetwarzanie informacji o strukturze tabelarycznej i relacyjnej. Ze względu na stabilność treningu i wbudowaną odporność na wartości odstające, lasy losowe stanowią optymalny punkt wyjścia przy pracy z nowymi systemami danych. Wynikająca z nich możliwość bezproblemowego szacowania wpływu zmiennych objaśniających jest bezcenna podczas selekcji cech, automatyzując i upraszczając pracę w zespołach inżynieryjnych. Systemy te doskonale radzą sobie w diagnostyce usterek, klasyfikacji klientów i segmentacji ryzyka.

Biblioteki implementujące algorytmy gradient boostingu używane są tam, gdzie bezwzględnym priorytetem jest surowa dokładność prognoz. Modele pokroju XGBoost powszechnie zasilają silniki rekomendacyjne w obszarze e-commerce oraz zaawansowane systemy algorytmicznego tradingu, wymagając jednak dużej ekspertyzy w kalibracji parametrów hiperprzestrzeni.

Implementacja systemów boostingu w środowisku produkcyjnym wymusza stosowanie rygorystycznej cross-walidacji oraz ścisłego monitorowania zjawiska przeuczania modelu.

Należy również pamiętać, że ewaluacja kolejnych drzew jest ściśle sekwencyjna i zależna od wyników poprzednich węzłów, przez co trening jest zazwyczaj bardziej uciążliwy obliczeniowo pod kątem czasu wykonania w relacji do w pełni zrównoleglonych lasów losowych. Wybór pomiędzy tymi dwiema metodykami powinien być determinowany bezpośrednio przez infrastrukturę sprzętową i charakterystykę oczekiwanych opóźnień decyzyjnych w rurociągu produkcyjnym.

Źródła

• Drzewa Decyzyjne i Lasy Losowe
• Jak działa las losowy (random forest)? – Mirosław Mamczur
• Drzewa decyzyjne – więcej komplikacji
• Machine Learning – lasy decyzyjne. – Google for Developers
• Zespoły modeli – przegląd literatury
• Uczenie maszynowe: wykład 6
• Prezentacja programu PowerPoint
• Uczenie maszynowe: wykład 12
• Árvore de decisão — Entropia/Gini | by Caiopovill – Medium