Sei \( m \in \mathbb{N} \) ein fest gewählter Knoten mit zugehöriger Klassifizierungsregion \( R_m \). Ziel ist es, den maximalen Wert des Gini-Index \( Q_m \) basierend auf dem Anteil der \( k \)-ten Klasse \( \hat{p}_{mk} \) in der Region \( R_m \) zu bestimmen. Maximiere dafür die Funktion
\[ Q_m(\hat{p}_{m1}, \hat{p}_{m2}, \dots, \hat{p}_{mK}) = 1 - \sum_{k=1}^K (\hat{p}_{mk})^2 \]
unter der Nebenbedingung
\[ \sum_{k=1}^K \hat{p}_{mk} = 1 \]
mittels der Lagrange-Methode.
\[ \mathcal{L}(\hat{p}_{m1}, \dots, \hat{p}_{mK}, \lambda) = 1 - \sum_{k=1}^K (\hat{p}_{mk})^2 + \lambda \left( \sum_{k=1}^K \hat{p}_{mk} - 1 \right) \]
Für jedes \( k = 1, \dots, K \) führt das Nullsetzen der partiellen Ableitungen zu
\[ \frac{\partial \mathcal{L}}{\partial \hat{p}_{mk}} = -2 \hat{p}_{mk} + \lambda = 0 \quad \Rightarrow \quad \hat{p}_{mk} = \frac{\lambda}{2}. \]
Da alle \( \hat{p}_{mk} \) gleich sind, setzen wir \( \hat{p}_{mk} = p \) für alle \( k \). Dann ergibt sich:
\[ \sum_{k=1}^K \hat{p}_{mk} = Kp = 1 \quad \Rightarrow \quad p = \frac{1}{K} \]
Einsetzen in die Zielfunktion liefert
\[ Q_m \leq 1 - \sum_{k=1}^K \left(\frac{1}{K}\right)^2 = 1 - K \cdot \frac{1}{K^2} = 1 - \frac{1}{K} \]
Die Funktion wird also genau dann maximiert, wenn die Anteile der Klassen in dem Knoten \( m \) gleichverteilt sind.
Sei \( m \in \mathbb{N} \) ein fest gewählter Knoten mit zugehöriger Klassifizierungsregion \( R_m \). Ziel ist es, den maximalen Wert der Entropie-Funktion \( Q_m \) basierend auf dem Anteil der \( k \)-ten Klasse \( \hat{p}_{mk} \) in der Region \( R_m \) zu bestimmen. Maximiere dafür die Funktion
\[ Q_m(\hat{p}_{m1}, \hat{p}_{m2}, \dots, \hat{p}_{mK}) = - \sum_{k=1}^K \hat{p}_{mk} \log (\hat{p}_{mk}) \]
unter der Nebenbedingung
\[ \sum_{k=1}^K \hat{p}_{mk} = 1 \]
mittels der Lagrange-Methode.
\[ \mathcal{L}(\hat{p}_{m1}, \dots, \hat{p}_{mK}, \lambda) = - \sum_{k=1}^K \hat{p}_{mk} \log(\hat{p}_{mk}) + \lambda \left( \sum_{k=1}^K \hat{p}_{mk} - 1 \right) \]
Für jedes \( k = 1, \dots, K \) ergibt das Nullsetzen der partiellen Ableitungen:
\[ \frac{\partial \mathcal{L}}{\partial \hat{p}_{mk}} = -\left( \log(\hat{p}_{mk}) + 1 \right) + \lambda = 0 \quad \Rightarrow \quad \log(\hat{p}_{mk}) = \lambda - 1 \quad \Rightarrow \quad \hat{p}_{mk} = e^{\lambda - 1} \]
Da alle \( \hat{p}_{mk} \) gleich sind, setzen wir \( \hat{p}_{mk} = p \) für alle \( k \). Dann ergibt sich:
\[ \sum_{k=1}^K \hat{p}_{mk} = Kp = 1 \quad \Rightarrow \quad p = \frac{1}{K} \]
Einsetzen in die Zielfunktion liefert:
\[ Q_m \leq - \sum_{k=1}^K \frac{1}{K} \log\left( \frac{1}{K} \right) = - K \cdot \frac{1}{K} \log\left( \frac{1}{K} \right) = \log(K) \]
Die Entropie wird also genau dann maximiert, wenn die Anteile der Klassen in dem Knoten \( m \) gleichverteilt sind.