Analýza hlavních komponent

Analýza hlavních komponent (Principal Component Analysis) je v teorii signálu transformace sloužící k dekorelaci dat. Často se používá ke snížení dimenze dat s co nejmenší ztrátou informace. PCA je možno najít také jako Karhunen-Loèveho transformaci nebo Hotellingovu transformaci.

Z následujícího vzorce je vidět, že PCA je jen přepsáním vstupu do jiné souřadné soustavy:

$Y = X P$

kde X je centrovaná matice n x d se vstupními d-rozměrnými daty v n řádcích, Y obdobná matice výstupních dat, P je d x d matice vlastních vektorů kovarianční matice $C X$ splňující vztah $C X = P Λ P T$ , kde $Λ$ je diagonální matice obsahující na diagonále vlastní čísla $C X$ a matice vlastních vektorů $P$ je ortonormální, tj. $P T P = I d$ , kde $I d$ je jednotková matice dimenze $d$ .

Vlastní vektory (sloupce matice P) tvoří onu novou souřadnou soustavu. Centrování matice X dosáhneme odečtením příslušného výběrového průměru od každého sloupce.

Obsah

[editovat] Odvození

Matice Y je zřejmě také centrovaná, t.j., aritmetický průměr každého jejího sloupce je 0.

Spočítáme, jak musí vypadat kovarianční matice nových dat Y:

$C Y = E (Y T Y) = E [(X P) T (X P)] = E (P T X T X P) = P T E (X T X) P = P T C X P = P T P Λ P T P = Λ.$

Vzhledem k tomu, že matice $Λ$ je diagonální,

$C_Y = \Lambda = \left ( \begin{matrix} \lambda_1 & & \\ & \ddots & \\ & & \lambda_d \\ \end{matrix}\right ),$

vidíme, že sloupce matice Y jsou nekorelované a výběrový rozptyl každého sloupce se rovná příslušnému vlastnímu číslu.

[editovat] Použití

Seřadíme-li vlastní vektory v P podle velikosti vlastních čísel $λ i$ , budeme dostávat složky v Y setříděné podle rozptylu. Pokud chceme snížit dimenzi dat, stačí z Y vzít jen tolik prvních složek kolik uznáme za vhodné. Vybírání komponenty s největším rozptylem nemusí být vždy nejlepší. Například pokud máme rozpoznávat třídy, které se liší právě ve složkách s malým rozptylem, které tímto postupem zahodíme.

[editovat] Rozpoznávání

V rozpoznávání slouží PCA jako jedna z tzv. Feature Extraction metod. Používají ji například kriminalisté pro rozpoznávání obličejů.

[editovat] Komprese

Jednoduchá komprese barevného nebo multispektrálního obrazu. Využívá vysoké korelace mezi jednotlivými spektrálními kanály a převede obrázek pomocí PCA na jednu nebo několik málo složek s většinou informace.