Machine Learning - 03 - Linear regresssion (extensions)

Zhrnutie prednášky

Prednáška rozširuje lineárnu regresiu o voľbu chybovej funkcie. Kvadratická chyba (norma L2) sa používa, lebo vedie k analytickému riešeniu cez sústavu lineárnych rovníc a zodpovedá pravdepodobnostnému modelu s normálne rozdelenými chybami. Alternatívou sú norma L1 (súčet absolútnych hodnôt) a norma L∞ (maximálna chyba), ktoré sa správajú odlišne voči odľahlým hodnotám, pričom L2 sa necháva vychýliť najviac. Tieto normy sa dajú optimalizovať pomocou lineárneho programovania, pre ktoré prednášajúci ukazuje formuláciu pomocou pomocných premenných delta. V praxi sa takmer vždy používa L2, no lineárne programovanie je dôležité aj pre neskoršie učenie podporných vektorov.

• - Kvadratická chyba (L2) dáva analytické riešenie cez sústavu lineárnych rovníc.
• - L2 zodpovedá maximalizácii pravdepodobnosti dát pri predpoklade normálne rozdelených chýb.
• - Norma L1 sčítava absolútne chyby a je odolnejšia voči odľahlým hodnotám.
• - Norma L∞ minimalizuje maximálnu chybu a je na odľahlé hodnoty veľmi citlivá.
• - Normy L1 a L∞ sa dajú riešiť lineárnym programovaním pomocou pomocných premenných delta a nerovností.
• - Lineárne programovanie hľadá hodnoty premenných maximalizujúce lineárny výraz pri lineárnych podmienkach a rieši sa v polynomiálnom čase.
• - V praxi sa takmer vždy volí L2; lineárne programovanie sa využije pri SVM.

Zhrnutie pripravené s pomocou AI z prepisu videa.