Machine Learning - 02 - Linear regression, normal equations

Zhrnutie prednášky

Prednáška formalizuje úlohu lineárnej regresie na príklade predikcie ceny bytu podľa výmery v metroch štvorcových. Definuje množinu hypotéz ako lineárne funkcie, v jednoduchom prípade h(x) = θ0 + θ1·x, a chybovú funkciu J ako súčet štvorcov rozdielov medzi predikciou a skutočnou hodnotou; umocnenie bráva, aby sa kladné a záporné chyby navzájom nerušili. Minimum funkcie J sa hľadá pomocou parciálnych derivácií podľa θ0 a θ1, ktoré sa položia rovné nule. Výsledkom je sústava dvoch lineárnych rovníc o dvoch neznámych, pretože pri pevnej trénovacej množine sú všetky ostatné členy konštanty. Táto sústava vedie k normálnym rovniciam.

• - Lineárna regresia vyžaduje tréningovú množinu, množinu hypotéz (lineárne funkcie) a chybovú funkciu.
• - Najlepšia hypotéza je tá, ktorá minimalizuje chybu na trénovacích dátach.
• - Chybová funkcia J je súčet štvorcov rozdielov h(xi) − yi, aby sa kladné a záporné chyby nerušili.
• - Pre jeden príznak hľadáme dva parametre θ0 a θ1 funkcie h(x) = θ0 + θ1·x.
• - Extrém funkcie viacerých premenných nájdeme tak, že všetky parciálne derivácie položíme rovné nule.
• - Parciálna derivácia sa počíta ako bežná derivácia, pričom ostatné premenné považujeme za konštanty.
• - Nulové parciálne derivácie dávajú sústavu dvoch lineárnych rovníc pre θ0 a θ1 (normálne rovnice).

Zhrnutie pripravené s pomocou AI z prepisu videa.