Machine Learning - 06 - Classification: Logistic regressions, Neural networks

Zhrnutie prednášky

Prednáška odvodzuje aktualizačné pravidlo pre logistickú regresiu pomocou stochastického gradientového zostupu, ktorý v každom kroku používa jeden náhodný trénovací príklad. Pomocou reťazového pravidla sa derivácia účelovej funkcie rozkladá na deriváciu sigmoidy a deriváciu lineárnej kombinácie θᵀx. Derivácia sigmoidy vychádza ako g(z)·(1 − g(z)), po zjednodušení zostáva pravidlo θ := θ − α·(hθ(x) − y)·x. Vyučujúci upozorňuje, že pekné analógie o chybe sú zavádzajúce a skutočným zdôvodnením je derivácia. Na záver prechádza k neurónovým sieťam, kde logistickú regresiu chápe ako jednoduchú jednotku a prepája viac takýchto jednotiek do vstupnej, skrytej a výstupnej vrstvy.

• - Stochastický gradientový zostup aktualizuje parametre podľa jedného náhodne vybraného príkladu.
• - Derivácia účelovej funkcie sa počíta reťazovým pravidlom: sigmoida a lineárna kombinácia θᵀx sa derivujú zvlášť.
• - Derivácia sigmoidy je g'(z) = g(z)·(1 − g(z)).
• - Aktualizačné pravidlo logistickej regresie: θ := θ − α·(hθ(x) − y)·x.
• - Interpretácie pravidla ako rozdeľovania chyby sú zavádzajúce, skutočným zdôvodnením je derivácia.
• - Pri numerických metodách ako gradientový zostup sa nevyskytujú problémy so sústavami lineárnych rovníc.
• - Neurónová sieť vzniká prepojením viacerých logistických jednotiek do vrstiev: vstupná, skrytá (p neurónov) a výstupná.

Zhrnutie pripravené s pomocou AI z prepisu videa.