Machine Learning - 04 - Mathematical model of machine learning, bias vs. variance tradeoff

Zhrnutie prednášky

Prednáška motivuje otázku, prečo nestačí do modelu strojového učenia zahrnúť všetky možné funkcie (polynomiálne, goniometrické a pod.) a prečo samotná chyba na trénovacích dátach nestačí na posúdenie kvality. Zaujíma nás správanie naučenej funkcie na nových dátach, teda generalizácia. Na príklade cien bytov sa ukazuje podhodnotenie (underfitting), keď lineárna funkcia nedokáže zachytiť skutočný vzťah, aj preučenie (overfitting), keď polynóm 10. stupňa prejde päticou bodov s nulovou trénovacou chybou, ale je prakticky nepoužiteľný. Aby bolo možné o generalizácii vôbec matematicky uvažovať, zavádza sa stochastický model strojového učenia: predpokladá sa existencia (neznámeho) rozdelenia pravdepodobnosti P(x, y), z ktorého pochádzajú trénovacie aj testovacie dáta.

• - Trénovacia chyba sama o sebe nestačí; nízka chyba nemusí byť dobrým znamením a vysoká nemusí byť zlá.
• - Generalizácia je schopnosť naučenej funkcie dobre fungovať na nových, nevidených dátach.
• - Underfitting nastáva, keď je množina funkcií príliš jednoduchá na zachytenie vzťahu v dátach.
• - Overfitting nastáva, keď je množina funkcií príliš bohatá voči počtu príkladov; nulová trénovacia chyba je varovný signál.
• - Bez predpokladov o tom, ako vznikajú trénovacie a testovacie dáta, nemožno učenie spojiť s výkonom na teste.
• - Stochastický model učenia predpokladá neznáme rozdelenie pravdepodobnosti P(x, y) nad vstupmi a cieľovými hodnotami, z ktorého môžeme len vzorkovať.
• - Nepredpokladáme konkrétny tvar rozdelenia (napr. zmes Gaussovcov), pretože o reálnych dátach takéto informácie nemáme.

Zhrnutie pripravené s pomocou AI z prepisu videa.