Cvicenie - Web Mining 21.2.2022 14:45

Zhrnutie prednášky

Úvodné cvičenie z predmetu Web mining po organizačnej časti (presuny študentov medzi skupinami, prezenčka) vysvetľuje priebeh semestra: na každom cvičení študenti riešia zadanie súvisiace s prednáškou, odovzdanie v termíne slúži aj ako dôkaz aktivity a na konci čaká projekt s rovnakými postupmi nad inými dátami. Dnešnou témou je úvod do reprezentácie textu pomocou frekvencií slov. Študenti majú v Exceli so 50 dokumentmi a približne 100 častými slovami vytvoriť samostatné hárky s binárnou, logaritmickou a inverznou dokumentovou frekvenciou (IDF). Lektor ukázal binárnu frekvenciu (1, ak je výskyt slova väčší ako 0, inak 0) a vysvetlil potrebu lemmatizácie pri slovenčine. Na budúce cvičenie sa očakáva implementácia v Pythone.

• - Na každom cvičení je zadanie nadväzujúce na prednášku; včasné odovzdanie slúži aj ako prezenčka a ukazovateľ aktivity.
• - Záverečný projekt zopakuje postupy zo semestra nad inými dátami, s dôrazom na webové dáta a text.
• - Dnešná úloha: transformovať tabuľku početností slov (50 dokumentov, ~100 slov) na binárnu, logaritmickú a inverznú dokumentovú frekvenciu v samostatných hárkoch Excelu.
• - Binárna frekvencia je 1, ak je výskyt slova v dokumente väčší ako 0, inak 0.
• - Inverzná dokumentová frekvencia sa v práci s textom využíva najčastejšie.
• - Slovenčina je ohybná, preto sa pri predspracovaní získava lema (základ slova), z ktorej sa potom počítajú početnosti.
• - Zatiaľ stačí Excel, no na ďalšom cvičení bude potrebné naprogramovať výpočty v Pythone.

Zhrnutie pripravené s pomocou AI z prepisu videa.