Regresia

Regresná analýza

Regresná analýza

skúma funkčný vzťah (priebeh závislosti),
podľa ktorého sa mení závisle premenná Y pri
zmenách nezávislých veličín x

1, x2, ..., xk.

Y = (Y

1, Y2,..., Yn)

T

Základné pojmy

T

1

2

(

,

,...,

)

i

i

i

ni

x

x

x

=

x

Regresná funkcia

Priebeh závislosti odhadujeme vhodnými funkciami

(tzv. vyrovnávajúcimi):

kde

sú neznáme odhadované parametre

regresnej funkcie

je náhodná odchýlka

(náhodná premenná)

Odhadované funkcie musia byť lineárne z hľadiska

parametrov.

1

2

,

,...,

p

β β

β

T

1

2

(

,

, ...,

)

n

ε ε

ε

=

ε

(

)

1

2

1

2

,

,

,

,

,

,

,

,

k

p

Y

f x x

x

β β

β ε

=

K

K

Označenia

sú odhadmi

je odhad

ε

i

1

2

, ,...,

p

b b

b

1

2

,

, ...,

p

β β

β

1

2

1

2

( ,

,...,

, ,

,...,

)

ˆ

k

p

f x x

x b b

b

Y

=

ˆ

i

i

i

Y

Y

e

= −

Metóda najmenších štvorcov
Princíp MNŠ: minimalizujeme výraz

(

)

(

)

(

)

(

)

2

2

1

2

1

2

1

2

1

1

ˆ

,

,

,

f

,

,

,

,

,

,

,

=

=

=

−

=

−

∑

∑

K

K

K

n

n

p

i

i

i

i

i

ik

p

i

i

S

Y

Y

Y

x

x

x

β β

β

β β

β

parametre β

j , j = 1, 2, ..., p, sú nenáhodné

a neznáme

E(ε

i) = 0,

D(ε

i) = E(εi

2) = σ2

ε

i sú nekorelované, t.j. Cov(εi, εj) = 0 pre i ≠ j,

x

i sú lineárne nezávislé,

navyše predpokladajme, že

ε

i majú normálne rozdelenie.

Podmienky MNŠ

Vlastnosti regresnej funkcie
získanej MNŠ

t.j. súčet reziduálnych
odchýlok je rovný nule,

je minimálny,

regresná funkcia prechádza bodom

odhad regresnej funkcie je najlepším

lineárnym nevychýleným odhadom

1

0

n

i

i

e

=

=

∑

2

1

n

i

i

e

=

∑

1

( ,

,

,

)

k

y x

x

…

Podľa počtu premenných, ktorých
závislosť skúmame, hovoríme o

jednoduchej (párovej) regresii

viacnásobnej regresii

Regresná priamka
regresný model má tvar:

odhadom regresnej funkcie je

odhady parametrov

α,β regresnej funkcie a, b

vypočítame metódou najmenších štvorcov:

α β

+ x

,

1, 2,

,

i

i

i

Y

x

i

n

α β

ε

= +

+

=

K

ˆy

a b

= + x

( )

(

) (

)

(

)

(

)

(

)2

,

,

1

,

arg min

,

arg min

n

i

i

i

a b

S

Y

x

α β

α β

α β

α β

=

=

=

−

+

∑

Vypočítame prvé parciálne derivácie podľa
neznámych parametrov, položíme ich rovné
nule a dostaneme nasledujúcu sústavu
dvoch rovníc o dvoch neznámych:

1

1

n

n

i

i

i

i

i

i

y n

na

b

x n

=

=

=

+

∑

∑

2

1

1

1

n

n

n

i

i

i

i

i

i

i

i

i

i

y x n

a

x n

b

x n

=

=

=

=

+

∑

∑

∑

Riešením tejto sústavy získame nasledujúcu
realizáciu odhadu jednotlivých parametrov:

Interpretácie:

a – lokujúca konštanta, nemá ekonomickú

interpretáciu

b – regresný koeficient,

ekonomická interpretácia - udáva, o koľko
merných jednotiek sa v priemere zmení závisle
premenná

Y, ak sa nezávisle premenná x zmení

o jednu mernú jednotku.

2

cov( , )

x

x y

b

s

=

-

a

y bx

=

Príklad:

Predajňa spoločnosti XXX robí zimný výpredaj. O dennej
tržbe v tis. Sk (znak Y) a výške zľavy v percentách (znak X)
máte nasledujúce informácie:

60

-

550

50

-

470

40

-

380

30

-

320

20

-

250

10

-

200

Výška zľavy

Denná tržba

Úloha:

Za predpokladu lineárnej závislosti medzi
výškou tržieb a výškou zliav, odhadnite
výšku tržby, ak by v predajni bola zľava na
tovar 45 %.

Regresná parabola

Model je:

odhadom vyrovnávajúcej funkcie je

koeficienty a, b, c neinterpretujeme

2

+ ,

1,

,

i

i

i

i

Y

X

X

i

n

α β

γ

ε

= +

+

= …

2

ˆy

a

bx

cx

= +

+

Pomocou MNŠ dostávame sústavu troch
rovníc o troch neznámych, ktorej riešením
získame hľadané parametre:

2

1

1

1

2

3

1

1

1

1

2

2

3

4

1

1

1

1

n

n

n

i

i

i

i

i

i

i

i

i

n

n

n

n

i

i

i

i

i

i

i

i

i

i

i

i

i

n

n

n

n

i

i

i

i

i

i

i

i

i

i

i

i

i

y n

na b

x n

c

x n

x y n

a

x n

b

x n

c

x n

x y n

a

x n

b

x n

c

x n

=

=

=

=

=

=

=

=

=

=

=

=

+

+

=

+

+

=

+

+

∑

∑

∑

∑

∑

∑

∑

∑

∑

∑

∑

Exponenciála

model:

funkcia nie je v parametroch lineárna, musíme ju

najskôr zlogaritmovať, aby sme mohli použiť na
odhad parametrov MNŠ:

označenia:

A = ln a , B = ln b

ˆ

ln

ln

ln

y

a

bx

=

+

1

2

,

1, 2,

,

i

x

i

i

Y

i

n

β β ε ′

=

=

K

sústava rovníc z MNŠ:

riešením sústavy získame A = ln a a B = ln b

parametre a, b potom vypočítame nasledovne:

b = eB , a = eA

Interpretácia:
a – nemá ekonomickú interpretáciu
b – koľkokrát sa zmení v priemere závisle premenná, ak sa

nezávisle premenná zmení o jednu mernú jednotku

1

1

2

1

1

1

ln

ln

ln

ln

ln

ln

n

n

i

i

i

i

i

i

n

n

n

i

i

i

i

i

i

i

i

i

i

y n

n

a

b

x n

x n

y

a

x n

b

x n

=

=

=

=

=

=

+

=

+

∑

∑

∑

∑

∑

Združená regresia

Združené regresné funkcie dostaneme, ak

navzájom zameníme závislú a nezávislú
premennú.

Uhol, ktorý zvierajú grafy lineárnych združených

regresných funkcií (priamky)

a

je riešením koeficientu korelácie (čím je uhol
menší, tým je závislosť silnejšia) a zároveň platí

yx

yx

yx

Y

x

α

β

ε

=

+

+

xy

xy

xy

X

y

α

β

ε

=

+

+

yx

yx xy

r

b b

=

Viacnásobná lineárna regresia

(Y, x

1, x2, ...,xk)

Skúma vplyv dvoch alebo viacerých

nezávisle premenných na jednu závisle
premennú Y.

Regresný model môžeme zapísať

v maticovom tvare:

Y = X

β +ε

jeho odhad:

ˆ

=

Y

Xb

Označenie v maticovom
tvare:

Y je vektor závisle premennej
s rozmerom n×1

β je vektor regresných
koeficientov s rozmerom

(k+1) × 1

X je matica nezávisle

premenných rozmeru
n×(k+1)

1









=  









M

n

Y

Y

Y

11

1

21

2

1

1

1

1













=













L

L

M

M

M

L

k

k

n

nk

x

x

x

x

x

x

X

0









=  









M

k

β

β

β

Na odhad parametrov sa používa metóda

najmenších štvorcov.

Maticový zápis rovníc pre odhad parametrov je

nasledujúci:

b = (X TX)-1X TY

Interpretácia:

, i = 1, 2, ..., n

b

i – o ko

ľ

ko merných jednotiek sa v priemere

zmení závisle premenná, ak sa nezávisle
premenná

x

i zmení o jednu mernú jednotku,

za predpokladu, že ostatné nezávislé premenné

zostanú konštantné

0

1 1

2

2

ˆ

...

i

i

i

k

ki

y

b

b x

b x

b x

=

+

+

+ +

Normálne rovnice pre odhad parametrov
modelu s dvomi vysvetľujúcimi veličinami

0

1 1

2

2

ˆ

i

i

i

y

b

b x

b x

=

+

+

2

0

1

1

2

2

1

1

1

2

1

0

1

1

1

2

1

2

1

1

1

1

2

2

0

2

1

1

2

2

1

1

1

1

i

n

n

n

i

i

i

i

i

i

i

i

i

n

n

n

n

i

i

i

i

i

i

i

i

i

i

i

i

i

i

n

n

n

n

i

i

i

i

i

i

i

i

i

i

i

i

i

y n

nb

b

x n

b

x n

x y n

b

x n

b

x n

b

x x n

x y n

b

x n

b

x x n

b

x n

=

=

=

=

=

=

=

=

=

=

=

=

+

+

=

+

+

=

+

+

∑

∑

∑

∑

∑

∑

∑

∑

∑

∑

∑

Interval spoľahlivosti pre regresný koeficient

β

je odvodený z náhodnej premennej, ktorá ma

Studentovo rozdelenie s

n-2 stupňami voľnosti

kde

b je výberový regresný koeficient,

a

interval spoľahlivosti

−

=

b

b

T

S

β

2

1

(

-

)

e

b

n

i

i

S

S

X

X

=

=

∑

2

1

1

ˆ

(

)

2

n

e

i

i

i

S

Y

Y

n

=

=

−

−

∑

1

/ 2,

2

1

/ 2,

2

(

. ;

.

)

n

b

n

b

b t

S b t

S

α

α

−

−

−

−

−

+

Test hypotézy o regresnom koeficiente

β

test, či je regresný koeficient štatisticky

významný:

10 H

0: β = 0 H1: β ≠ 0

20 α

30 testovacia štatistika

40 kritická oblasť je daná kvantilmi
Studentovho rozdelenia, t.j. ak

0

−

=

b

b

T

S

1

/ 2,

2

−

−

>

n

T

t α