slama.dev

Pravděpodobnost a Statistika I

poznámky z přednášky, vydáno 14. 6. 2022

Upozornění: Poznámky jsem vytvořil ke přípravě na státnice, takže jsou povrchní (obsahují pouze definice, tvrzení a příklady, žádné důkazy a velmi málo obsahu z konce semestru). Ke studiu na zkoušku se můžou hodit, ale rozhodně bych se neučil pouze z nich.

Úvodní informace

Tato stránka obsahuje moje poznámky z přednášky Roberta Šámala z akademického roku 2020/2021 . Pokud by byla někde chyba/nejasnost, nebo byste rádi někam přidali obrázek/text, tak stránku můžete upravit pull requestem (případně mi dejte vědět na mail).

Úvod

Definice (prostor jevů) je FP(Ω)\mathcal{F} \subseteq \mathcal{P}(\Omega), pokud

Množině Ω\Omega říkáme prostor elementárních jevů.

Definice (pravděpodobnost) je funkce P:F[0,1]P : \mathcal{F} \mapsto \left[0, 1\right] se nazývá pravděpodobnost, pokud

Definice (pravděpodobnostní prostor) je trojice (Ω,F,P)\left(\Omega, \mathcal{F}, P\right) taková, že

Příklad (pravděpodobností prostory):

Znázornění konečného prostoru s uniformní pravděpodobností. dvojice hodů kostkou jsou elementární jevy (Ω\in \Omega), vyznačené množiny jsou měřené jevy (F\in \mathcal{F}).

Lemma (základní vlastnosti): A,BF\forall A, B \in \mathcal{F} platí

Definice (podmíněná pravděpodobnost): pokud A,BFA, B \in \mathcal{F} a P(B)>0P(B) > 0, tak definujeme podmíněnou pravděpodobnost AA při BB jako P(AB)=P(AB)P(B)P(A \mid B) = \frac{P(A \cap B)}{P(B)}

Věta (o úplně pravděpodobnosti): Pokud A1,,AnFA_1, \ldots, A_n \in \mathcal{F} a P(A1A2An)>0P(A_1 \cap A_2 \cap \ldots \cap A_n) > 0, tak P(A1A2An)=P(A1) P(A2A1) P(A3A2A1)P(A_1 \cap A_2 \cap \ldots \cap A_n) = P(A_1)\ P(A_2 \mid A_1)\ P(A_3 \mid A_2 \cup A_1) \ldots

Definice (rozklad): spočetný systém množin BiFB_i \in \mathcal{F} je rozklad Ω\Omega, pokud

Věta (rozbor všech možností): Pokud A1,,AnFA_1, \ldots, A_n \in \mathcal{F} je rozklad Ω\Omega a AFA \in \mathcal{F}, pak P(A)=iP(ABi)P(Bi)P(A) = \sum_{i } P(A \mid B_i) P(B_i)

Věta (Bayesova): pokud B1,B2,B_1, B_2, \ldots je rozklad Ω\Omega, AFA \in \mathcal{F} a P(A),P(Bj)>0P(A), P(B_j) >0 , tak P(BjA)=P(Bj)P(ABj)P(A)=P(ABj)P(Bj)iP(ABi)P(Bi)P(B_j \mid A) = \frac{P(B_j) P(A \mid B_j)}{P(A)} = \frac{P(A \mid B_j) P(B_j)}{\sum_{i} P(A \mid B_i) P(B_i)}

Věta řeší problém, kdy máme jev HH (hypotézu), který chceme spočítat, když platí jev EE (evidence). Použitím Bayesova vzorce dostáváme P(HE)=P(EH)P(H)P(E)P(H \mid E) = \frac{P(E \mid H) P(H)}{P(E)} což intuitivně dává smysl – při pravděpodobnosti HEH \mid E musíme zohlednit pravděpodobnost EE.

Ilustrace Bayesovy věty.

Poznámka: 3b1b udělal o Bayesově větě pěkné video, ze kterého jsem vykradl obrázek výše.

Definice (nezávislost jevů): dva jevy jsou nezávislé, pokud P(AB)=P(A)P(B)P(A \cap B) = P(A) P(B)

Diskrétní náhodné veličiny

Definice (diskrétní náhodná veličina): Pro pravděpodobnostní prostor Ω,F,P\Omega, \mathcal{F}, P mějme funkci X:ΩRX : \Omega \mapsto \mathbb{R} nazvene diskrétní náhodná veličina, pokud Im(X)\mathrm{Im}(X) (obor hodnot) je spočetná množina a pokud x\forall x platí {ωΩ:X(ω)=x}F\left\{\omega \in \Omega: X(\omega) = x\right\} \in \mathcal{F}

Příklad (použití náhodných veličin):

Definice (pravděpodobnostní funkce) (pmf) diskrétní náhodné veličiny XX je funkce pX:R[0,1]p_X : \mathbb{R} \mapsto \left[0, 1\right] taková, že pX(x)=P(X=x)=P({ωΩ:X(ω)=x})p_X(x) = P(X = x) = P(\left\{\omega \in \Omega : X (\omega) = x\right\})

Rozdělení

Bernoulli
Binomiální
Poissonovo
Geometrické

Střední hodnota

Definice (střední hodnota diskrétní n.v.) E(X)\mathbb{E}(X) je definována jako E(X)=xIm(X)xP(X=x)\mathbb{E}(X) = \sum_{x \in \mathrm{Im}(X)} x P(X = x) pokud součet dává smysl.

Věta (LOTUS): pokud XX je n.v. a gg reálná funkce, tak E(g(X))=xIm(X)g(x)P(X=x)\mathbb{E}(g(X)) = \sum_{x \in \mathrm{Im}(X)} g(x) P(X = x)

Lemma (vlastnosti E\mathbb{E}

Definice (rozptyl/variance) n.v. nazveme var(X)=E((XEX)2)var(X) = \mathbb{E}\left(\left(X - \mathbb{E}X\right)^2\right)

Definice (směrodatná odchylka) je var(x)\sqrt{var(x)}

Věta: var(X)=E(X2)E(X)2var(X) = \mathbb{E}(X^2) - \mathbb{E}(X)^2

Přehled parametrů známých rozdělení:

Rozdělení E\mathbb{E} varvar
Bern(p)\mathrm{Bern(p)} pp p(1p)p(1 - p)
Bin(n,p)\mathrm{Bin(n,p)} npnp np(1p)np(1 - p)
Geom(p)\mathrm{Geom(p)} 1/p1/p np(1pp2)np(\frac{1 - p}{p^2})
Pois(λ)\mathrm{Pois(\lambda)} λ\lambda λ\lambda

Sdružené rozdělení

Definice: pro diskrétní n.v. X,YX, Y definujeme jejich sdruženou pravděpodobnostní funkci (joint pmf) pX,Y:R2[0,1]p_{X, Y} : \mathbb{R}^2 \mapsto \left[0, 1\right] jako pX,Y(x,y)=P({ωΩ:X(ω)=xY(ω)=y})p_{X, Y} (x, y) = P(\left\{\omega \in \Omega : X(\omega) = x \land Y(\omega) = y\right\})

(👀): z pX,Yp_{X, Y} (sdruženého) jde pX,pYp_X, p_Y (marginální) zjistit, jednoduše, zpětně ne vždy.

Definice (nezávislé náhodné veličiny): veličiny X,YX, Y jsou nezávislé, pokud x,yR\forall x, y \in \mathbb{R} platí P(X=x,Y=y)=P(X=x)P(Y=y)P(X = x, Y = y) = P(X = x) P(Y = y) neboli pX,Y(x,y)=pX(x)pY(y)p_{X, Y}(x, y) = p_X(x) p_Y (y)

Věta (součin n.n.v.): pro nezávislé diskrétní veličiny X,YX, Y platí E(XY)=E(X)E(Y)\mathbb{E}(XY) = \mathbb{E}(X)\mathbb{E}(Y)

Definice (podmíněné rozdělení): pro X,YX, Y d.n.v. a AFA \in \mathcal{F} definujeme pXA(x)=P(X=xA)p_{X \mid A} (x) = P(X = x \mid A) pXY(xy)=P(X=xY=y)p_{X \mid Y} (x \mid y) = P(X = x \mid Y = y)

Příklad: Pro X,ZX, Z výsledky dvou nezávislých hodů šestihranou kostkou a Y=X+ZY = X + Z nás zajímá pXY(610)p_{X \mid Y} (6 \mid 10) (jaká je šance, že na kostce padla hodnota 66, když součet na obou byl 1010). Můžeme spočítat ze sdruženého:

pXY(xy)=P(X=x,Y=y)P(Y=y)=pX,Y(x,y)pY(y)=pX,Y(x,y)xIm(X)pX,Y(x,y)p_{X \mid Y}(x \mid y) = \frac{P(X = x, Y = y)}{P(Y = y)} = \frac{p_{X, Y}(x, y)}{p_Y(y)} = \frac{p_{X, Y}(x, y)}{\sum_{x' \in \mathrm{Im}(X)} p_{X, Y} (x', y)}

pX,Yp_{X, Y} \ldots 1010 1111 1212
1   00 00 00
2   00 00 00
3   00 00 00
4   136\frac{1}{36} 00 00
5   136\frac{1}{36} 136\frac{1}{36} 00
6   136\frac{1}{36} 136\frac{1}{36} 136\frac{1}{36}
pXYp_{X \mid Y} \ldots 1010 1111 1212
1   00 00 00
2   00 00 00
3   00 00 00
4   13\frac{1}{3} 00 00
5   13\frac{1}{3} 12\frac{1}{2} 00
6   13\frac{1}{3} 12\frac{1}{2} 11

Spojité náhodné veličiny

Definice (náhodná veličina) na (Ω,F,P)\left(\Omega, \mathcal{F}, P\right) je zobrazení X:ΩRX : \Omega \mapsto \mathbb{R}, které pro každé xRx \in \mathbb{R} splňuje {ωΩ:X(ω)x}F\left\{\omega \in \Omega : X(\omega) \le x\right\} \in \mathcal{F}

(👀): diskrétní n.v. je náhodná veličina (pro tu platí rovnost, kterou posčítáme).

Definice (distribuční funkce) (DNF) n.v. je funkce FX(x)=P(Xx)=P({ωΩ:X(ω)x})F_X(x) = P(X \le x) = P(\left\{\omega \in \Omega : X(\omega) \le x\right\})

(👀):

Definice (spojitá náhodná veličina): n.n.v. je spojitá, pokud existuje nezáporná reálná funkce fxf_x (hustota) t.ž. FX(x)=P(Xx)=tfX(t) dtF_X(x) = P(X \le x) = \int_{-\infty}^{t} f_X(t)\ dt

Rozdělení

Příklad (uniformní rozdělení): n.v. XX má na [a,b]\left[a, b\right] uniformní rozdělení, pokud má hustotní funkci fX(x)={1bax[a,b]0jindyf_X(x) = \begin{cases} \frac{1}{b-a} & x \in \left[a, b\right] \\ 0 & \text{jindy} \end{cases}

Distribuční a hustotní funkce uniformního rozdělení.

Příklad (exponenciální rozdělení): n.v. XX má exponenciální rozdělení, pokud má distribuční funkci FX(x)={0x01eλxx0F_X(x) = \begin{cases} 0 & x \le 0 \\ 1 - e^{-\lambda x} & x \ge 0\end{cases}

Distribuční a hustotní funkce exponenciálního rozdělení.

Příklad (normální rozdělení): n.v. XX má standardní normální rozdělení, pokud má hustotní funkci fX(x)=12πex2/2f_X(x) = \frac{1}{\sqrt{2\pi}} e^{-x^2 / 2}

Distribuční a hustotní funkce normálních rozdělení. Standardní je pro μ=0\mu = 0 a σ=1\sigma = 1.

Definice (kvantilová funkce): pro distribuční funkci FF definujeme kvantilovou funkci Q:[0,1]RQ : \left[0, 1\right] \mapsto \mathbb{R} jako QX(p)=min{xR:pF(x)} Q_X(p) = \min \left\{x \in \mathbb{R} : p \le F(x)\right\}

(👀): pokud je FXF_X spojitá, pak QX=FX1Q_X = F^{-1}_X

Definice (střední hodnota s.n.v.) je definována jako E(X)=xfX(x) dx\mathbb{E}(X) = \int_{-\infty}^{\infty} x f_X(x)\ dx pokud integrál dává smysl.

Poznámka: LOTUS, linearita, rozptyl fungují také (přesně tak, jak bychom čekali)

Definice (kovariance): pro n.v. X,YX, Y je jejich kovariance definována jako cov(X,Y)=E((XEX)(YEY))cov(X, Y) = \mathbb{E}\left(\left(X - \mathbb{E}X\right) (Y - \mathbb{E}Y)\right)

Lemma:

Nerovnosti

Věta (Markovova nerovnost): nechť náhodná veličina splňuje X0X \ge 0; pak P(Xa)E(X)aP(X \ge a) \le \frac{\mathbb{E}(X)}{a}

(👀): říká, že pravděpodobnost, že XX je alespoň aa je nejvýše E/a\mathbb{E} / a, což intuitivně dává smysl

Limitní věty

Věta (zákon velkých čísel): nechť X1,,XnX_1, \ldots, X_n jsou stejně rozdělené n.n.v. se stř. hodnotou μ\mu a rozptylem σ2\sigma^2. Označme Sn=(X1++Xn)/nS_n = \left(X_1 + \ldots + X_n\right) / n (tzv. výběrový průměr). Pak platí limnSn=μ\lim_{n \to \infty} S_n = \mu skoro jistě (tj. s pravděpodobností 11).

Věta říká, že je smyslupné průměrovat n.n.v. (s větším nn se přibližuje k μ\mu).

Věta (centrální limitní věta): nechť X1,,XnX-1, \ldots, X_n jsou n.n.v. se střední hodnotou μ\mu a rozptylem σ2\sigma^2. Označme Yn=((X1++Xn)nμ)/(nσ)Y_n = \left(\left(X_1 + \ldots + X_n\right) - n \mu\right) / \left(\sqrt{n} \sigma\right). Pak YndN(0,1)Y_n \overset{d}{\rightarrow} N(0, 1). Neboli pokud FnF_n je distribuční funkce YnY_n, tak limnFn(x)=Φ(x)xR\lim_{n \to \infty} F_n(x) = \Phi(x) \quad \forall x \in \mathbb{R}

Tedy (vhodně přeškálovaný) součet n.n.v. XiX_i konverguje ke standardnímu normálnímu rozdělení.

Tahák

Ke zkoušce byla povolena A4 s libovolnými poznamkami, tady jsou moje (dostupné i v PDF).


<?xml version=”1.0” encoding=”UTF-8” standalone=”no”?>