Probability

 

Pattern Recognition and Image Analysis : Earl Gose. Richard Johnsonbaugh. Steve Jost 저서, Prentice Hall, 1996, Page 38~73

2.1  Introduction

2.2  Probabilities of Events

2.3   Random Variables

2.4  Joint Distributions and Densities

2.5  Moments of Random Variables

2.6  Estimation of Parameters from Samples

2.7  Minimum Risk Estimators

2.1  Introduction

2.2  Probabilities of Events

Conditional Probabilities

The Multiplication Rule

2.3   Random Variables

The Binomial Distribution

The Poisson Distribution

Continuous Random Variables

The Uniform Density

The Exponential Density

The Normal Density

P38

The Normal Density

               (2.17)

        

 

 

P39

Figure 2.10 : (a) A normal density with mean and standard deviation . (b) The standard normal density function (solid curve), and its cumulative distribution function (dashed curve).

Section 2.5.     

,

                     

               (2.18)

           

 

 

 

 

P42

                 

                         (2.19)

 

Example 2.8

   

 

Choosing a Probability Distribution 

P43

     

                 

                    (2.20)

        

 

 

P44

Figure 2.13

 

3, 1, 2, 9, and 5,            1, 2, 3, 5, and 9            -0.967, -0.430, 0.000, 0.430, and 0.967     5+1   1/6           1/6   , 2/6   , 3/6 , 4/6   , and 5/6      

2.15a   2.15b    2.15c   2.15a    2.15b   2.15c   

 

 

 

P45

Figure 2.14

     2.14b   ,   

 

2.4  Joint Distributions and Densities

           

 

 

 

P46

Figure 2.15

 

 

P47

        

 

Example 2.9

                                       




 




 

  

is in 

  

 

Example 2.10

 

 

 

P48

Figure 2.16

 

        ,   

 

The Bivariate Normal Density

아마 가장 많이 사용되는 2 차원 density 는 bivariate normal density 이며 다음 식으로 표현된다. 그 특별한 예로서의 3 차원 그래프가 아래 그림과 같다. 확률분표   인 경우가   에서는 타원형으로 표현된다.

                (2.21)

  

              

 

 

 

P49

Figure 2.16

 

                        

 

2.5  Moments of Random Variables

     

                                      

  th moment

 

 

 

P50

                    th central moment       th

                 

   

           

       

           

 

 

Example 2.11

 

 

 

P51

0
1
2

1/4
1/2
1/4

 

Example 2.12

           

 

Example 2.13

 

   

 

 

  

                            (2.22)

 

 

 

P52

              

                   

                                            (2.23)

                                            

      

 

 

 

P53

                                     (2.24)

 

Example 2.14        

          

 

Example 2.15

 

 

 

 

P54

 

Example 2.17

    

                            (2.25)

    

    

              

 

 

 

 

P55

 

Example 2.18

                             

              

 

Moments of Bivariate Distributions

                                       

 

 

 

P56

                                                                

                             

                                                         

                                                  

                           (2.26)

 

The Multivariate Normal Density

    

    μ          

 

 

 

P57

              

                           (2.27)

                       (2.28)

                                       (2.29)

              

 

 

 

 

P58

2.6  Estimation of Parameters from Samples

 

The Method of Moments

                                            

    

    

 

 

 

P59

Example 2.19

2, 3, 5, 6, 8, 9, 11, and 12          

    and     

                                   

    and    

    

  and   

    

Maximum Likelihood Estimates

 

 

 

P60

Example 2.20

                   

                           (2.30)

               

    

 

Example 2.21

                                                                     

                   

 

 

 

 

P61

Example 2.22           

    

               (2.31)

       

 

Example 2.23     

    

                                   (2.32)

 

 

 

P62

    

                         

    

              

Example 2.24

    1, 2, ...,               , , ,                                           

 

 

 

P63

                                    

1
2





 

0
0

0



 

                  

                                

Unbiased Estimators

              

    

    

 

 

 

P64

Example 2.25

          1, ...,                                        

                                                           

         

              

 

 

 

 

P65

       

              

                                       

     where                                                     (2.33)

                                       

                                                           

 

An Unbiased Estimator for the Variance

           

 

 

 

P66

  

                           (2.34)

         

                                   (2.35)

                    

 

 

 

P67

S

                   

 

2.7  Minimum Risk Estimators

         

    

              

 

 

 

P68

         

         

         

                       (2.36)

(        (      (

                       (2.37)

                   

 

 

 

P69

, ,                    1/3 + 1/2 = 5/6     1/2 + 1/6 = 2/3          

,     

$10,000 $50,000

Example 2.26

0
1
2
3

1/4
1/4
1/4
1/4

 

    ,               ,          ,               

 

 

 

P70

 

 Figure 2.18

 

                               

         

                                       

 

 

 

P71

Example 2.27

          1, 1, 2, 5,     6             

Continuous Densities

    

              

(0.75)(1) + (0.25)(4) = 1.75     1.834          

 

 

 

P72

Figure 2.19               (a)     (b)

 

1.2     1.39     1.73

 

Example 2.28

Event

(Event)





 

0.1
0.2
0.3
0.3
0.1

 

 

 

P73

$1,000     $20     

520     0.3     520     550     0.3     520     550     540     0.1 + 0.2 + (2/3)(0.3) = 0.5     540