BAYESIAN  LEARNING

 

Machine learning : Tom Mitchell Àú, McGRAW-HILL, 1997, Page 154~199

1. INTRODUCTION

2. BAYES THEOREM

  (1) An Example

3. BAYES THEOREM AND CONCEPT LEARNING

  (1) Brute-Force Bayes Concept Learning

  (2) MAP Hypotheses and Consistent Learners

4. MAXIMUM LIKELIHOOD AND LEAST-SQUARED ERROR HYPOTHESES

5. MAXIMUM LIKELIHOOD HYPOTHESES FOR PREDICTING PROBABILITIES

  (1) Gradient Search to Maximize Likelihood in a Neural Net

6. MINIMUM DESCRIPTION LENGTH PRINCIPLE

7. BAYES OPTIMAL CLASSIFIER

8. GIBBS ALGORITHM

9. NAIVE BAYES CLASSIFIER

  (1) An Illustrative Example

    (1.1) ESTIMATING PROBABILITIES

10. AN EXAMPLE : LEARNING TO CLASSIFY TEXT

  (1) Experimental Results

11. BAYESIAN BELIEF NETWORKS

  (1) Conditional Independence

  (2) Representation

  (3) Inference

  (4) Learning Bayesian Belief Networks

  (5) Gradient Ascent Training of Bayesian Networks

  (6) Learning the Structure of Bayesian Networks

12. THE EM ALGORITHM

  (1) Estimating Means of Gaussians

  (2) General Statement of EM Algorithm

  (3) Derivation of the Means Algorithm

13. SUMMARY AND FURTHER READING

EXERCISES

p154

1. INTRODUCTION

 

p155

 

p156

2. BAYES THEOREM

                               

                                                                               

           

Bayes theorem :

                                           (1)

 

p157

                               

           

bayes_mitchell_htm_eqn49                                (2)

   

                                       

bayes_mitchell_htm_eqn62                                        (3)

                       

(1) An Example

 

p158

   

                   

 

3. BAYES THEOREM AND CONCEPT LEARNING

 

p159

Ç¥ 1

(1) Brute-Force Bayes Concept Learning

                           (i.e., )            

 

BRUTE-FORCE MAP LEARNING algorithm

1.    

2. bayes_mitchell_htm_eqn104

 

p160

       

               

1.    

2.    

3.

           

for all in

                                       

           

               

 

p161

               

if  is inconsistent with

               

                                               

       

                       (5)

 

p162

           

           

(2) MAP Hypotheses and Consistent Learners

                   

       

±×¸² 1

 

p163

       

                                    

   

                           

       

 

p164

4. MAXIMUM LIKELIHOOD AND LEAST-SQUARED ERROR HYPOTHESES

                                                               

±×¸² 2

 

p165

       

                               

Probability density function:

       

bayes_mitchell_htm_eqn249.gif

                   

bayes_mitchell_htm_eqn652.gif

 

p166

                                                       

bayes_mitchell_htm_eqn271.gif

               

bayes_mitchell_htm_eqn277

bayes_mitchell_htm_eqn279

bayes_mitchell_htm_eqn280

bayes_mitchell_htm_eqn285.gif                                  (6)

               

 

p167

   

       

 

5. MAXIMUM LIKELIHOOD HYPOTHESES FOR PREDICTING PROBABILITIES

 

p168

                   

                   

               

                   

               

bayes_mitchell_htm_eqn321.gif                            (7)

           

 

p169

       

bayes_mitchell_htm_eqn329.gif                (8)

                   

                               (9)

                               (10)

           

bayes_mitchell_htm_eqn344.gif                            (11)

bayes_mitchell_htm_eqn345.gif

bayes_mitchell_htm_eqn347.gif                        (12)

               

 

p170

   

bayes_mitchell_htm_eqn353.gif                (13)

bayes_mitchell_htm_eqn354.gif    

(1) Gradient Search to Maximize Likelihood in a Neural Net

   

                       

                   (14)

   th        th        

 

p171

                               (15)

   

                 (16)

 

6. MINIMUM DESCRIPTION LENGTH PRINCIPLE

 

p172

   

bayes_mitchell_htm_eqn382.gif

bayes_mitchell_htm_eqn383.gif

bayes_mitchell_htm_eqn384.gif                    (16)

                               

 

p173

bayes_mitchell_htm_eqn410.gif

               

   

bayes_mitchell_htm_eqn419.gif                        (17)

               

                                   

 

p174

           

                                        

 

7. BAYES OPTIMAL CLASSIFIER

                                         

 

p175

           

   

bayes_mitchell_htm_eqn467.gif                                (18)

 

 

p176

                           

 

8. GIBBS ALGORITHM

 

p177

9. NAIVE BAYES CLASSIFIER

               

   

                     (19)

           

       

                       (20)

   

 

p178

   

       

       

 

(1) An Illustrative Example

               (21)

   

 

p.179

   

(1.1) ESTIMATING PROBABILITIES

                   

                   

                                           (22)

                   

 

p180

                   -estimate                                        

 

10. AN EXAMPLE : LEARNING TO CLASSIFY TEXT

       

 

p181

       

               th            

       

 

p182

                       

   

                   

 

(1) Experimental Results

 

p183

           

1.

2.    

   

   

        

   

   

   

           

   

bayes_mitchell_htm_eqn608.gif

 

p184

11. BAYESIAN BELIEF NETWORKS

           

 

p185

                       

 

(1) Conditional Independence

                                 

                   

           

                                         (23)

                                                           (24)

           

 

p186

±×¸² 3

(2) Representation

                   

           

 

p187

 

(3) Inference

 

p188

(4) Learning Bayesian Belief Networks

       

 

(5) Gradient Ascent Training of Bayesian Networks

                                                       

                               (25)

 

p189

                   

                           

               

           

 

p190

                               (26)

               

       

 

(6) Learning the Structure of Bayesian Networks

 

p191

12. THE EM ALGORITHM

(1) Estimating Means of Gaussians

                                       

 

p192

±×¸² 4

 

        

   

bayes_mitchell_htm_eqn727.gif                            (27)

bayes_mitchell_htm_eqn728.gif                                            (28)

                           th                        

   

 

p193

               

Step 1 :        

Step 2 :                    

               th

 

   

    

           

       

 

p194

(2) General Statement of EM Algorithm

                                                       

                                                                          

                                       

              

 

p195

Step 1 :             

Step 2 :            

bayes_mitchell_htm_eqn832.gif

            

(3) Derivation of the Means Algorithm

                           

                       

bayes_mitchell_htm_eqn851.gif

               

 

p196

                       

   

           

bayes_mitchell_htm_eqn874.gif                                                (29)

               

bayes_mitchell_htm_eqn879.gif                    (30)

              

                                                                   (31)

 

p197

13. SUMMARY AND FURTHER READING

 

 

p198   

EXERCISES

1. ¡þcancer

2.        

3. (a)        

(b)        

(c)        

   

5.                        

(c)