Probabilités
TP 4.1 - Chaînes de Markov sur un espace fini d'états

A. Ridard

Exercice 1 (matrice stochastique)

On considère les matrices stochastiques suivantes : $ \begin{array}{ccc} A_1=\left(\begin{array}{cc} 0.65 & 0.45 \\ 0.35 & 0.55 \end{array}\right) & A_2=\left(\begin{array}{ccc} 0.9 & 0.7 & 0.8\\ 0.05 & 0 & 0 \\ 0.05 & 0.3 & 0.2 \end{array}\right) & A_3=\left(\begin{array}{cc} 0 & 1 \\ 1 & 0 \end{array}\right) \end{array}. $

Vérifier l'existence et l'unicité de la loi de probabilité invariante pour les matrices $A_1,A_2$.

In [ ]:
# Votre réponse

Vérifier le théorème d'ergodicité pour les matrices $A_1,A_2$ ansi que la convergence en moyenne de Césaro pour $A_3$.

In [ ]:
# Votre réponse

Exercice 2 (chaîne de Markov)

Doudou le hamster ne connaît que trois endroits dans sa cage : les copeaux où il dort, la mangeoire où il mange et la roue où il fait de l'exercice. Ses journées sont assez semblables les unes aux autres, et son activité se représente aisément par une chaîne de Markov. Toutes les minutes, il peut soit changer d'activité, soit continuer celle qu'il était en train de faire. L'appellation processus sans mémoire n'est pas du tout exagérée pour parler de Doudou. Quand il dort, il a 9 chances sur 10 de ne pas se réveiller la minute suivante. Quand il se réveille, il y a 1 chance sur 2 qu'il aille manger et 1 chance sur 2 qu'il parte faire de l'exercice. Le repas ne dure qu'une minute, après il fait autre chose. Après avoir mangé, il y a 3 chances sur 10 qu'il parte courir dans sa roue, mais surtout 7 chances sur 10 qu'il retourne dormir. Courir est fatigant pour Doudou ; il y a 8 chances sur 10 qu'il retourne dormir au bout d'une minute. Sinon il continue en oubliant qu'il est déjà un peu fatigué.

En faisant varier la situation initiale de Doudou, simuler différentes "trajectoires" sur 2 heures, puis vérifier le théorème d'ergodicité.

In [ ]:
# Votre réponse