Chaînes de Markov

Chaînes de Markov

Les images ne sont pas encore disponibles pour ce cours.

Celles présentes sont juste des « brouillons »
afin de permettre une meilleure compréhension du cours,
jusqu’à ce que les définitives soient prêtes.

Nos graphistes font tout leur possible pour les réaliser au plus vite.

😉

Introduction :

Dans le cours précédent, nous avons rencontré des graphes orientés. Ils vont servir dans ce chapitre à modéliser, en probabilité, des processus aléatoires qu’on appelle des chaînes de Markov.

Dans une première partie, nous définirons ce qu’est un graphe probabiliste et sa matrice de transition. Puis, en deuxième partie, nous étudierons l’évolution de certains processus aléatoires à l’aide des chaînes de Markov. Enfin, dans la troisième partie, nous nous intéresserons à la stabilisation de ces processus aléatoires.

Graphes probabilistes et matrices associées

Graphe probabiliste

Plaçons-nous dans la situation suivante.

bannière exemple

Exemple

Dans un magasin, un produit de consommation courante est proposé suivant deux marques AA et BB. Une étude statistique, menée sur les clients qui achètent ce produit toutes les semaines, montre que :

  • si un client achète la marque AA une semaine, alors la probabilité qu’il achète la marque BB la semaine suivante est 0,600,60 ;
  • si un client achète la marque BB une semaine, alors la probabilité qu’il rachète la même marque la semaine suivante est 0,300,30.

Un consommateur de ce produit est choisi au hasard et on l’interroge sur les marques qu’il choisit sur deux semaines.

  • Construisons l’arbre de probabilité représentant cette situation.

Rappelons-nous comment le construire.
Nous écrivons sur les branches de l’arbre les probabilités conditionnelles qui sont écrites dans l’énoncé :

  • la probabilité que le client choisisse la marque BB sachant qu’il a choisi la marque AA la semaine précédente est pA(B)=0,6p_A (B)=0,6 ;
  • la probabilité que le client choisisse la marque BB sachant qu’il a choisi la marque BB la semaine précédente est pB(B)=0,3p_B (B)=0,3.

Alt texte Image temporaire

Nous pouvons calculer les probabilités conditionnelles manquantes sur les branches de l’arbre en nous rappelant la propriété suivante.

bannière propriete

Propriété

Si AA et BB sont deux événements de l’univers, alors :

pA(B)+pA(Bˉ)=1pA(B)+pA(\bar B)=1

Autrement dit : quand on effectue la somme des branches issues d’un même nœud AA de l’arbre, on doit trouver 11.

Nous avons donc :

Alt texte Image temporaire

Nous allons transformer la partie encadrée de cet arbre en graphe. Elle représente le passage d’une semaine à la suivante.

  • Chaque semaine, le choix est AA ou BB, donc le graphe aura 22 sommets, que nous nommerons AA et BB également.

Ce graphe est orienté : l’arête qui part de AA vers BB représente la branche de l’arbre qui va de l’événement AA (semaine 1) vers l’événement BB (semaine 2). Nous écrivons près de l’arête le nombre pA(B)=0,6p_A (B)=0,6.

  • On dit qu’on a pondéré cette arête.

Alt texte Image temporaire

  • Nous faisons de même avec chaque branche de l’arbre pour obtenir le graphe suivant :

Alt texte Image temporaire

  • Nous constatons, comme dans l’arbre de probabilité, que la somme des pondérations des arêtes qui partent de AA vaut 11 ; de même, la somme des pondérations des arêtes qui partent de BB vaut 11.
  • Par ailleurs, il ne peut pas y avoir plus de 11 arête qui partent du sommet AA vers le sommet BB.

À partir de cet exemple, nous allons définir ce que sont un graphe pondéré et un graphe probabiliste.

bannière definition

Définition

Graphe pondéré :

On appelle graphe pondéré un graphe (orienté ou non) dont les arêtes sont affectées d’un nombre positif ou nul.

  • Ces nombres s’appellent les poids des arêtes entre les sommets.
bannière definition

Définition

Graphe probabiliste :

GG est un graphe d’ordre nn orienté et pondéré. On numérote ses sommets par les nombres 11, 22, …, nn.
GG est un graphe probabiliste lorsque, pour tous entiers ii et jj de {1,,n}\lbrace 1,\,…,\,n\rbrace :

  • il y a au plus 11 arête entre deux sommets ii et jj du graphe ;
  • la somme des poids des arêtes partant d’un sommet ii est égale à 11.
bannière astuce

Astuce

Concrètement, le poids de chaque arête orientée de ii vers jj est la probabilité d’obtenir jj sachant ii.

  • C’est donc un nombre appartenant à [0 ;1][0\ ;\, 1].

Prenons un autre exemple avec 33 issues possibles, et sans passer par un arbre de probabilités que nous ne ferons plus désormais.

bannière exemple

Exemple

Dans le même magasin, un autre produit est décliné selon 33 marques AA, BB et CC. Le magasin étudie de la même manière l’achat de ce produit. Il résulte que :

  • si un client achète la marque AA une semaine, alors la probabilité que, la semaine suivante, il achète la marque BB est 0,300,30, et la probabilité qu’il garde la marque AA est 0,500,50,
  • si un client achète la marque BB une semaine, alors la probabilité qu’il rachète la même marque la semaine suivante est 0,450,45, et la probabilité qu’il achète la marque AA est 0,50,5 ;
  • si un client achète la marque CC une semaine, alors la probabilité qu’il achète la marque AA est 0,60,6, et il ne rachète pas la marque BB.
bannière à retenir

À retenir

Méthodologie :

  • On repère le nombre d’issues de l’univers.
  • C’est l’ordre du graphe.
  • On représente chaque issue par un sommet ii.
  • Le poids de l’arête qui va du sommet ii vers jj est la probabilité d’avoir jj sachant ii.
  • On complète le graphe probabiliste sachant que la somme des poids des arêtes partant d’un même sommet vaut 11.

Dans notre exemple, le graphe est d’ordre 33.
Débutons ce graphe avec les probabilités conditionnelles de l’énoncé que nous écrivons en noir, puis nous compléterons les pondérations manquantes en vert.

Alt texte Image temporaire

Détaillons le cas du sommet AA ; nous trouverons les autres pondérations avec la même méthode.

La somme des poids des arêtes qui partent de AA vaut 11.
Pour trouver le poids de l’arête qui va vers CC, nous effectuons simplement le calcul :

1(0,3+0,5)=0,21-(0,3+0,5) =0,2

  • Sachant qu’il a choisi la marque AA la semaine précédente, la probabilité que le client choisisse la marque CC est 0,20,2.

Comme dans le cours précédent, les graphes permettent de faire un traitement matriciel d’un problème donné.
Nous allons ainsi définir dans ce cours un nouveau type de matrice associé aux graphes probabilistes.

Matrice de transition associée à un graphe probabiliste

bannière definition

Définition

Matrice de transition associée à un graphe probabiliste :

GG est un graphe probabiliste d’ordre nn, de sommets numérotés de 11 à nn.
TT est la matrice carrée d’ordre nn définie par :

Pour tous ii et jj de {1,,n}\lbrace 1,\,…,\,n\rbrace : (T)i,j(T)_{i,j} est égal au poids de l’arête allant de ii vers jj.

  • TT est appelée la matrice de transition du graphe probabiliste GG.
bannière attention

Attention

La matrice de transition n’est pas la matrice d’adjacence, dont les coefficients donnent le nombre entier d’arêtes entre deux sommets.

  • Dans la matrice de transition d’un graphe probabiliste, tous les coefficients appartiennent à [0 ;1][0\ ;\, 1].
bannière à retenir

À retenir

Dans le cas d’un graphe probabiliste, le coefficient (T)i,j(T)_{i,j} est égal à la probabilité d’obtenir l’événement représenté par le sommet jj sachant l’événement représenté par ii.

Pour illustrer ce qu’est une matrice de transition, reprenons les graphes du paragraphe précédent.

bannière exemple

Exemple

Alt texte Image temporaire

Pour ce graphe probabiliste d’ordre 22, la matrice de transition TT est carrée d’ordre 22.
Numérotons les sommets du graphe en suivant l’ordre alphabétique :

A1 et B2A\to 1 \text{ et } B\to 2

Appliquons la définition :

(T)1,1=poids de l’areˆte allant de A vers A=pA(A)=0,4(T)1,2=poids de l’areˆte allant de A vers B=pA(B)=0,6(T)2,1=poids de l’areˆte allant de B vers A=pB(A)=0,7(T)2,2=poids de l’areˆte allant de B vers B=pB(B)=0,3\begin{aligned} (T){1,1}&= \text{poids de l’arête allant de AA vers AA} \ &= pA (A) \ &= 0,4 \ (T){1,2}&= \text{poids de l’arête allant de AA vers BB} \ &= pA (B) \ &= 0,6 \ \ (T){2,1}&= \text{poids de l’arête allant de BB vers AA} \ &= pB (A) \ &= 0,7 \ (T){2,2}&= \text{poids de l’arête allant de BB vers BB} \ &= pB (B) \ &= 0,3 \end{aligned}

  • La matrice de transition obtenue est donc :

(0,40,60,70,3)\begin{pmatrix} 0,4 & 0,6 \ 0,7 & 0,3 \end{pmatrix}

Sur la première ligne de cette matrice sont écrits les poids des arêtes qui partent de AA ; sur la deuxième ligne le poids des arêtes qui partent de BB.

bannière exemple

Exemple

Prenons maintenant le graphe d’ordre 33 :

Alt texte Image temporaire

La matrice de transition est carrée d’ordre 33.
Numérotons les sommets dans l’ordre alphabétique.

  • La matrice de transition obtenue est :

(0,50,30,20,50,450,050,600,4)\begin{pmatrix} 0,5 & 0,3 & 0,2 \ 0,5 & 0,45 & 0,05 \ 0,6 & 0 & 0,4 \end{pmatrix}

Sur la première ligne de cette matrice sont écrits les poids des arêtes qui partent de AA ; sur la deuxième ligne, le poids des arêtes qui partent de BB ; et sur la troisième ceux des arêtes qui partent de CC.

De cette dernière remarque nous déduisons la propriété suivante.

bannière propriete

Propriété

Soit GG un graphe probabiliste et TT la matrice de transition associée.
La somme des coefficients d’une ligne de la matrice vaut 11.

Nous avons découvert les graphes probabilistes et les matrices de transition associées, avec l’exemple concret d’une chaîne de magasins qui étudie la vente d’un produit.
Nous pouvons très bien nous figurer que ce magasin décide de prolonger l’étude pour déterminer la marque la plus achetée au bout d’un certain temps.
Les chaînes de Markov permettent de faire cette étude. Nous allons les définir dans la deuxième partie.

Chaînes de Markov

Le mathématicien russe Andreï Markov (1856-1922) a utilisé les graphes en théorie des probabilités pour étudier, dans certains cas, des processus aléatoires en fonction du temps.

  • Pour ce faire, il a utilisé des variables aléatoires discrètes.

Dans ce paragraphe, nous allons donc travailler avec les variables aléatoires que nous avons étudiées en première. Rappelons quelques définitions.

bannière rappel

Rappel

Une variable aléatoire XX sur l’univers Ω\Omega est une fonction, qui, à chaque issue de Ω\Omega, associe un nombre réel.

Soit ERE\subset \mathbb R.
XX est une variable aléatoire sur l’univers Ω\Omega, à valeurs dans EE.
Établir la loi de la variable XX, c’est trouver, pour chaque valeur xx de EE, la probabilité que XX soit égal à xx, que l’on notera p(X=x)p(X=x).

Chaîne de Markov

Dans tout ce paragraphe, nous considérons une expérience aléatoire à 22 ou 33 issues. Nous noterons l’univers Ω\Omega par {A,B}\lbrace A,\,B\rbrace ou {A,B,C}\lbrace A,\,B,\,C\rbrace suivant les cas.
Cette expérience est répétée : nous nous intéressons aux probabilités d’obtenir AA ou BB (ou éventuellement CC) au bout d’un nombre nn de répétitions.

  • Dans le cas particulier n=0n=0, nous avons la première expérience.
  • Pour n=1n=1, l’expérience est répétée 11 fois.
  • Et cætera

Utilisons une variable aléatoire XnX_n qui associe, à chaque issue de Ω\Omega, son numéro dans la liste : A1,B2 (C3)A\to 1,\,B\to 2\ (C\to3), à la n-ieˋmen \text{-ième} répétition.

Donnons deux exemples.

  • L’événement [X3=2][X_3=2] est l’événement : « À la 3e3^\text{e} répétition de l’expérience, on obtient l’issue numérotée 22, c’est-à-dire BB ».
  • Ainsi, p(X3=2)p(X_3=2) est la probabilité d’obtenir BB à la 3e3^\text{e} répétition de l’expérience.
  • L’événement [X10=1][X_{10}=1] est l’événement : « À la 10e10^\text{e} répétition, on obtient l’issue numérotée 11, c’est-à-dire AA ».
  • Ainsi, p(X10=1)p(X_{10}=1) est la probabilité d’obtenir AA à la 10e10^\text{e} répétition.

On construit ainsi une suite de variables aléatoires (Xn)nN(Xn){n\in \mathbb N} sur l’univers Ω\Omega.

  • Elles sont à valeurs dans E={1,2}E= \lbrace 1,\,2\rbrace ou E={1,2,3}E=\lbrace 1,\,2,\,3\rbrace.

Établissons maintenant le vocabulaire utile.

bannière definition

Définition

Espace des états :

Soit (Xn)nN(Xn){n\in \mathbb N} une suite de variables aléatoires définies sur un univers, et à valeurs dans un ensemble de nombres EE.

  • Les valeurs de EE s’appellent des états.
  • EE porte le nom d’espace des états.

Pour tout nNn\in \mathbb N et pour tout état ii de EE, l’événement [Xn=i][X_n =i] se traduit par : « Le processus est dans l’état ii à l’étape nn ».

Prenons un exemple pour utiliser ce vocabulaire.

bannière exemple

Exemple

Dans une cité scolaire, 33 activités sont proposées en association sportive : le handball (1\to 1), le football (2\to 2) et le volley-ball (3\to 3).

  • ll s’agit des états, il y en a donc 33.

Les élèves inscrits le restent toute leur scolarité. Quand ils pratiquent une activité pendant un trimestre, ils peuvent demander une autre activité le trimestre suivant.

On interroge au hasard un élève inscrit à l’association durant sa scolarité et on lui demande quelle activité il pratique.

Soit nNn\in \mathbb N. On note n+1n+1 le numéro du trimestre.
Quand n=0n=0, l’élève est au 1er1^\text{er} trimestre de sa scolarité ; pour n=1n=1, il est au 2e2^\text{e} trimestre ; etc.

Considérons la variable aléatoire XnX_n qui, à chaque issue de Ω\Omega, associe le numéro du sport choisi à l’étape nn. Ainsi :

  • l’événement [X0=2][X_0 =2] signifie que l’élève pratique le football pendant le 1er1^\text{er} trimestre ;
  • l’événement [X5=3][X_5 =3] signifie que l’élève a choisi le volley-ball pendant le (5+1)-ieˋme=6e(5+1) \text{-ième}= 6^\text{e} trimestre.
  • On dit que (Xn)nN(Xn){n\in \mathbb N} forme une suite de variables aléatoires à valeurs dans l’espace des états {1,2,3}\lbrace 1,\,2,\,3\rbrace.

Allons un peu plus loin et considérons que, dans le processus de l’exemple précédent :

  • le choix de l’élève au trimestre (n+1)(n+1) dépend uniquement du choix qu’il a fait au trimestre nn, et pas des choix précédant l’étape nn ;
  • le choix ne dépend pas de la valeur nn.

Dans ces deux conditions, Markov a étudié l’évolution des variables au cours du temps, symbolisé ici par nn.

  • C’est pourquoi ces suites de variables s’appellent des chaînes de Markov.
bannière definition

Définition

Chaîne de Markov :

Soit (Xn)nN(Xn){n\in \mathbb N} une suite de variables aléatoires à valeurs dans l’espace des états EE.
(Xn)nN(Xn){n\in \mathbb N} est une chaîne de Markov sur EE lorsque, pour tous ii et jj de EE :

  • l’événement [Xn+1=i][X{n+1} = i] dépend uniquement de l’état antérieur de XnXn, et pas des états qui précédent ;
  • la probabilité de passer d’un état ii à un état jj ne dépend pas de nn.
bannière à retenir

À retenir

Méthodologie :

Pour reconnaître une chaîne de Markov :

  • on identifie l’espace des états de la variable aléatoire ;
  • on justifie que l’état de Xn+1X{n+1} à l’étape (n+1)(n+1) ne dépend que de l’état de XnXn à l’étape nn ; et pas des états précédents ;
  • on justifie que la probabilité pour passer d’un état à un autre ne dépend pas du numéro de l’étape.

Nous concluons qu’on peut schématiser une chaîne de Markov (Xn)nN(Xn){n \in \mathbb N} sur un espace des états EE par 22 étapes consécutives comme nous l’avons fait au premier paragraphe.

  • En particulier, nous allons associer un graphe probabiliste et une matrice de transition à une chaîne de Markov.

Graphe et matrice associés à une chaîne de Markov

Reprenons l’exemple ci-dessus.

bannière exemple

Exemple

Les dirigeants de l’association sportive étudient les activités choisies pendant quatre ans.
Le 1er1^\text{er} trimestre (étape n=0n=0) :

  • 30%30\,\% des élèves inscrits choisissent le hand,
  • 60%60\,\% le foot,
  • et 10%10\,\% le volley.

Puis, chaque trimestre, nous avons les éléments suivants.

  • 75%75\,\% des élèves qui choisissent le handball un trimestre gardent cette activité le trimestre suivant ; 15%15\,\% d’entre eux changent pour le volley-ball ; les autres font ensuite du foot.
  • 40%40\,\% des élèves qui choisissent le football un trimestre le gardent le trimestre suivant ; 15%15\,\% d’entre eux changent pour le handball, et les autres pour le volley.
  • 50%50\,\% des élèves qui font du volley un trimestre changent pour le foot le trimestre suivant ; 20%20\,\% font du handball ; les autres gardent volley.

D’après l’énoncé :

  • le choix d’une activité pour le trimestre (n+1)(n+1) dépend uniquement de l’activité choisie le trimestre nn précédent ;
  • il ne dépend pas de la valeur nn choisie puisque les fréquences restent stables chaque trimestre.

On note XnX_n la variable aléatoire qui associe à une issue de l’univers {handball,football,volley-ball}\lbrace \text{handball},\, \text{football},\, \text {volley-ball}\rbrace le numéro de l’activité choisie pendant le trimestre (n+1)(n+1).

  • (Xn)nN(Xn){n \in \mathbb N} est bien une chaîne de Markov sur E={1,2,3}E=\lbrace 1,\,2,\,3\rbrace.

Nous pouvons schématiser cette chaîne par le graphe probabiliste suivant qui représente (Xn)nN(Xn){n\in \mathbb N} sur deux étapes consécutives.

Alt texte Image temporaire

La matrice de transition associée à ce graphe est :

T=(0,750,10,150,150,40,450,20,50,3)T=\begin{pmatrix} 0,75 & 0,1 & 0,15 \ 0,15 & 0,4 &0,45 \ 0,2 & 0,5 & 0,3 \end{pmatrix}

  • On dit que c’est aussi la matrice de transition de la chaîne de Markov.
bannière definition

Définition

Matrice de transition d’une chaîne de Markov :

(Xn)nN(Xn){n \in \mathbb N} est une chaîne de Markov sur EE à 22 (resp. 33) états.
La matrice de transition de cette chaîne de Markov est la matrice carrée TT d’ordre 22 (resp. 33), telle que, pour tous ii et jj de EE :

  • (T)i,j(T)_{i,j} vaut la probabilité de passer de l’état ii à l’état jj ;
  • (T)i,j(T)_{i,j} est le poids de l’arête allant de ii vers jj sur le graphe probabiliste associé.
bannière attention

Attention

Si cette arête n’existe pas, cette probabilité et le coefficient de la matrice associé valent 00.

Comme dans une suite de nombres, nous allons nous intéresser à présent à l’évolution des états de la chaîne de Markov suivant la valeur de nn.

Distributions dans une chaîne de Markov

Reprenons les données de l’exemple précédent.
Le 1er1^\text{er} trimestre (étape n=0n=0), nous avions : 30%30\,\% des élèves inscrits en hand, 60%60\,\% en foot et 10%10\,\% en volley. Ainsi :

  • p(X0=1)=0,30p(X_0=1)=0,30 ;
  • p(X0=2)=0,60p(X_0=2)=0,60 ;
  • p(X0=3)=0,10p(X_0=3)=0,10.
  • Ces trois valeurs forment la loi de probabilité de X0X_0 ; elles portent aussi le nom de distribution initiale.
bannière definition

Définition

Distribution initiale d’une chaîne de Markov :

(Xn)nN(Xn){n \in \mathbb N} est une chaîne de Markov sur EE à 22 ou 33 états.
La loi de probabilité de la variable aléatoire X0X0 est appelée la distribution initiale de la chaîne (Xn)nN(Xn)_{n \in \mathbb N}.

  • On la représente sous la forme d’une matrice ligne à 22 ou 33 colonnes et on la note π0\pi_0 :
  • s’il y a 22 états :

π0=(p(X0=1)p(X0=2))\pi0=\begin{pmatrix} p(X0=1) & p(X_0=2) \end{pmatrix}

  • s’il y a 33 états :

π0=(p(X0=1)p(X0=2)p(X0=3))\pi0=\begin{pmatrix} p(X0=1) & p(X0=2) & p(X0=3) \end{pmatrix}

Comme nous nous intéressons à l’évolution du processus, nous posons une autre définition.

bannière definition

Définition

Distribution après nn transitions :

(Xn)nN(Xn){n \in \mathbb N} est une chaîne de Markov sur EE à 22 ou 33 états. La loi de probabilité de la variable aléatoire XnXn est appelée la distribution après nn transitions de la chaîne (Xn)nN(Xn)_{n \in \mathbb N}.

  • On la représente sous la forme d’une matrice ligne à 22 ou 33 colonnes et on la note πn\pi_n :
  • s’il y a 22 états :

πn=(p(Xn=1)p(Xn=2))\pin=\begin{pmatrix} p(Xn=1) & p(X_n=2) \end{pmatrix}

  • s’il y a 33 états :

πn=(p(Xn=1)p(Xn=2)p(Xn=3))\pin=\begin{pmatrix} p(Xn=1) & p(Xn=2) & p(Xn=3) \end{pmatrix}

bannière à retenir

À retenir

π0\pi0 est la matrice ligne des probabilités d’avoir $A$ ou $B$ (ou éventuellement CC) à la première expérience aléatoire.
De même, πn\pi
n est la matrice ligne des probabilités d’avoir $A$ ou $B$ (ou éventuellement CC) à la n-ieˋmen \text{-ième} étape.

Appliquons ces définitions à l’exemple de l’association sportive et déterminons les matrices π0\pi0 et π1\pi1.

  • Nous avons déjà la loi de probabilité de X0X_0 :

π0=(0,30,60,1)\pi_0=\begin{pmatrix} 0,3 & 0,6 & 0,1 \end{pmatrix}

  • Déterminons π1\pi_1.

Commençons par calculer p(X1=1)p(X_1=1).

  • Nous cherchons la probabilité que l’élève interrogé ait choisi l’activité 11 au 2e2^\text{e} trimestre.

Utilisons la loi des probabilités totales :

p(X1=1)=p((X0=1)(X1=1))+p((X0=2)(X1=1))+p((X0=3)(X1=1))\begin{aligned} p(X1=1)&=p\big(\textcolor{#FFA500}{(X0=1)\cap(X1=1)}\big) \ &\quad \quad \quad +p\big(\textcolor{#3CB371} {(X0=2)\cap(X1=1)}\big) \ &\quad\quad\quad+p\big(\textcolor{#9400D3} {( X0=3)\cap(X_1=1)}\big) \end{aligned}

En effet, rappelons-nous que si l’élève choisit le hand au 2e2^\text{e} trimestre, il est dans l’une des trois configurations suivantes :

  • il a pratiqué le hand au 1er1^\text{er} trimestre et il garde le hand au 2e2^\text{e} :

(X0=1)(X1=1)\textcolor{#FFA500} {(X0=1)\cap(X1=1)}

  • il a pratiqué le foot au 1er1^\text{er} trimestre et il choisit le hand au 2e2^\text{e} :

(X0=2)(X1=1)\textcolor{#3CB371} {(X0=2)\cap(X1=1)}

  • il a pratiqué le volley au 1er1^\text{er} trimestre et il choisit le hand au 2e2^\text{e} :

(X0=3)(X1=1)\textcolor{#9400D3} {(X0=3)\cap(X1=1)}

Pour trouver ces probabilités, nous appliquons la formule sur les probabilités conditionnelles :

p(AB)=p(B)×pA(B)p(A\cap B)= p(B)\times p_A (B)

  • Nous avons donc :

p(X1=1)=p(X0=1)×pX0=1(X1=1)+p(X0=2)×pX0=2(X1=1)+p(X0=3)×pX0=3(X1=1)\begin{aligned} p(X1=1)&=p(\textcolor{#FFA500} {X0=1})\times p{\textcolor{#FFA500} {X0=1}} (\textcolor{#FFA500} {X1=1}) \ &\quad\quad\quad + p(\textcolor{#3CB371}{X0=2})\times p{\textcolor{#3CB371}{X0=2}} (\textcolor{#3CB371}{X1=1}) \ &\quad\quad\quad +p(\textcolor{#9400D3}{X0=3})\times p{\textcolor{#9400D3}{X0=3}} (\textcolor{#9400D3}{X_1=1}) \end{aligned}

Nous connaissons π0\pi0, donc les valeurs : p(X0=1)=0,3p(\textcolor{#FFA500}{X0=1})= \textcolor{#B22222}{0,3}, p(X0=2)=0,6p(\textcolor{#3CB371}{X0=2})= \textcolor{#BDB76B}{0,6} et p(X0=3)=0,1p(\textcolor{#9400D3}{X0=3})= \textcolor{#1E90FF}{0,1}.

Nous savons aussi que les probabilités conditionnelles se trouvent soit sur le graphe, soit dans la matrice de transition TT de la chaîne de Markov. Utilisons cette dernière :

T=(0,750,10,150,150,40,450,20,50,3)T=\begin{pmatrix} \textcolor{#B22222}{0,75} & 0,1 & 0,15 \ \textcolor{#BDB76B}{0,15} & 0,4 &0,45 \ \textcolor{#1E90FF}{0,2} & 0,5 & 0,3 \end{pmatrix}

  • pX0=1(X1=1)p{\textcolor{#FFA500}{X0=1}} (\textcolor{#FFA500} {X_1=1}) est la probabilité de passer de l’état 11 à l’état 11.
  • C’est donc le coefficient (T)1,1=0,75(T)_{1,1}= \textcolor{#B22222}{0,75}.
  • pX0=2(X1=1)p{\textcolor{#3CB371}{X0=2}} (\textcolor{#3CB371}{X_1=1}) est la probabilité de passer de l’état 22 à l’état 11.
  • C’est donc le coefficient (T)2,1=0,15(T)_{2,1}= \textcolor{#BDB76B}{0,15}.
  • Finalement, pX0=3(X1=1)p{ \textcolor{#9400D3}{X0=3}} (\textcolor{#9400D3}{X_1=1}) est la probabilité de passer de l’état 33 à l’état 11.
  • C’est donc le coefficient (T)3,1=0,2(T)_{3,1}= \textcolor{#1E90FF}{0,2}.

Calculons donc :

p(X1=1)=0,3×0,75+0,6×0,15+0,1×0,2=0,335\begin{aligned} p(X_1=1)&= \textcolor{#B22222}{0,3\times 0,75}+ \textcolor{#BDB76B}{0,6\times 0,15}+ \textcolor{#1E90FF}{0,1\times 0,2} \ &=\boxed{0,335} \end{aligned}

bannière astuce

Astuce

Nous remarquons qu’en faisant le produit de la matrice π0\pi_0 par la première colonne de TT, nous aurions obtenu exactement ce calcul :

π0×(0,750,150,2)=(0,30,60,1)×(0,750,150,2)=0,3×0,75+0,6×0,15+0,1×0,2\begin{aligned} \pi_0\times \begin{pmatrix} 0,75 \ 0,15 \ 0,2 \end{pmatrix} &=\begin{pmatrix} \textcolor{#B22222}{0,3} & \textcolor{#BDB76B}{0,6} & \textcolor{#1E90FF}{0,1} \end{pmatrix}\times \begin{pmatrix} \textcolor{#B22222}{0,75} \ \textcolor{#BDB76B}{0,15} \ \textcolor{#1E90FF}{0,2} \end{pmatrix} \ &=\textcolor{#B22222}{0,3\times 0,75}+ \textcolor{#BDB76B}{0,6\times 0,15}+ \textcolor{#1E90FF}{0,1\times 0,2} \end{aligned}

Ce qui s’explique par le fait que la 1re1^\text{re} colonne de la matrice TT sont les probabilités conditionnelles de passer de l’état ii à l’état 11, celles dont nous avions justement besoin !

Si nous voulons continuer à déterminer π1\pi1, calculons maintenant p(X1=2)p(X1=2).

D’après la loi des probabilités totales :

p(X1=2)=p((X0=1)(X1=2))+p((X0=2)(X1=2))+p((X0=3)(X1=2))=p(X0=1)×pX0=1(X1=2)+p(X0=2)×pX0=2(X1=2)¨C3460C¨C3461C+p(X0=3)×pX0=3(X1=2)\begin{aligned} p(X1=2)&= p\big(\textcolor{#FFA500}{(X0=1)\cap(X1=2)}\big) \ &\quad \quad \quad +p\big(\textcolor{#3CB371} {(X0=2)\cap(X1=2)}\big) \ &\quad\quad\quad+p\big(\textcolor{#9400D3} {( X0=3)\cap(X1=2)}\big) \ &= p(\textcolor{#FFA500} {X0=1})\times p{\textcolor{#FFA500} {X0=1}} (\textcolor{#FFA500} {X1=2}) \ &\quad\quad\quad + p(\textcolor{#3CB371}{X0=2})\times p{\textcolor{#3CB371}{X0=2}} (\textcolor{#3CB371}{X1=2}) \ &\quad\quad\quad +p(\textcolor{#9400D3}{X0=3})\times p{\textcolor{#9400D3}{X0=3}} (\textcolor{#9400D3}{X_1=2}) \end{aligned}

On retrouve les coefficients de π0\pi_0 et les coefficients placés sur la 2e2^\text{e} colonne de TT.

  • Nous avons ainsi :

π0×(0,10,40,5)=(0,30,60,1)×(0,10,40,5)=0,3×0,1+0,6×0,4+0,1×0,5=0,32\begin{aligned} \pi_0\times \begin{pmatrix} 0,1 \ 0,4 \ 0,5 \end{pmatrix} &=\begin{pmatrix} 0,3 & 0,6 & 0,1 \end{pmatrix}\times \begin{pmatrix} 0,1 \ 0,4 \ 0,5 \end{pmatrix} \ &=0,3\times 0,1+0,6\times 0,4+ 0,1\times 0,5 \ &=\boxed{0,32} \end{aligned}

p(X1=3)p(X_1=3) s’obtient de même en calculant :

π0×(0,150,450,3)=0,345\pi_0\times \begin{pmatrix} 0,15 \ 0,45 \ 0,3 \end{pmatrix}=\boxed{0,345}

  • En conclusion, nous obtenons :

π1=(0,3350,320,345)\pi_1=\begin{pmatrix} 0,335 & 0,32 & 0,345 \end{pmatrix}

Les calculs pour obtenir π2\pi2 à partir de π1\pi1 sont analogues.
Pour éviter le très long développement que pourrait occasionner le calcul de πn\pi_n pour nn donné, nous allons utiliser la propriété suivante.

bannière propriete

Propriété

(Xn)nN(Xn){n\in \mathbb N} est une chaîne de Markov sur EE à 22 (ou 33) états.
Soit π0\pi0 la matrice ligne représentant sa distribution initiale ; πn\pin la matrice ligne représentant sa distribution après nn transitions ; et TT la matrice de transition de la chaîne XnX_n.

  • Pour tout entier naturel nn : πn+1=πn×T\pi{n+1}=\pin\times T.
  • Pour tout entier naturel nn : πn=π0×Tn\pin=\pi0\times T^n.

Démontrons ces propriétés en considérant un espace à 22 états, et commençons par la première. La démonstration suit le raisonnement que nous avons appliqué dans l’exemple précédent.

bannière demonstration

Démonstration

Soit nNn\in \mathbb N : nous cherchons à exprimer la matrice πn+1\pi{n+1} en fonction de la matrice πn\pin.

Par définition, πn+1=(p(Xn+1=1)p(Xn+1=2))\pi{n+1}=\begin{pmatrix} p(X{n+1}=1) & p(X_{n+1}=2) \end{pmatrix}, puisque la chaîne de Markov est à valeurs dans un espace à 22 états.

  • Calculons les coefficients de πn+1\pi_{n+1}.
  • D’après la loi des probabilités totales :

p(Xn+1=1)=p((Xn=1)(Xn+1=1))+p((Xn=2)(Xn+1=1))=p(Xn=1)×pXn=1(Xn+1=1)+p(Xn=2)×pXn=2(Xn+1=1)\begin{aligned} p(X{n+1}=1)&=p\big(\textcolor{#FFA500} {(Xn=1)\cap (X{n+1}=1)}\big) \ &\quad \quad \quad +p\big(\textcolor{#3CB371} {(Xn=2)\cap (X{n+1}=1)}\big) \ &=p(\textcolor{#FFA500}{Xn=1})\times p{\textcolor{#FFA500}{Xn=1}} (\textcolor{#FFA500}{X{n+1}=1}) \ &\quad \quad \quad +p(\textcolor{#3CB371}{Xn=2})\times p{\textcolor{#3CB371}{Xn=2}} (\textcolor{#3CB371}{X_{n+1}=1}) \end{aligned}

Nous reconnaissons les coefficients de πn=(p(Xn=1)p(Xn=2))\pin= \begin{pmatrix} p(\textcolor{#FFA500}{Xn=1}) & p(\textcolor{#3CB371}{Xn=2}) \end{pmatrix} et les probabilités conditionnelles d’obtenir Xn+1=1X{n+1}=1 sachant que Xn=1\textcolor{#FFA500}{Xn=1} ou Xn=2\textcolor{#3CB371}{Xn=2}.

  • De même, la loi des probabilités totales donne :

p(Xn+1=2)=p((Xn=1)(Xn+1=2))+p((Xn=2)(Xn+1=2))=p(Xn=1)×pXn=1(Xn+1=2)+p(Xn=2)×pXn=2(Xn+1=2)\begin{aligned} p(X{n+1}=2)&=p\big(\textcolor{#FFA500} {(Xn=1) \cap(X{n+1}=2)}\big) \ &\quad \quad \quad +p\big(\textcolor{#3CB371} {( Xn=2) (X{n+1}=2)}\big) \ &=p(\textcolor{#FFA500}{Xn=1})\times p{\textcolor{#FFA500}{Xn=1}} (\textcolor{#FFA500}{X{n+1}=2}) \ &\quad \quad \quad +p(\textcolor{#3CB371}{Xn=2})\times p{\textcolor{#3CB371}{Xn=2}} (\textcolor{#3CB371}{X_{n+1}=2}) \end{aligned}

Ici encore, nous trouvons les coefficients de πn\pin et les probabilités conditionnelles d’obtenir Xn+1=2X{n+1}=2 sachant que Xn=1\textcolor{#FFA500}{Xn=1} ou Xn=2\textcolor{#3CB371}{Xn=2}.

  • Or nous savons que la matrice de transition de la chaîne de Markov est la matrice dont les coefficients sont, pour tous ii et jj de {1,2}\lbrace1,\,2\rbrace, (T)i,j(T)_{i,j}, soit la probabilité de passer de l’état ii à l’état jj.

Ainsi : p(Xn+1=1)=p(Xn=1)×(T)1,1+p(Xn=2)×(T)2,1Et : p(Xn+1=2)=p(Xn=1)×(T)1,2+p(Xn=2)×(T)2,2\begin{aligned} \textcolor{#A9A9A9}{\text{Ainsi\ :\ }} p(X{n+1}=1)&=p(\textcolor{#FFA500}{Xn=1})\times \textcolor{#B22222} {(T){1,1}}+p(\textcolor{#3CB371}{Xn=2})\times \textcolor{#BDB76B} {(T){2,1}} \ \textcolor{#A9A9A9}{\text{Et\ :\ }} p(X{n+1}=2)&=p(\textcolor{#FFA500}{Xn=1})\times \textcolor{#B22222} {(T){1,2}}+p(\textcolor{#3CB371}{Xn=2})\times \textcolor{#BDB76B}{ (T){2,2}} \end{aligned}

  • Nous avons donc :

πn+1=((p(Xn+1=1)p(Xn+1=2))=(p(Xn=1)p(Xn=2))×((T)1,1(T)1,2(T)2,1(T)2,2)\begin{aligned} \pi{n+1}&=\begin{pmatrix} (p( X{n+1}=1) & p(X{n+1}=2) \end{pmatrix} \ &=\begin{pmatrix} p(\textcolor{#FFA500}{Xn=1}) & p(\textcolor{#3CB371}{Xn=2}) \end{pmatrix} \times \begin{pmatrix} \textcolor{#B22222} {(T){1,1}} & \textcolor{#B22222} {(T){1,2}} \ \textcolor{#BDB76B} {(T){2,1}} & \textcolor{#BDB76B} {(T)_{2,2}} \end{pmatrix} \end{aligned}

  • En conclusion, nous avons donc, pour tout nNn\in \mathbb N :

πn+1=πn×T\pi{n+1}=\pin\times T

Cette relation ressemble beaucoup à celle que nous avons pour les suites réelles géométriques.
Nous allons montrer la deuxième propriété par récurrence sur nn.

bannière demonstration

Démonstration

Pour tout entier naturel nn, nous voulons montrer la propriété PnPn : « πn=π0×Tn\pin=\pi_0\times T^n ».

  • Initialisation :

π0×T0=π0×I2 [ouˋ I2 est la matrice identiteˊ d’ordre 2]=π0\begin{aligned} \pi0\times T^0&= \pi0\times I2 \footnotesize{\textcolor{#A9A9A9}{\text{ [où $I_2$ est la matrice identité d’ordre 22]}}} \ &=\pi0 \end{aligned}

  • P0P_0 est vérifiée.
  • Hérédité :

Supposons que Pk:πk=π0×TkPk:\pik=\pi_0\times T^k est vraie pour un entier naturel kk quelconque.

  • Nous cherchons à démontrer que, alors, Pk+1P_{k+1} est vraie, c’est-à-dire :

πk+1=π0×Tk+1\pi{k+1}=\pi0\times T^{k+1}

D’après la propriété précédente, nous savons que :

πk+1=πk×T\pi{k+1}=\pik\times T

Utilisons l’hypothèse de récurrence :

πk+1=π0×Tk×T=π0×Tn+1\begin{aligned} \pi{k+1}&=\pi0\times T^k\times T \ &= \pi_0\times T^{n+1} \end{aligned}

  • Ainsi, nous avons montré que, si PkPk est vraie, alors Pk+1P{k+1} est vraie.
  • Conclusion :

Nous avons démontré que la proposition était vraie pour n=0n=0 et que, à partir de là, elle était héréditaire.

  • Nous pouvons conclure que la proposition est vraie pour tout nNn\in\mathbb N :

πn=π0×Tn\pin=\pi0\times T^n

bannière attention

Attention

La matrice πn=π0×Tn\pin=\pi0\times T^n se calcule en faisant le produit de π0\pi0 par TnT^n dans cet ordre.
Rappelons-nous que le produit de deux matrices n’est pas commutatif, surtout quand elles n’ont pas la même dimension. Ici, on ne peut pas calculer Tn×π0T^n\times \pi
0.

Cette dernière propriété amène également la propriété suivante.

bannière propriete

Propriété

(Xn)nN(Xn){n\in \mathbb N} est une chaîne de Markov sur EE à 22 (ou 33) états.
Soit TT sa matrice de transition et nNn\in \mathbb N^*.
Le coefficient (Tn)i,j(T^n)_{i,j} situé à la i-eˋmei \text{-ème} ligne et la j-ieˋmej \text{-ième} colonne de TnT^n est la probabilité de passer de l’état ii à l’état jj en nn transitions.

Reprenons maintenant notre exemple de l’association sportive pour montrer l’efficacité de ces propriétés.

bannière exemple

Exemple

Cherchons la distribution de la chaîne après 44 transitions.
D’après la propriété, nous avons π4=π0×T4\pi4=\pi0\times T^4 et nous connaissons :

π0=(0,30,60,1)et : T=(0,750,10,150,150,40,450,20,50,3)\begin{aligned} \pi_0&=\begin{pmatrix} 0,3 & 0,6 & 0,1 \end{pmatrix} \ \textcolor{#A9A9A9}{\text{et\ :\ }}T&=\begin{pmatrix} 0,75 & 0,1 & 0,15 \ 0,15 & 0,4 & 0,45 \ 0,2 & 0,5 & 0,3 \end{pmatrix} \end{aligned}

La calculatrice nous permet d’obtenir, en arrondissant à 10410^{-4} près :

T4=(0,47660,26640,25700,36070,33480,30460,36860,32980,3016)et : π4=π0×T4=(0,30,60,1)×(0,47660,26640,25700,36070,33480,30460,36860,32980,3016)=(0,39620,31370,2900)\begin{aligned} T^4&=\begin{pmatrix} 0,4766 & 0,2664 & 0,2570 \ 0,3607 & 0,3348 & 0,3046 \ 0,3686 & 0,3298 & 0,3016 \end{pmatrix} \ \ \textcolor{#A9A9A9}{\text{et\ :\ }} \pi4&=\pi0\times T^4 \ &=\begin{pmatrix} 0,3 & 0,6 & 0,1\end{pmatrix} \times \begin{pmatrix} 0,4766 & 0,2664 & 0,2570 \ 0,3607 & 0,3348 & 0,3046 \ 0,3686 & 0,3298 & 0,3016 \end{pmatrix} \ &=\begin{pmatrix} 0,3962 & 0,3137 & 0,2900 \end{pmatrix} \end{aligned}

Concrètement, après 44 transitions, donc au 5e5^\text{e} trimestre de la scolarité des inscrits :

  • la probabilité qu’un élève soit inscrit en handball sera d’environ 0,39620,3962 ;
  • celle qu’il soit inscrit en football sera d’environ 0,31370,3137 ;
  • et celle qu’il soit inscrit en volley-ball d’environ 0,290,29.

La matrice T4T^4 permet également de trouver les probabilités de passer d’un état à un autre en 44 transitions.
Prenons par exemple le coefficient (T4)2,2(T^4 )_{2,2}. C’est la probabilité que l’élève, initialement inscrit en football, soit inscrit en football en 44 transitions.

  • Lisons le coefficient : cette probabilité vaut 0,33480,3348.

Dans cette partie, nous avons rencontré les chaînes de Markov qui permettent de calculer, dans certaines conditions, l’état probabiliste d’un processus.
Nous pouvons nous interroger : existe-t-il, comme pour les suites, une limite de ces chaînes, c’est-à-dire : le processus peut-il se stabiliser ? C’est ce que nous allons voir dans le prochain point.

Distributions invariantes d’une chaîne de Markov à 22 ou 33 états

Distribution invariante d’une chaîne de Markov

Prenons l’exemple de la chaîne de Markov suivante.

bannière exemple

Exemple

Soit (Xn)nN(Xn){n\in \mathbb N} une chaîne de Markov à 22 états dont on donne le graphe probabiliste et la matrice de transition TT ci-dessous :

Alt texte Image temporaire

T=(0,20,80,60,4)T=\begin{pmatrix} 0,2 & 0,8 \ 0,6 & 0,4 \end{pmatrix}

Supposons que la distribution initiale est :

π0=(3747)\pi_0=\begin{pmatrix} \dfrac 37 & \dfrac 47 \end{pmatrix}

Nous savons que π1=π0×T\pi1=\pi0\times T (nous notons les coefficients de TT sous forme de fraction) :

π1=π0×T=(3747)×(111545113525)=(3747)\begin{aligned} \pi1 &=\pi0\times T \ &=\begin{pmatrix} \dfrac 37 & \dfrac 47 \end{pmatrix}\times \begin{pmatrix} \vphantom{\dfrac 11}\frac 15 & \frac 45 \ \vphantom{\dfrac 11}\frac 35 & \frac 25 \end{pmatrix} \ &=\begin{pmatrix} \dfrac 37 & \dfrac 47 \end{pmatrix} \end{aligned}

  • Nous avons donc π1=π0\pi1=\pi0.

Or, pour tout entier naturel nn, πn+1=πn×T\pi{n+1}=\pin\times T.
Ainsi, π2=π1×T=π0×T=π0\pi2=\pi1\times T=\pi0\times T=\pi0.
Et nous pouvons écrire la même chose pour tous les πn\pi_n qui suivent. Pour cette distribution initiale-là, la distribution après nn transitions est toujours égale à la distribution initiale.

  • On parle de distribution invariante.
bannière definition

Définition

Distribution invariante d’une chaîne de Markov :

Soit (Xn)nN(Xn){n\in \mathbb N} une chaîne de Markov à 22 (ou 33) états et TT sa matrice de transition. Supposons qu’il existe π\pi une matrice ligne à 22 (ou 33) colonnes telle que :

  • π=π×T\pi=\pi\times T ;
  • et la somme des coefficients de π\pi est égale à 11.

Cette matrice est alors appelée distribution invariante de la chaîne de Markov.

bannière à retenir

À retenir

Pour prouver qu’une matrice ligne π\pi est une distribution invariante d’une chaîne de Markov, il suffit de calculer π×T\pi\times T et de prouver que cette matrice est π\pi.

Prenons maintenant un exemple où nous devons chercher une distribution invariante.

bannière exemple

Exemple

Considérons une chaîne de Markov dont la matrice de transition est :

T=(0,70,20,10,150,70,150,20,50,3) T= \begin{pmatrix} 0,7 & 0,2 & 0,1 \ 0,15 & 0,7 & 0,15 \ 0,2 & 0,5 & 0,3 \end{pmatrix}

Nous cherchons s’il existe une distribution invariante pour cette chaîne de Markov.

bannière à retenir

À retenir

Méthodologie :

On cherche une distribution invariante pour une chaîne de Markov : il faut résoudre l’équation matricielle (E):π=π×T(E):\pi=\pi\times T :

  • On nomme les coefficients de π=(abc)\pi=\begin{pmatrix} a & b & c \end{pmatrix} (π=(ab)\pi=\begin{pmatrix} a & b \end{pmatrix} s’il y a 22 états).
  • On calcule la matrice ligne π×T\pi\times T.
  • L’équation (E)(E) devient un système de 33 équations à 33 inconnues (resp. de 22 équations à 22 inconnues), que l’on résout.
  • On n’oublie pas de vérifier que la somme des coefficients de π\pi est égale à 11.

Appliquons cette méthode à notre exemple.

  • Notons une matrice ligne π=(abc)\pi=\begin{pmatrix} a & b & c \end{pmatrix}.
  • Nous voulons résoudre π=π×T\pi=\pi\times T.
  • Calculons π×T\pi\times T :

π×T=(abc)×(0,70,20,10,150,70,150,20,50,3)=(0,7a+0,15b+0,2c0,2a+0,7b+0,5c0,1a+0,15b+0,3c)\begin{aligned} \pi\times T &= \begin{pmatrix} a & b & c \end{pmatrix}\times \begin{pmatrix} 0,7 & 0,2 & 0,1 \ 0,15 & 0,7 & 0,15 \ 0,2 & 0,5 & 0,3 \end{pmatrix} \ &=\begin{pmatrix} 0,7a+0,15b+0,2c & 0,2a+0,7b+0,5c & 0,1a+0,15b+0,3c \end{pmatrix} \end{aligned}

  • π=π×T\pi=\pi\times T, donc leurs coefficients sont deux à deux égaux.

Nous obtenons ainsi :

π=π×T{a=0,7a+0,15b+0,2cb=0,2a+0,7b+0,5cc=0,1a+0,15b+0,3c{0,3a0,15b0,2c=0L10,2a+0,3b0,5c=0L20,1a0,15b+0,7c=0L3\begin{aligned} \pi=\pi\times T &\Leftrightarrow\begin{cases} a=0,7a+0,15b+0,2c \ b=0,2a+0,7b+0,5c \ c=0,1a+0,15b+0,3c \end{cases} \ &\Leftrightarrow \begin{cases} 0,3a-0,15b-0,2c=0 & \footnotesize{\textcolor{#A9A9A9}{L1}} \ -0,2a+0,3b-0,5c=0 & \footnotesize{\textcolor{#A9A9A9}{L2}} \ -0,1a-0,15b+0,7c=0 & \footnotesize{\textcolor{#A9A9A9}{L_3}}\end{cases} \end{aligned}

Nous allons résoudre ce système par combinaison : nous allons éliminer le aa de L1L1 et L2L2 en utilisant L3L_3, que nous conservons (nous indiquons en gris les opérations sur les lignes que nous effectuons) :

π=π×T{0,15b0,2c0,45b+2,1c=0L1L1+3L30,3b0,5c+0,3b1,4c=0L2L22L30,1a0,15b+0,7c=0L3L3{0,6b+1,9c=00,6b1,9c=00,1a0,15b+0,7c=0{0,6b=1,9c0,6b=1,9c0,1a0,15b+0,7c=0\begin{aligned} \pi=\pi\times T&\Leftrightarrow \begin{cases} -0,15b-0,2c-0,45b+2,1c=0 & \footnotesize{\textcolor{#A9A9A9}{L1\leftarrow L1+3 L3}} \ 0,3b-0,5c+0,3b-1,4c=0 & \footnotesize{\textcolor{#A9A9A9}{L2\leftarrow L2-2L3}} \ -0,1a-0,15b+0,7c=0 & \footnotesize{\textcolor{#A9A9A9}{L3\leftarrow L3}}\end{cases} \ &\Leftrightarrow \begin{cases} -0,6 b+1,9 c=0 \ 0,6 b-1,9c=0 \ -0,1a-0,15b+0,7c=0 \end{cases} \ &\Leftrightarrow\begin{cases} 0,6 b=1,9 c \ 0,6 b=1,9 c \ -0,1a-0,15b+0,7c=0 \end{cases} \ \end{aligned}

En remplaçant bb par son expression en fonction de cc dans L3L_3, nous obtenons :

π=π×T{b=196c0,1a0,15×196c+0,7c=0{b=196c0,1a=940c{b=196ca=94c\begin{aligned} \pi=\pi\times T &\Leftrightarrow \begin{cases} b=\frac{19}6 c \ -0,1a-0,15\times \frac{19}6 c+0,7c=0 \end{cases} \ &\Leftrightarrow \begin{cases} b=\frac{19}6 c \ 0,1 a=\frac 9{40} c \end{cases} \ &\Leftrightarrow \begin{cases} b=\frac{19}6 c \ a=\frac 94 c \end{cases} \end{aligned}

Nous n’avons plus que 22 équations pour 33 inconnues. Rappelons-nous alors que a+b+c=1a+b+c=1. Nous avons donc :

94c+196c+c=1Soit : 7712c=1Donc : c=1277\begin{aligned} \dfrac 94 c+ \dfrac {19}6 c+c&=1 \ \textcolor{#A9A9A9}{\text{Soit\ :\ }} \dfrac{77}{12} c&=1 \ \textcolor{#A9A9A9}{\text{Donc\ :\ }} c&=\dfrac {12}{77} \end{aligned}

  • Nous en déduisons les autres coefficients de la matrice ligne π\pi :

a=94×1277=2777et : b=196×1277=3877\begin{aligned} a&=\dfrac 94\times \dfrac {12}{77} \ &=\dfrac{27}{77} \ \textcolor{#A9A9A9}{\text{et\ :\ }} b&=\dfrac{19}6\times \dfrac{12}{77} \ &=\dfrac {38}{77} \end{aligned}

  • En conclusion, la chaîne de Markov associée à la matrice TT admet bien une distribution invariante et celle-ci est :

π=(277738771277)\pi=\begin{pmatrix} \dfrac{27}{77} & \dfrac{38}{77} & \dfrac{12}{77} \end{pmatrix}

bannière attention

Attention

Exerçons notre esprit critique en vérifiant que les coefficients de la matrice π\pi sont bien des nombres de [0 ;1][0\ ;\, 1].

Nous avons vu comment chercher une distribution invariante, et la trouver lorsqu’elle existe. Pour prouver l’existence d’une telle distribution, nous pourrons utiliser le résultat suivant.

Existence d’une distribution invariante pour une chaîne de Markov

Reprenons la chaîne de Markov du paragraphe précédent.
Et supposons maintenant que la distribution initiale est :

π0=(0,30,7)\pi_0=\begin{pmatrix} 0,3 & 0,7 \end{pmatrix}

Déterminons, à l’aide de la calculatrice π1\pi1, π5\pi5, π10\pi{10}, π20\pi{20} et π30\pi_{30} en prenant des valeurs arrondies à 10510^{-5} près.

  • Nous obtenons :

π1=π0×T=(0,30,7)×(0,20,80,60,4)=(0,480,52)π0[π0 n’est donc pas une distribution invariante]π5=π0×T5=(0,30,7)×(0,20,80,60,4)5=(0,429890,57011)π10=π0×T10=(0,30,7)×(0,20,80,60,4)10=(0,428560,57144)π20=π0×T20=(0,30,7)×(0,20,80,60,4)20=(0,428570,57143)π30=π0×T30=(0,30,7)×(0,20,80,60,4)30=(0,428570,57143)\begin{aligned} \pi1&=\pi0\times T \ &=\begin{pmatrix} 0,3 & 0,7 \end{pmatrix}\times \begin{pmatrix} 0,2 & 0,8 \ 0,6 & 0,4 \end{pmatrix} \ &=\begin{pmatrix} 0,48 & 0,52 \end{pmatrix} \ &\neq \pi0 \ &\footnotesize{\textcolor{#A9A9A9}{\text{[$\pi_0$ n’est donc pas une distribution invariante]}}} \ \ \pi5&=\pi0\times T^5 \ &=\begin{pmatrix} 0,3&0,7 \end{pmatrix} \times \begin{pmatrix} 0,2 & 0,8 \ 0,6 & 0,4 \end{pmatrix}^5 \ &=\begin{pmatrix} 0,42989 & 0,57011 \end{pmatrix} \ \ \pi{10}&=\pi0\times T^{10} \ &=\begin{pmatrix} 0,3 & 0,7 \end{pmatrix}\times \begin{pmatrix} 0,2 & 0,8 \ 0,6 & 0,4 \end{pmatrix}^{10} \ &=\begin{pmatrix} 0,42856 & 0,57144 \end{pmatrix} \ \ \pi{20}&=\pi0\times T^{20} \ &=\begin{pmatrix} 0,3 & 0,7 \end{pmatrix}\times \begin{pmatrix} 0,2 & 0,8 \ 0,6 & 0,4 \end{pmatrix}^{20} \ &=\begin{pmatrix} 0,42857 & 0,57143 \end{pmatrix} \ \ \pi{30}&=\pi_0\times T^{30} \ &=\begin{pmatrix} 0,3 & 0,7 \end{pmatrix}\times \begin{pmatrix} 0,2 & 0,8 \ 0,6 & 0,4 \end{pmatrix}^{30} \ &=\begin{pmatrix} 0,42857 & 0,57143 \end{pmatrix} \end{aligned}

Nous constatons que les coefficients de la matrice ligne πn\pin semblent tendre respectivement vers 22 valeurs.
Nous constatons également que : 370,42857\frac 37\approx 0,42857 et 470,57143\frac 47\approx 0,57143.
Tout se passe comme si la suite de matrices (πn)(\pi
n) convergeait vers la distribution invariante.

  • Dans ce cas, nous dirons que le processus se stabilise autour d’un état probabiliste au bout d’un certain temps.

Nous admettons la propriété suivante.

bannière propriete

Propriété

Soit (Xn)nN(Xn){n\in \mathbb N} une chaîne de Markov à $2$ (ou 33) états et TT sa matrice de transition.
Si la matrice TT n’a pas de coefficient égal à 00, alors la suite des matrices lignes (πn)nN(\pin){n\in \mathbb N} converge vers une distribution invariante.

  • De plus, cette distribution est unique.

Cette propriété nous permet de trouver les états stables des chaînes de Markov.
Dans notre exemple, la distribution converge vers la distribution invariante :

(3747)\begin{pmatrix} \dfrac 37 & \dfrac 47 \end{pmatrix}

Revenons maintenant sur notre tout premier exemple.

bannière exemple

Exemple

Nous avons étudié l’achat de deux marques $A$ et $B$.
Reprenons le graphe probabiliste :

Alt texte Image temporaire

Nous supposons que c’est une chaîne de Markov qui est représentée : à savoir que les clients n’achètent un produit qu’en fonction de celui qu’ils ont acheté la semaine précédente, et que cet achat n’est pas conditionné par la semaine choisie.

  • La matrice de transition associée à cette chaîne de Markov est :

T=(0,40,60,70,3)T=\begin{pmatrix} 0,4 & 0,6 \ 0,7 & 0,3 \end{pmatrix}

D’après la propriété ci-dessus, comme les coefficients de TT sont tous non nuls, les distributions de la chaîne de Markov vont tendre vers une distribution particulière qui est la distribution invariante.

  • Avec la même méthode développée ci-dessus, nous trouvons que la distribution invariante est :

π=(713613)\pi=\begin{pmatrix} \dfrac 7{13} & \dfrac 6{13} \end{pmatrix}

Concrètement, au bout d’un certain nombre de semaines, les habitudes des clients achetant ce produit se stabilisent :

  • 713\frac 7{13} des clients achètent la marque $A$ ;
  • 613\frac 6{13}