Modèles probabilistes d'aide à la décision

6. Distributions stationnaires d'une chaîne de Markov

Chapitre 6 DISTRIBUTIONS STATIONNAIRES D'UNE CHAÎNE DE MARKOV Soit {Xn, n ≥ 0} une chaîne de Markov dont l'espace des états est l'ensemble dénombrable I et la matrice des probabilités de transition est P. S'il existe des nombres non négatifs πi, i Є I dont la somme est égale à 1 et tels que : Dans ces conditions, comme nous le verrons par la suite, la distribution de probabilité de Xn tend vers la distribution π lorsque n → ∞, et cela quelle que soit la distribution de probabilité initiale. Dans ce chapitre, nous allons étudier si une chaîne de Markov donnée admet une distribution stationnaire, si cette distribution est unique, et si la relation (6.1.2) est vérifiée. Nous chercherons quel est la distribution {πi, i Є I} est appelée distribution de probabilité stationnaire. Supposons qu'il existe une certaine distribution de probabilité stationnaire π = {πi, i Є I} pour la chaîne de Markov {Xn, n ≥ 0}, et que : 366 MODÈLES PROBABILISTES D'AIDE À LA DÉCISION le comportement de la chaîne après un grand nombre de transitions. La question centrale est celle de la "stabilité" ou de l'état d'équilibre : le système converge-t-il, indépendamment de la distribution de probabilité initiale, vers une certaine distribution de probabilité limite ? Nous avons déjà soulevé la question de l'existence d'un état d'équilibre dans la section 5.4.5 à propos de l'étude de la fidélité à la marque. Calculons le nombre de clientes des marques A, B et C après n périodes comme nous l'avons fait dans la section 5.4.5 pour n = 1 et 2. Les résultats de ce calcul sont donnés dans le tableau 6.1.1. On remarque que le nombre de clientes de chaque marque atteint un état d'équilibre après 15 périodes. L'état d'équilibre est caractérisé par les nombres de clientes suivants : 2 332 (ou 33,3 % du marché) pour la marque A, 2 723 (ou 38,9 % du marché) pour la marque B et 1945 (ou 27,8 % du marché) pour la marque C. TABLEAU 6.1.1 : NOMBRE DE CLIENTES APRÈS n PÉRIODES n A B C 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 2 000 2100 2170 2 219 2 253 2 277 2 294 2 306 2 314 2 320 2 324 2 327 2 329 2 330 2 331 2 332 2 332 4 000 3 300 3 000 2 866 2 803 2 770 2 753 2 742 2 736 2 731 2 729 2 727 2 725 2 724 2 724 2 723 2 723 1000 1600 1830 1915 1944 1953 1953 1952 1950 1949 1947 1946 1946 1946 1945 1945 1945 DISTRIBUTIONS STATIONNAIRES 367 Pour cet exemple, l'existence d'un état d'équilibre paraît logique. En effet, si une cliente utilise maintenant la marque B, les probabilités que cette cliente utilise la marque A ou la marque C dans vingt périodes sont vraisemblablement les mêmes que celles pour qu'elle utilise ces mêmes marques dans vingt et une périodes. De même, le fait qu'une cliente utilise maintenant la marque B n'a probablement pas grande importance dans la détermination de son choix dans vingt périodes. Par conséquent, indépendamment de son choix initial, après un nombre suffisant de périodes, les parts de marché vont se stabiliser. Le lecteur s'assurera que le vecteur π = (0,333 , 0,389 , 0,278) satisfait les conditions (6.1.1). Il résulte du tableau 6.1.1 que les conditions (6.1.2) sont vérifiées. 6.1 PROPRIÉTÉS ÉLÉMENTAIRES DES DISTRIBUTIONS STATIONNAIRES Soit π une distribution stationnaire de la chaîne de Markov {Xn, n ≥ 0}. Nous avons, en utilisant l'équation de Chapman-Kolmogorov et la relation (6.1.1) : Si maintenant la distribution de probabilité initiale, c'est-à-dire la distribution de X0, est égale à la distribution stationnaire π, nous avons : 368 MODÈLES PROBABILISTES D'AIDE À LA DÉCISION Il en résulte que la distribution de probabilité de Xn est indépendante de n. Supposons réciproquement que la distribution de probabilité de Xn soit indépendante de n...