Processus de Markov à temps continu

En théorie des probabilités, un processus de Markov à temps continu, ou chaîne de Markov à temps continu est une variante à temps continu du processus de Markov. Plus précisément, c'est un modèle mathématique à valeur dans un ensemble dénombrable, les états, dans lequel le temps passé dans chacun des états est une variable aléatoire réelle positive, suivant une loi exponentielle.

Cet objet est utilisé pour modéliser l'évolution de certains systèmes, comme les files d'attente.

Idée générale

Fonctions de densité de lois exponentielles de paramètre λ.

Une chaîne de Markov à temps continu (Xt)t≥0 est un processus stochastique. Chaque Xt est une variable aléatoire qui indique dans quel état le système se trouve à l'instant t. Par exemple, il peut faire beau ou alors pleuvoir. Supposons qu'il fasse beau au début, autrement X0 = beau. Le processus reste pendant un moment dans l'état beau. Par exemple X0 = ... = X0.001... = X0.401... = X0.499... = beau. Puis par exemple, le processus change d'état au temps 0.5, et va dans l'état pluie. Le temps d'attente dans l'état beau suit une loi exponentielle (voir fonctions de densité dans la figure de droite) d'un certain paramètre. Là dans l'exemple, le temps d'attente était de 0.5. Puis le processus reste un moment dans l'état pluie X0.5 = ... = X0.656... = pluie.

Définitions formelles

Dans cette section, nous donnons d'abord les éléments qui permettent de caractériser une chaîne de Markov à temps continu. Puis nous donnerons plusieurs définitions équivalentes alternatives qui utilisent ces éléments pour définir le processus (Xt)t≥0.

Caractérisation

Une chaîne de Markov est caractérisée par :

  • un ensemble S fini ou dénombrable d'états ;
  • une distribution initiale sur l'ensemble des états ;
  • une matrice Q de taux de transition, aussi appelée générateur infinitésimal.

La matrice Q est de dimension |S|². Étant donnés deux états différents i ≠ j, les éléments qij de la matrice Q sont des réels positifs qui quantifient la vitesse de transition de l'état i vers l'état j. Les éléments qii sont choisis pour que les colonnes de chaque ligne somment à zéro, i.e.

q i i = − ∑ j ≠ i q i j {\displaystyle q_{ii}=-\sum _{j\neq i}q_{ij}} .

Définitions équivalentes

Il existe plusieurs façons équivalentes de définir le processus (Xt)t≥0[1].

Définition infinitésimale

Soit Xt la variable aléatoire décrivant l'état du processus au temps t. Pour tous t et h positifs, conditionnellement à {Xt = i}, Xt + h est indépendant de (Xs : s≤ t) et, pour h tendant vers 0, on a pour tout états i et j,

Pr ( X ( t + h ) = j ∣ X ( t ) = i ) = δ i j + q i j h + o ( h ) , {\displaystyle \Pr(X(t+h)=j\mid X(t)=i)=\delta _{ij}+q_{ij}h+o(h),}

où δij vaut 1 si i=j et 0 sinon (il s'agit d'un delta de Kronecker), qij est l'élément à la ligne i et à la colonne j dans la matrice Q, et o ( h ) {\displaystyle o(h)} désigne une fonction négligeable devant h {\displaystyle h} (voir notation de Landau).

Définition par les sauts

Le processus peut rester dans un état un certain temps puis changer d'état : on parle de saut. Soit Yn l'état du processus après son n-ième saut et Sn le temps passé dans l'état Yn. Alors (Yn)n≥0 est une chaîne de Markov à temps discret et, conditionnellement à (Y0, ..., Yn), les temps d'attente (S0, ..., Sn) sont des variables exponentielles indépendantes de paramètres respectifs ( − q Y 0 Y 0 , … , − q Y n Y n ) {\displaystyle (-q_{Y_{0}Y_{0}},\ldots ,-q_{Y_{n}Y_{n}})} .

Définition par les probabilités de transitions

Pour tous les instant t0, t1, ... et pour tous les états i0, i1, ... correspondants, on a

Pr ( X t n + 1 = i n + 1 | X t 0 = i 0 , X t 1 = i 1 , … , X t n = i n ) = p i n i n + 1 ( t n + 1 − t n ) , {\displaystyle \Pr(X_{t_{n+1}}=i_{n+1}|X_{t_{0}}=i_{0},X_{t_{1}}=i_{1},\ldots ,X_{t_{n}}=i_{n})=p_{i_{n}i_{n+1}}(t_{n+1}-t_{n}),}

où pij est la fonction solution de l'équation de Kolmogorov (en) :

P ′ ( t ) = P ( t ) Q , {\displaystyle P'(t)=P(t)Q,}

avec pour condition initiale P(0) = I, la matrice identité. La résolution de cette équation conduit alors à

P ( t ) = e t Q . {\displaystyle P(t)=e^{tQ}.}

Propriétés

Irréductibilité

Un état j est dit accessible à partir d'un autre état i (écrit i → j) s'il est possible d'obtenir j à partir de i. C'est-à-dire, si :

∃ t ≥ 0 ,  Pr i ⁡ ( X ( t ) = j ) > 0. {\displaystyle \exists {t}\geq 0{\text{, }}\operatorname {Pr} _{i}(X(t)=j)>0.}

On dit d'un état i qu'il communique avec un état j (écrit i ↔ j) si i → j et j → i. Un ensemble d'états C est une classe communicante si chaque paire d'états dans C communiquent entre eux, et si aucun état dans C ne communique avec un état non-présent dans C. Puisque la communication est une relation d'équivalence, l'espace d'états S peut être partitionné en un ensemble de classes communicantes. Un processus de Markov à temps continu est irréductible si l'espace S entier est une classe communicante unique.

Pour tout i {\displaystyle i} et j {\displaystyle j} dans une même classe communicante C, on peut montrer (en utilisant des propriétés de sous-additivité) que la limite

lim t → + ∞ log ⁡ p i , j ( t ) t {\displaystyle \lim _{t\to +\infty }{\frac {\log p_{i,j}(t)}{t}}}

existe et ne dépend ni de i {\displaystyle i} ni de j {\displaystyle j}  ; on la note λ ( C ) {\displaystyle \lambda (C)} .

Démonstration

On a p i , i ( s + t ) ≥ p i , i ( s ) p i , i ( t ) {\displaystyle p_{i,i}(s+t)\geq p_{i,i}(s)p_{i,i}(t)} . Posons ϕ i ( t ) = − log ⁡ p i , i ( t ) {\displaystyle \phi _{i}(t)=-\log p_{i,i}(t)} . Alors ϕ i ( t ) ≥ 0 {\displaystyle \phi _{i}(t)\geq 0} et ϕ i ( s + t ) ≤ ϕ i ( s ) + ϕ i ( t ) {\displaystyle \phi _{i}(s+t)\leq \phi _{i}(s)+\phi _{i}(t)} . Cette sous-additivité entraîne que la limite

λ i = lim t → + ∞ ϕ i ( t ) t = inf t ≥ 0 ϕ i ( t ) t {\displaystyle \lambda _{i}=\lim _{t\to +\infty }{\frac {\phi _{i}(t)}{t}}=\inf _{t\geq 0}{\frac {\phi _{i}(t)}{t}}}

existe avec λ i ≥ 0 {\displaystyle \lambda _{i}\geq 0} . Donc ϕ i ( t ) ≥ λ i t {\displaystyle \phi _{i}(t)\geq \lambda _{i}t} et p i , i ( t ) ≤ e − λ i t {\displaystyle p_{i,i}(t)\leq e^{-\lambda _{i}t}} . Par ailleurs,

p i , j ( a ) p j , j ( t ) p j , i ( b ) ≤ p i , i ( t + a + b ) ≤ e − λ i ( t + a + b ) . {\displaystyle p_{i,j}(a)p_{j,j}(t)p_{j,i}(b)\leq p_{i,i}(t+a+b)\leq e^{-\lambda _{i}(t+a+b)}.}

Donc p j , j ( t ) ≤ K e − λ i t {\displaystyle p_{j,j}(t)\leq Ke^{-\lambda _{i}t}} et λ j ≥ λ i {\displaystyle \lambda _{j}\geq \lambda _{i}} . En inversant les rôles de i {\displaystyle i} et j {\displaystyle j} , on trouve que λ i = λ j = λ {\displaystyle \lambda _{i}=\lambda _{j}=\lambda } . Enfin,

log ⁡ p i , j ( a ) t + log ⁡ p j , j ( t − a ) t ≤ log ⁡ p i , j ( t ) t ≤ log ⁡ p j , j ( t + a ) t − log ⁡ p j , i ( a ) t . {\displaystyle {\frac {\log p_{i,j}(a)}{t}}+{\frac {\log p_{j,j}(t-a)}{t}}\leq {\frac {\log p_{i,j}(t)}{t}}\leq {\frac {\log p_{j,j}(t+a)}{t}}-{\frac {\log p_{j,i}(a)}{t}}.}

Le membre de gauche tend vers − λ {\displaystyle -\lambda } . Le membre de droite aussi. Donc ( log ⁡ p i , j ( t ) ) / t {\displaystyle (\log p_{i,j}(t))/t} tend vers − λ {\displaystyle -\lambda } .

Par exemple, dans une chaîne où l'état 0 est absorbant, où les états {1,2,...} forment une classe communicante et où le système est absorbé par l'état 0 presque sûrement, la limite donne le taux d'absorption de la chaîne, parfois appelé paramètre de Kingman.

Autre exemple. Considérons la marche aléatoire sur l'ensemble des entiers relatifs { . . . , − 2 , − 1 , 0 , 1 , 2 , . . . } {\displaystyle \{...,-2,-1,0,1,2,...\}} dont le générateur est donné par Q i , i = − 1 {\displaystyle Q_{i,i}=-1} , Q i , i + 1 = p {\displaystyle Q_{i,i+1}=p} ( 0 < p < 1 ) {\displaystyle (0<p<1)} , Q i , i − 1 = q = 1 − p {\displaystyle Q_{i,i-1}=q=1-p} et Q i , j = 0 {\displaystyle Q_{i,j}=0} pour les autres indices. La matrice Q {\displaystyle Q} est une matrice de Toeplitz tridiagonale. Alors

lim t → + ∞ log ⁡ p i , j ( t ) t = 2 p q − 1. {\displaystyle \lim _{t\to +\infty }{\frac {\log p_{i,j}(t)}{t}}=2{\sqrt {pq}}-1.}

On remarque que la limite est strictement négative si p ≠ 1 / 2 {\displaystyle p\neq 1/2} et nulle si p = 1 / 2 {\displaystyle p=1/2} .

Démonstration

Le système se déplace d'un pas vers la droite avec une probabilité p {\displaystyle p} et d'un pas vers la gauche avec une probabilité q {\displaystyle q} au bout d'un temps distribué exponentiellement de moyenne 1. Au bout d'un temps t {\displaystyle t} , il y aura eu j {\displaystyle j} sauts avec une probabilité e − t t j / j ! {\displaystyle e^{-t}t^{j}/j!} (c'est un processus de Poisson). Le système se sera finalement déplacé de k {\displaystyle k} pas vers la droite ( k ≥ 0 {\displaystyle k\geq 0} ) s'il a effectué k + r {\displaystyle k+r} pas vers la droite et r {\displaystyle r} pas vers la gauche (donc un total de k + 2 r {\displaystyle k+2r} pas). Donc

p i , i + k ( t ) = ∑ r = 0 + ∞ e − t t k + 2 r ( k + 2 r ) ! ( k + 2 r r ) q r p k + r {\displaystyle p_{i,i+k}(t)=\sum _{r=0}^{+\infty }e^{-t}{\frac {t^{k+2r}}{(k+2r)!}}{k+2r \choose r}q^{r}p^{k+r}}

si k ≥ 0 {\displaystyle k\geq 0} . On remarque que

p i , i + k ( t ) = e − t ( p / q ) k / 2 ∑ r = 0 + ∞ ( p q t ) k + 2 r r ! ( k + r ) ! = e − t ( p / q ) k / 2 I k ( 2 t p q ) , {\displaystyle p_{i,i+k}(t)=e^{-t}(p/q)^{k/2}\sum _{r=0}^{+\infty }{\frac {({\sqrt {pq}}t)^{k+2r}}{r!(k+r)!}}=e^{-t}(p/q)^{k/2}I_{k}(2t{\sqrt {pq}}),}

où I k ( ⋅ ) {\displaystyle I_{k}(\cdot )} est la fonction de Bessel modifiée de première espèce. De même,

p i , i − k ( t ) = ∑ r = 0 + ∞ e − t t k + 2 r ( k + 2 r ) ! ( k + 2 r r ) p r q k + r = e − t ( p / q ) − k / 2 I k ( 2 t p q ) {\displaystyle p_{i,i-k}(t)=\sum _{r=0}^{+\infty }e^{-t}{\frac {t^{k+2r}}{(k+2r)!}}{k+2r \choose r}p^{r}q^{k+r}=e^{-t}(p/q)^{-k/2}I_{k}(2t{\sqrt {pq}})}

si k < 0 {\displaystyle k<0} . Finalement,

p i , j ( t ) = e − t ( p / q ) ( j − i ) / 2 I | j − i | ( 2 t p q ) . {\displaystyle p_{i,j}(t)=e^{-t}(p/q)^{(j-i)/2}I_{|j-i|}(2t{\sqrt {pq}}).}

Comme I n ( x ) ∼ e x / 2 π x {\displaystyle I_{n}(x)\sim e^{x}/{\sqrt {2\pi x}}} quand x → + ∞ {\displaystyle x\to +\infty } , on a donc

lim t → + ∞ log ⁡ p i , j ( t ) t = 2 p q − 1. {\displaystyle \lim _{t\to +\infty }{\frac {\log p_{i,j}(t)}{t}}=2{\sqrt {pq}}-1.}

Applications

Théorie des files d'attente

M/M/1 queue diagram
Une file M/M/1

Un domaine d'application des processus de Markov à temps continu est la théorie des files d'attente. Par exemple une file M/M/1 (selon la notation de Kendall) est un modèle où un processeur doit traiter des requêtes, qui s'accumulent (dans l'ordre) dans une file d'attente. Les requêtes arrivent suivant une loi exponentielle de taux λ {\displaystyle \lambda } et le processeur les traite avec une loi exponentielle de taux μ {\displaystyle \mu } . La chaîne sous-jacente est la suivante :

Et la matrice (générateur infinitésimal) de taux est :

Q = ( − λ λ μ − ( μ + λ ) λ μ − ( μ + λ ) λ μ − ( μ + λ ) λ ⋱ ) {\displaystyle Q={\begin{pmatrix}-\lambda &\lambda \\\mu &-(\mu +\lambda )&\lambda \\&\mu &-(\mu +\lambda )&\lambda \\&&\mu &-(\mu +\lambda )&\lambda &\\&&&&\ddots \end{pmatrix}}}

Notes et références

  • (en) Cet article est partiellement ou en totalité issu de l’article de Wikipédia en anglais intitulé « Continuous-time Markov chain » (voir la liste des auteurs).
  1. ↑ (Norris 1997, Théorème 2.8.2)

Bibliographie

  • P. Désesquelles : Les processus de Markov en biologie, sociologie, géologie, chimie, physique et applications industrielles. Ellipses, 2016.
  • E. Pardoux : Processus de Markov et applications. Dunod, 2007.
  • B. Sericola : Chaînes de Markov - Théorie, algorithmes et applications. Lavoisier, 2013.
  • (en) J. R. Norris, Markov Chains, Cambridge University Press,
  • J.F.C. Kingman : The exponential decay of Markov transition probabilities. Proc. London Math. Soc. (1963) 337-358.

Lien externe

Chapitre « Processus de Poisson » du cours de maîtrise « Modèles stochastiques » (2002) de Dominique Bakry sur le sujet, plus orienté vers la théorie de la mesure.

v · m
Nœuds de file d'attente uniques
  • D/M/1 queue (en)
  • M/D/1 queue (en)
  • M/D/c queue (en)
  • file M/M/1
  • Burke's theorem (en)
  • M/M/c queue (en)
  • M/M/∞ queue (en)
  • M/G/1 queue (en)
  • Formule de Pollaczek-Khinchine
  • Matrix analytic method (en)
  • M/G/k queue (en)
  • G/M/1 queue (en)
  • G/G/1 queue (en)
  • Kingman's formula (en)
  • Lindley equation (en)
  • Fork–join queue (en)
  • Bulk queue (en)
Processus d'arrivée
File de réseau
  • Jackson network (en)
  • Traffic equations (en)
  • Gordon–Newell theorem (en)
  • Mean value analysis (en)
  • Buzen's algorithm (en)
  • Kelly network (en)
  • G-network (en)
  • BCMP network (en)
Politique de services
Concepts clés
  • Processus de Markov à temps continu
  • Notation de Kendall
  • Théorie des files d'attente
  • Product-form solution (en)
  • Balance equation (en)
  • Quasireversibility (en)
  • Flow-equivalent server method (en)
  • Arrival theorem (en)
  • Decomposition method (queueing theory) (en)
  • Beneš method (en)
Limite des théorèmes
  • Fluid limit (en)
  • Mean field theory
  • Heavy traffic approximation (en)
  • Reflected Brownian motion (en)
Extensions
  • Fluid queue (en)
  • Layered queueing network (en)
  • Polling system (en)
  • Adversarial queueing network (en)
  • Loss network (en)
  • icône décorative Portail des probabilités et de la statistique