Teoremas Markovianos

Teorema 01

Si en cada paso hay una probabilidad constante p de obtener un resultado favorable, el número esperado de pasos hasta obtener el primer caso favorable es 1/p.

Si q = 1 - p a la probabilidad de obtener un resultado desfavorable







Teorema 02

Cadenas Absorbentes

Hay solo dos tipos de estados (absorbentes y transientes), nos resultara conveniente llamar al conjunto de estados absorbentes A y al conjunto de estados transientes T.

En una cadena absorbente y empezando en cualquier estado, sea Transiente o absorbente, tenemos una probabilidad positiva de llegar en algún momento a un estado absorbente. (En el grafo se observa: esto se refleja en que desde todo estado Transiente existe un camino (dirigido) hacia algún estado absorbente o para cada estado u existe un estado  y un número de pasos r tales que la probabilidad de ir desde u hasta v en r pasos es positiva.

En toda cadena de Markov absorbente, la probabilidad de absorción (que empezando en cualquier lugar se llegue a un estado absorbente) es




Teorema 03

En una cadena de Markov absorbente cuya matriz canoníca tiene la forma de la ecuación

Tipos de Cadenas de Markov

ESTADO ABSORBENTE

Estado absorbente: una vez que llego a ellos nunca puedo salir cadena es ergódica: no hay estados absorbentes

ESTADOS TRANSIENTES

Estado Transiente: estados que no están en ningún conjunto ergódico 

Cadenas absorbentes

Una cadena de Markov con espacio de estados finito se dice absorbente si se cumplen las dos condiciones siguientes:

1. La cadena tiene al menos un estado absorbente.
2. De cualquier estado no absorbente se accede a algún estado absorbente.

Cadenas absorbentes: donde hay solo estados transientes y absorbentes (los conjuntos ergódicos tienen un único estado).

Cadenas Conexas

Cadenas conexas: todos los puntos se pueden conectar con caminos no dirigidos

Cadenas Regulares

Una cadena de Markov se dice regular (también primitiva o ergódica) si existe alguna potencia positiva de la matriz de transición cuyas entradas sean todas estrictamente mayores que cero.

Cuando el espacio de estados E es finito, si P denota la matriz de transición de la cadena se tiene que:

donde W es una matriz con todos sus renglones iguales a un mismo vector de probabilidad w, que resulta ser el vector de probabilidad invariante de la cadena. En el caso de cadenas regulares, éste vector invariante es único. 

 

Cadenas (ergódicas) regulares: en las que el total forma un conjunto ergódico y existe

Cadenas de Markov

En matemáticas, se define como un proceso estocástico discreto que cumple con la propiedad de Márkov, es decir, si se conoce la historia del sistema hasta su instante actual, su estado presente resume toda la información relevante para describir en probabilidad su estado futuro

Una cadena de Markov es un proceso estocástico en el que Si el estado actual Xn y los estados previos X1, . . . , Xn−1 son conocidos La probabilidad del estado futuro Xn+1 No depende de los estados anteriores X1, . . . , Xn−1, y Solamente depende del estado actual Xn.

Para que el proceso estocástico del número de líneas ocupadas sea una cadena de Markov
es necesario que la probabilidad de cada posible número de líneas ocupadas en cualquier instante de tiempo dependa solamente del número de líneas ocupadas

CARACTERISTICAS

PUNTOS DISCRETOS {tk}                   RESULTADOS EXAHUSTIVOS Y MUTUAMENTE EXCLUSYENTES 

VARIABLE ALEATORIA                     ξtk 

PROCESO ESTOCASTICO                {ξtk} ES FAMILIA VARIABLES

CADENA DE MARKOV                CASO ESPECIAL DE PROCESO DE MARKOV USADO PARA EL 

                                                                      ESTUDIO DE CIERTO SISTEMAS EN EL CORTO Y LARGO PLAZO

PROBABILIDAD DE TRANSICIÓN O TRANSICIÓN DE UN PASO

REPRESENTA LA PROBABILIDAD DE QUE EL ESTADO ESTE EN Xn CUANDO t ES tn, DADO QUE ESTABA EN Xn-1 EN 

 

TRANSICIÓN DE m PASOS

 

LAS PROBABILIDADES DE IR DE UN PASO A OTRO EXISTEN, SON EXCLUYENTES Y ESTABLES EN EL TIEMPO Y SE REPRESENTAN CON LA MATRIZ P DE TRANSICION HOMOGENEA (TODAS LAS PROBABILIDADES DE TRANSICION SON FIJAS E INDEPENDIENTES EN EL TIEMPO)