CADENA DE MARKOV

ANDREI MARKOV

Andrei Markov Andreevich nació 02 de junio 1856 en Riazán, Rusia. En sus primeros años, asistió a la escuela en San Petersburgo y fue un estudiante pobre en todo menos en matemáticas. Fue algo así como un rebelde, y esta cualidad se quedó con él hasta la edad adulta, causando muchos problemas con su gobierno y los compañeros.

Él era un estudiante menor de PL Chebyshev en la Universidad Petersburgo en 1874, y completó sus estudios allí en 1878. Recibió una medalla de oro de la universidad y se le pidió permanecer y convertirse en un académico de profesión. Cuando dejó la universidad de Chebyshev, Markov enseñó a sus cursos de probabilidad.

Markov fue elegido para ser miembro de la matemática "escuela" fundada por Chebyshev, de San Petersburgo de la Academia de Ciencias, en 1886. Se convirtió en miembro de pleno derecho en 1896 y se retiró de la Universidad (aunque continuó enseñando) en 1905. También fue uno de los primeros matemáticos que estaban siempre en busca de los usos prácticos de estadística y probabilidad, y tomó parte en los debates sobre el funcionamiento de algunos departamentos del gobierno y también la enseñanza de las matemáticas en las escuelas secundarias.

Markov fue uno de los más famosos discípulos de Chebyshev y sus ideas eran siempre tratando de representar la probabilidad como una ciencia matemática exacta y práctica, incluso antes de RA Fisher. Él y uno de los otros grandes estudiantes de Chebyshev, Liapunov, fueron muy centrado en las ideas de sus mentores. Markov, especialmente centrado en el método de movimientos. Su introducción de la cadena de Markov como un modelo para el estudio de variables aleatorias hecho enormes cantidades de investigación posible en los procesos estocásticos [un proceso estocástico es una familia o una colección de variables aleatorias indexadas por un proceso de parámetros también se le llama suerte o azar. Los índices comunes utilizados son el tiempo y el espacio para representar fenómenos aleatorios.] Se limita principalmente su trabajo a la investigación de la ley débil de números grandes (WLLN) y el teorema del límite central. Su motivación para la redacción de sus artículos la participación de las cadenas de Markov en primer lugar, para mostrar que el enfoque de Chebyshev a la ampliación de la ley débil de un gran número de sumas de variables aleatorias dependientes podría llevarse aún más lejos. En segundo lugar, y probablemente más aplicable, es una animosidad entre Markov y Nekrasov PA. En 1902, Nekrasov, dijo que no sólo "por parejas independencia" ceder el WLLN de acuerdo a las deducciones Chebychev, pero también afirmó, sin muchas pruebas y sin razón, que no sólo era suficiente pero necesaria para la WLLN de sostener. Markov, por supuesto, refutó este argumento (y correctamente) en sus papeles, y por lo tanto hizo una adversario de toda la vida Nekrasov. Al hacer todo esto, utiliza su propio nombre en las cadenas de Markov en el marco de los procesos.

Un uso práctico de sus matemáticas se encuentran en el uso de cadenas para su modelo de la alteración de las vocales y consonantes en ruso las obras literarias. También escribió un libro de texto de estadística y probabilidad, uno de los mejores de su tiempo. Su obra influyó en muchos otros famosos matemáticos y estadísticos, incluyendo SN Bernstein, Romanovsky VI, y Jerzy Neyman (quien tomó las estadísticas a un nivel nuevo y más práctico). Después de contribuir en gran medida a la teoría de números, análisis, cálculo de diferencias finitas, teoría de la probabilidad (con las cadenas de Markov), y las estadísticas, que murió en Petrogrado (San Petersburgo antes, ahora Leningrado), la URSS, el 20 de julio de 1922.

LAS CADENAS DE MARKOV

Las cadenas de markok son una herramienta para analizar el comportamiento de determinados procesos estocásticos, estos procesos evolucionan de forma deterministica a lo largo del tiempo en torno a un conjunto  de estados. Para desarrollar correctamente esta herramienta es necesario tener claros  los siguientes conceptos:

Estados

Los estados son la caracterización de la situación en que se halla el sistema en un instante dado, de dicha caracterización puede ser tanto cuantitativa como cualitativa.

El estado de un sistema en un instante t es una variable cuyos valores solo pueden pertenecer al conjunto de estaos en el sistema. El sistema modelizado por la cadena, por lo tanto, es una variable que cambia con el valor del tiempo, cambio al que llamamos transición.

Matriz de transición

Una matriz de transición es el arreglo numérico donde se encuentran las probabilidades de un estado a otro. Dicha matriz es cuadrada con tantas filas y columnas como estados que tiene el sistema, y los elementos de matriz representan la probabilidad de que el estado próximo sea el correspondiente a la columna si el estado actual es el correspondiente a la fila. La matriz debe cumplir con ciertos requisitos: La suma de las probabilidades de los estados debe ser igual a 1,  la matriz de transición debe ser cuadrada  y las probabilidades de transición deben estar entre 0 y 1.

Los valores dentro de la matriz representan la probabilidad de pasar de un estado a otro. 

Distribución actual (Vector Po): Es la manera en la que se distribuyen las probabilidades de los estados en un periodo inicial, (periodo 0). Esta información te permitirá averiguar cual será la distribución en periodos posteriores.

Estado estable: Se puede decir que el estado estable es la distribución de probabilidades que en cierto punto quedará fija para el vector P y no presentará  cambios en periodos posteriores.

ESTADO ABSORBENTE

Previamente hablamos de estado estable, ahora procederemos a explicar otra clase de estado, el absorbente.

Definición:

Estado cuya única transición posible es volver al mismo estado. Un estado absorbente constituye una clase final de un único estado.

En otras palabras un estado absorbente es aquel del que no se puede salir una vez se haya caído en él, es decir la probabilidad de permanecer en el mismo es de 100% .Por ejemplo si expresáramos  la vida como una cadena de markov, con la serie de estados: nacer, crecer, reproducirse y morir; la muerte sería obviamente el estado absorbente ya que no existe la posibilidad alguna de volver a un estado anterior. 

CÓMO PROCEDEMOS EN ESTOS CASOS?

Resolvamos un ejemplo

Fuentes consultadas:
http://investigaciondeoperaciones2markov.blogspot.com/p/teoria-y-ejercicios.html

Bibliografía:
Investigación de operaciones Hillier y Lieberman. Séptima Edición.
Investigación de operaciones Hamdy A. Taha. Séptima Edición.