Aprendizaje automático: una introducción al error cuadrático medio y las líneas de regresión

Introducción

Este artículo se ocupará del error cuadrático medio del método estadístico y describiré la relación de este método con la línea de regresión .

El ejemplo consta de puntos en el eje cartesiano. Definiremos una función matemática que nos dará la línea recta que mejor pasa entre todos los puntos del eje cartesiano.

Y de esta manera, aprenderemos la conexión entre estos dos métodos y cómo se ve el resultado de su conexión juntos.

Explicación general

Esta es la definición de Wikipedia:

En estadística, el error cuadrático medio (MSE) de un estimador (de un procedimiento para estimar una cantidad no observada) mide el promedio de los cuadrados de los errores, es decir, la diferencia cuadrática promedio entre los valores estimados y lo que se estima. MSE es una función de riesgo, que corresponde al valor esperado de la pérdida por error al cuadrado. El hecho de que MSE sea casi siempre estrictamente positivo (y no cero) se debe a la aleatoriedad o a que el estimador no tiene en cuenta la información que podría producir una estimación más precisa.

La estructura del artículo

  • Familiarícese con la idea, visualización gráfica, ecuación de error cuadrático medio.
  • La parte matemática que contiene manipulaciones algebraicas y una derivada de funciones de dos variables para encontrar un mínimo. Esta sección es para aquellos que quieran entender cómo obtenemos las fórmulas matemáticas más adelante, puede omitirla si eso no le interesa.
  • Una explicación de las fórmulas matemáticas que recibimos y el papel de cada variable en la fórmula.
  • Ejemplos

Siente la idea

Digamos que tenemos siete puntos, y nuestro objetivo es encontrar una línea que minimice las distancias al cuadrado a estos diferentes puntos.

Tratemos de entender eso.

Tomaré un ejemplo y trazaré una línea entre los puntos. Por supuesto, mi dibujo no es el mejor, pero es solo para fines de demostración.

Quizás se esté preguntando, ¿qué es este gráfico?

  • los puntos morados son los puntos del gráfico. Cada punto tiene una coordenada xy una coordenada y.
  • La línea azul es nuestra línea de predicción. Esta es una línea que pasa por todos los puntos y se ajusta de la mejor manera. Esta línea contiene los puntos predichos.
  • La línea roja entre cada punto violeta y la línea de predicción son los errores. Cada error es la distancia desde el punto hasta su punto predicho.

Debe recordar esta ecuación de sus días escolares, y = Mx + B , donde M es la pendiente de la línea y B es la intersección con el eje y de la línea.

¡Queremos encontrar M (pendiente) y B (intersección con el eje y) que minimicen el error al cuadrado!

Definamos una ecuación matemática que nos dará el error cuadrático medio de todos nuestros puntos.

Analicemos lo que realmente significa esta ecuación.

  • En matemáticas, el carácter que parece una E extraña se llama suma (sigma griega). Es la suma de una secuencia de números, desde i = 1 hasta n. Imaginemos esto como una matriz de puntos, donde pasamos por todos los puntos, desde el primero (i = 1) hasta el último (i = n).
  • Para cada punto, tomamos la coordenada y del punto y la coordenada y '. La coordenada y es nuestro punto morado. El punto y 'se encuentra en la línea que creamos. Restamos el valor de la coordenada y del valor de la coordenada y 'y calculamos el cuadrado del resultado.
  • La tercera parte es tomar la suma de todos los valores de (y-y ') ² y dividirla entre n, lo que dará la media.

Nuestro objetivo es minimizar este medio, lo que nos proporcionará la mejor línea que pase por todos los puntos.

Del concepto a las ecuaciones matemáticas

Esta parte es para personas que quieran comprender cómo llegamos a las ecuaciones matemáticas . Puede pasar a la siguiente parte si lo desea.

Como sabe, la ecuación lineal es y = mx + b, donde m es la pendiente y b es la intersección con el eje y.

Tomemos cada punto del gráfico y haremos nuestro cálculo (y-y ') ².

Pero, ¿qué es y 'y cómo lo calculamos? No lo tenemos como parte de los datos.

Pero sí sabemos que, para calcular y ', necesitamos usar nuestra ecuación lineal, y = mx + b, y poner la x en la ecuación.

De aquí obtenemos la siguiente ecuación:

Reescribamos esta expresión para simplificarla.

Comencemos abriendo todos los corchetes de la ecuación. Coloreé la diferencia entre las ecuaciones para que sea más fácil de entender.

Ahora, apliquemos otra manipulación. Tomaremos cada parte y la ensamblaremos. Tomaremos todos los y, y (-2ymx) y etc, y los pondremos todos uno al lado del otro.

En este punto estamos empezando a ser confusos, así que tomemos la media de todos los valores al cuadrado para y, xy, x, x².

Definamos, para cada uno, un nuevo carácter que representará la media de todos los valores al cuadrado.

Veamos un ejemplo, tomemos todos los valores de y, y dividámoslos por n, ya que es la media, y llamémoslo y (HeadLine).

Si multiplicamos ambos lados de la ecuación por n obtenemos:

Lo que nos llevará a la siguiente ecuación:

Si miramos lo que obtuvimos, podemos ver que tenemos una superficie 3D. Parece un vaso que sube bruscamente hacia arriba.

Queremos encontrar M y B que minimicen la función. Haremos una derivada parcial con respecto a M y una derivada parcial con respecto a B.

Como estamos buscando un punto mínimo, tomaremos las derivadas parciales y las compararemos con 0.

Tomemos las dos ecuaciones que recibimos, aislando la variable b de ambas y luego restando la ecuación superior de la ecuación inferior.

Restemos la primera ecuación de la segunda ecuación

Eliminemos los denominadores de la ecuación.

Y ahí vamos, esta es la ecuación para encontrar M, tomemos esto y escribamos la ecuación B.

Ecuaciones para pendiente e intersección con el eje y

Proporcionemos las ecuaciones matemáticas que nos ayudarán a encontrar la pendiente y la intersección con el eje y requeridas.

Así que probablemente estés pensando, ¿qué diablos son esas extrañas ecuaciones?

En realidad, son fáciles de entender, así que hablemos un poco de ellos.

Ahora que entendemos nuestras ecuaciones, es hora de unir todas las cosas y mostrar algunos ejemplos.

Ejemplos

Un gran agradecimiento a Khan Academy por los ejemplos.

Ejemplo 1

Tomemos 3 puntos, (1,2), (2,1), (4,3).

Encontremos M y B para la ecuación y = mx + b.

Una vez que hayamos calculado las partes relevantes para nuestra ecuación M y ecuación B, pongamos esos valores dentro de las ecuaciones y obtengamos la pendiente y la intersección con el eje y.

Tomemos esos resultados y colóquelos dentro de la ecuación lineal y = mx + b.

Ahora dibujemos la línea y veamos cómo pasa la línea a través de las líneas de tal manera que minimiza las distancias al cuadrado.

Ejemplo # 2

Tomemos 4 puntos, (-2, -3), (-1, -1), (1,2), (4,3).

Encontremos M y B para la ecuación y = mx + b.

Igual que antes, pongamos esos valores dentro de nuestras ecuaciones para encontrar M y B.

Tomemos esos resultados y colóquelos dentro de la ecuación lineal y = mx + b.

Ahora dibujemos la línea y veamos cómo pasa la línea a través de las líneas de tal manera que minimiza las distancias al cuadrado.

En conclusión

Como puede ver, toda la idea es simple. Solo necesitamos comprender las partes principales y cómo trabajamos con ellas.

Puede trabajar con las fórmulas para encontrar la línea en otro gráfico, realizar un cálculo simple y obtener los resultados de la pendiente y la intersección con el eje y.

Eso es todo, simple ¿eh? ?

Todos los comentarios y sugerencias son bienvenidos; si es necesario, arreglaré el artículo.

No dude en contactarme directamente en LinkedIn - Haga clic aquí.