Etiqueta: Coeficiente de Determinación

R: La instrucción lm()

Anthonny Arias García2 comentarios

Introducir a la econometría requiere estudiar de forma minuciosa cada uno de los elementos que permiten el análisis de regresión y si bien podemos calcular cada uno de estos usando las fórmulas que provee la teoría, la idea de usar programas de paquetes estadísticos como R es usar instrucciones que nos permitan hacer este tipo de cálculos de forma automática.

También pudiera interesarte

Anuncios

La instrucción lm()

Si se cuentan con al menos dos variables, digamos Y y X, podemos determinar la Recta de Regresión Muestral usando la instrucción lm() usando la virgulilla ~ para definir la relación entre las dos variables. La sintaxis para definir un modelo lineal que describa a la variable dependiente Y en función de la variable independiente X es la siguiente:

lm(Y ~ x)

Al ejecutar esta instrucción se mostrará el valor de \hat{\beta}_1 que es el punto de corte con el Eje de la variable Y) y el valor de \hat{\beta}_2 que es el parámetro que multiplica a la variable X (también conocido como el peso de la variable).

Esta información puede almacenarse en una variable pues a partir de ella obtener información valiosa sobre nuestro modelo. Entonces, para almacenar esta información en una variable, digamos yx.lm, usamos la siguiente sintaxis:

yx.lm <- lm(Y ~ x)

Veamos la información básica que podemos obtener definiendo del modelo lineal de esta forma.

coefficients

Podemos observar directamente los coeficientes del modelo lineal haciendo el llamado coefficients a partir de la variable que almacena la información del modelo lineal, para esto, recurrimos el símbolo de dólar $ usando la siguiente sintaxis:

yx.lm$coefficients

residuals

Podemos observar directamente los residuos del modelo lineal haciendo el llamado residuals a partir de la variable que almacena la información del modelo lineal, para esto, recurrimos el símbolo de dólar $ usando la siguiente sintaxis: 

yx.lm$residuals

fitted.values

Podemos observar directamente los valores ajustados del modelo lineal, es decir, todos los valores estimados \hat{Y}_i, haciendo el llamado fitted.values a partir de la variable que almacena la información del modelo lineal, para esto, recurrimos el símbolo de dólar $ usando la siguiente sintaxis: 

yx.lm$fitted.values
Anuncios

La instrucción summary()

Si bien se puede obtener información individual haciendo un llamado a algunos elementos específicos del modelo lineal, una de las herramientas más valiosas que provee R para el análisis regresión lineal es el resumen del modelo pues a partir de él, podemos consultar los siguientes elementos:

Sobre el llamado

  • Call – Nos indica la fórmula que define el modelo lineal.

Sobre los residuos

  • Min – Mínimo.
  • 1Q – Primer cuartil Q1.
  • Median – Media (o segundo cuartil Q2)
  • 3Q – Tercer cuartil Q3
  • Max – Máximo.

Es importante verificar que el valor de la media de los residuos sea cero o esté muy cercano a cero, pues este es uno de los supuestos del Método de los Mínimos Cuadrado Ordinarios (MCO).

Sobre los coeficientes

  • Estimate – Estimadores \beta_i.
  • Std. Error – Error estándar de cada estimador.
  • t value – Valor del estadístico t correspondiente a cada estimador.
  • Pr(>|t|) – p-value correspondiente la prueba t de cada estimador.
  • Signif. codes – Códigos de significancia.

En este caso la prueba t plantea la hipótesis nula H_0 : beta_i = 0, por lo tanto, es importante verificar que el valor t sea lo más grande posible, pues esto nos indica la confianza con la que podemos rechazar la hipótesis nula.

El valor p o p-value determina la probabilidad exacta de cometer un error tipo I considerando el valor t calculado, por lo tanto, es importante verificar que este valor sea lo más bajo posible, pues esto nos indica la confianza con la que podemos rechazar la hipótesis nula.

Para facilitar la interpretación del p-value, se utiliza un código de significancia, notando que

  • 0 ‘***’ La probabilidad de cometer un error tipo I es prácticamente nula.
  • 0.001 ‘**’ La probabilidad de cometer un error tipo I es de a lo sumo el 0.1%.
  • 0.01 ‘*’ La probabilidad de cometer un error tipo I es de a lo sumo el 1%.
  • 0.05 ‘.’ La probabilidad de cometer un error tipo I es de a lo sumo el 5%.
  • 0.1 ‘ ’ La probabilidad de cometer un error tipo I es de a lo sumo el 1%.

Sobre el error estándar de los residuos

  • Residual standard error – Error estándar de estimación o error estándar de la regresión.

Recordando que el error estándar de estimación nos sirve como una medida de bondad de ajuste, es importante verificar que este sea lo más pequeño posible, recordando siempre que este nunca es igual a cero, pues se define a partir de una suma de cuadrados.

Sobre el coeficiente de determinación

  • Multiple R-squared – Coeficiente de Determinación (sin ajuste al añadir más variables)
  • Adjusted R-squared – Coeficiente de Determinación (con ajuste al añadir más variables)

Es importante añadir que al definir modelos, estos no necesariamente se determinan con dos variables, así que al incluir más variables el coeficiente de determinación que determina Multiple R-squared aumentará a medida que se agregan variables, por otra parte, el coeficiente de determinación que determina Adjusted R-squared será corregido por la cantidad de variables involucradas en el modelo por lo que indica de forma más realista en qué medida las variables independientes (en conjunto) explican a la variable dependiente.

Recordemos que si bien es importante que la variable independiente explique la variable pendiente, el objetivo del análisis de regresión no es que el valor del coeficiente de determinación sea igual a 1.

Sobre el estadístico F

  • F-statistic – Estadístico F.

Para el caso de dos variables, la prueba F plantea la hipótesis nula H_0 : beta_2 = 0, por lo tanto, es importante verificar que el valor F sea lo más grande posible, pues esto nos indica la confianza con la que podemos rechazar la hipótesis nula.

Para el caso de más variables, se plantea una hipótesis conjunta H_0 : beta_2 = \beta_3 = ... = \beta_k = 0, y de igual forma, es importante verificar que el valor F sea lo más grande posible, pues esto nos indica la confianza con la que podemos rechazar la hipótesis nula.

El valor p o p-value determina la probabilidad exacta de cometer un error tipo I considerando el valor F calculado, por lo tanto, es importante verificar que este valor sea lo más bajo posible, pues esto nos indica la confianza con la que podemos rechazar la hipótesis nula.

Anuncios

Ejemplo

Consideremos un pequeño conjunto de datos, particularmente, los datos que se encuentran en la Tabla 3.2 del libro de Econometría de Damodar N. Gujarati and Dawn Porter en su quinta edición. Este conjunto de datos proporciona los datos primarios que se necesitan para estimar el efecto cuantitativo de la escolaridad en los salarios:

ObservaciónSalarioEscolaridad
14.45676
25.777
35.97878
47.33179
57.318210
66.584411
77.818212
87.835113
911.022314
1010.673815
1110.836116
1213.61517
1313.53118
Tabla 3.2

Definimos un modelo lineal que describe el salario en función de la escolaridad con la instrucción lm() y almacenamos esta información en la variable se.lm usando la siguiente sintaxis:

se.lm <- lm(salario ~ escolaridad)

Posteriormente, hacemos un resumen de la información que provee este modelo lineal con la instrucción summary() usando la siguiente sintaxis:

summary(se.lm)

Al ejecutar esta instrucción, inmediatamente aparecerá lo siguiente en la consola:

> summary(se.lm)

Call:
lm(formula = salario ~ escolaridad)

Residuals:
    Min      1Q  Median      3Q     Max 
-1.5637 -0.7350  0.1266  0.7158  1.3198 

Coefficients:
            Estimate Std. Error t value Pr(>|t|)    
(Intercept) -0.01445    0.87462  -0.017    0.987    
escolaridad  0.72410    0.06958  10.406 4.96e-07 ***
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

Residual standard error: 0.9387 on 11 degrees of freedom
Multiple R-squared:  0.9078,	Adjusted R-squared:  0.8994 
F-statistic: 108.3 on 1 and 11 DF,  p-value: 4.958e-07

Usualmente el análisis de regresión se enfoca en el coeficiente que acompaña a la variable independiente y le resta importancia a los resultados expuestos sobre el intercepto. Dicho esto, podemos identificar los siguientes elementos en el resumen generado:

  • La media de los residuos es igual a 0.1266, esto es un valor relativamente cercano a cero. Esto es algo que nos interesa pues es uno de los supuestos que debe cumplirse para que el Método de los Mínimos Cuadrados Ordinarios tenga validez.
  • El valor del intercepto es $\hat(\beta)_1 = -0.01445$, esto quiere decir que una persona sin educación tiene un salario negativo y aunque esta situación carece se sentido, veremos en los demás resultados del resumen, que este valor tiene poca relevancia.
  • El valor del coeficiente que acompaña a la variable X es $\hat(\beta)_2 = 0.72410$, esto quiere decir que cada año adicional de escolaridad, en promedio, produce aumentos en los salarios por hora de alrededor de 72 centavos de dólar.
  • El modelo lineal está expresado de la siguiente forma:

\hat{Y}_i = -0.01445 + 0.72410 X

  • El error estándar correspondiente al nivel de estudios (escolaridad), indica que en promedio, las estimaciones variarán en 0.06958.
  • El valor t para el estimador \hat{\beta}_1 es igual a -0.017, está muy cercano a cero, esto quiere decir que la hipótesis nula no se rechaza, es decir, el estimador \hat{\beta}_1 no es un elemento significativo en nuestro modelo.
  • El valor t para el estimador \hat{\beta}_2 es igual a 10.406, está muy lejano de cero, por lo tanto la hipótesis nula se rechaza, y así, concluimos que el estimador \hat{\beta}_2 es un elemento bastante significativo en nuestro modelo.
  • El p-value para el estimador \hat{\beta}_1 es igual a 0.987, está muy cercano a uno, esto quiere decir que la hipótesis nula no se rechaza, es decir, el estimador \hat{\beta}_1 no es un elemento significativo en nuestro modelo.
  • El p-value para el estimador \hat{\beta}_2 es prácticamente cero, por lo tanto la hipótesis nula se rechaza, y así, concluimos que el estimador \hat{\beta}_2 es un elemento bastante significativo en nuestro modelo.
  • El error estándar de los residuos es 0.9387, esto quiere decir que cualquier estimación que hagamos variará en 0.9387 centavos de dólar. Proporcionablemente, si comparamos esto con el promedio inicial -0.01445, tenemos que nuestra predicción se desviará en un 65.1875%.
  • El coeficiente de determinación múltiple es igual a 0.9078 y el coeficiente de determinación ajustado es igual a 0.8994, recordemos que este último es corregido por la cantidad de variables y por eso es menor. En ambos casos, es relativamente alto, por lo que podemos concluir que los salarios están explicados en alrededor del 90% por el nivel de escolaridad.
  • El valor F es igual a 108.3, es decir, está muy lejano de uno, por lo tanto la hipótesis nula se rechaza, y así, concluimos que el estimador \hat{\beta}_2 es un elemento bastante significativo en nuestro modelo.
  • El p-value para el estimador \hat{\beta}_2 prácticamente cero, por lo tanto la hipótesis nula se rechaza, y así, concluimos que el estimador \hat{\beta}_2 es un elemento bastante significativo en nuestro modelo.

Bibliografía

Anuncio publicitario

R: El coeficiente de correlación r

Anthonny Arias García1 comentario

Hemos visto que el coeficiente de determinación nos permite determinar en qué medida dos variables están relacionadas, pero siempre resulta de interés preguntarse si es posible determinar la forma en que estas dos variables están relacionadas, particularmente, en qué medida están correlacionadas.

También pudiera interesarte

Anuncios

Coeficiente de Correlación Muestral

Considerando una de las fórmulas para calcular el coeficiente de determinación r^2, definimos un nuevo valor que está íntimamente relacionado con dicha fórmula pero que conceptualmente son diferentes. Entonces, partiendo del hecho que,

r^2 = \dfrac{(\sum x_i y_i)^2}{\sum x_i^2 \sum y_i^2}

Definimos un nuevo valor r, conocido como el Coeficiente de Correlación Muestral, que mide el grado de asociación lineal entre dos variables y se calcula de la siguiente forma:

r = \dfrac{\sum x_i y_i}{\sqrt{\sum x_i^2 \sum y_i^2}}

Podemos calcularlo en R usando la siguiente sintaxis:

r <- sum((X-m.X)*(Y-m.Y))/sqrt(sum((X - m.X)^2)*sum((Y - m.Y)^2))

Es importante destacar que:

Aunque el coeficiente de correlación r es una medida de asociación lineal entre dos variables, este no implica necesariamente alguna relación causa-efecto.

Una ventaja en el cálculo de este coeficiente, es que es simétrico por la forma en que está definido, es decir, el coeficiente de correlación entre X y Y (r_{XY}) es el mismo que entre Y y X (r_{YX}).

Interpretación Gráfica del Coeficiente de Correlación Muestral

A diferencia de r^2, que está acotado por 0 y 1; el coeficiente de correlación muestral está acotado por -1 y 1, esto quiere decir que puede tomar valores negativos. Entonces, considerando que gráficamente es independiente del origen y de la escala, podemos considerar varias observaciones sobre este valor:

Si valor del coeficiente de correlación r es exactamente igual a 1 (uno positivo), los datos están representados gráficamente sobre una línea recta creciente.

Interpretación Gráfica del Coeficiente de Correlación Muestral, r=1 | totumat.com

Si valor del coeficiente de correlación r es exactamente igual a -1 (uno negativo), los datos están representados gráficamente sobre una línea recta decreciente.

Interpretación Gráfica del Coeficiente de Correlación Muestral, r=-1 | totumat.com

Si valor del coeficiente de correlación r está cercano a 1 (uno positivo), los datos representados gráficamente, tienen una clara tendencia lineal creciente pero no están exactamente alineados.

Interpretación Gráfica del Coeficiente de Correlación Muestral, r cerca de 1 | totumat.com

Si valor del coeficiente de correlación r está cercano a -1 (uno negativo), los datos representados gráficamente, tienen una clara tendencia lineal decreciente pero no están exactamente alineados.

Interpretación Gráfica del Coeficiente de Correlación Muestral, r cerca de -1 | totumat.com

Si valor del coeficiente de correlación r está cercano a 0 pero es positivo, los datos representados gráficamente, tienen una tendencia lineal creciente pero presentan una dispersión mayor a media que el valor de r está más cercano a cero.

Interpretación Gráfica del Coeficiente de Correlación Muestral, r cerca de 0 pero positivo | totumat.com

Si valor del coeficiente de correlación r está cercano a 0 pero es negativo, los datos representados gráficamente, tienen una tendencia lineal decreciente pero presentan una dispersión mayor a media que el valor de r está más cercano a cero.

Interpretación Gráfica del Coeficiente de Correlación Muestral, r cerca de 0 pero negativo | totumat.com

Si la variable Y y la variable X son estadísticamente independientes, entonces valor del coeficiente de correlación r es igual a cero y en este caso, los datos representados gráficamente, no presentan ningún tipo de tendencia lineal.

Interpretación Gráfica del Coeficiente de Correlación Muestral, r igual a cero | totumat.com

Precaución: El coeficiente de correlación r es una medida de asociación lineal (o dependencia lineal) solamente; su uso en la descripción de relaciones no lineales no tiene significado. Dicho esto, puede ocurrir que r sea igual a cero pero el conjunto de datos presente otro tipo de relación.

Interpretación Gráfica del Coeficiente de Correlación Muestral, r igual a cero pero Y=X^2 | totumat.com

Ejemplo

Consideremos un pequeño conjunto de datos, particularmente, los datos que se encuentran en la Tabla 3.2 del libro de Econometría de Damodar N. Gujarati and Dawn Porter en su quinta edición. Este conjunto de datos proporciona los datos primarios que se necesitan para estimar el efecto cuantitativo de la escolaridad en los salarios:

ObservaciónSalarioEscolaridad
14.45676
25.777
35.97878
47.33179
57.318210
66.584411
77.818212
87.835113
911.022314
1010.673815
1110.836116
1213.61517
1313.53118
Tabla 3.2

Una vez que hemos calculado el modelo lineal que define este conjunto de datos, podemos calcular el coeficiente de determinación para ver qué tan relacionadas están las variables Salario y Escolaridad, para esto, usamos la siguiente sintaxis:

r <- sum((escolaridad-m.escolaridad)*(salario-m.salario))/sqrt(sum((escolaridad - m.escolaridad)^2)*sum((salario - m.salario)^2))

Al ejecutar estas instrucciones obtenemos coeficiente de correlación r, que en este caso es igual a 0.9527809.

En su pantalla debería aparecer:

En este caso, el valor del coeficiente de correlación sugiere que la variable Y y la variable X definen un tendencia lineal creciente y es lo que se puede observar en el gráfico de dispersión.

Gráfico de Dispersión

R: El coeficiente de determinación r²

Anthonny Arias GarcíaDeja un comentario

Una vez que hemos calculado la función de regresión muestral como un modelo lineal a partir de un conjunto de datos, podemos notar en su gráfica que las observaciones no necesariamente caen sobre la línea que describe dicha función y aunque esta sería situación ideal (pues así podemos describir con precisión todo el conjunto de datos usando una función), esto no ocurre en la realidad.

También pudiera interesarte

Anuncios

La bondad de ajuste

Considerando el siguiente gráfico, si todas las observaciones cayeran en la línea de regresión, obtendríamos lo que se conoce como un ajuste perfecto, pero rara vez se presenta este caso. Por lo general los valores de \hat{u}_i pueden ser positivos o negativos, gráficamente, podemos decir que algunas observaciones estarán por encima de la línea de regresión y otras por debajo.

Diagrama de Dispersión y Línea de Regresión | totumat.com

Aunque se tiene la esperanza de que los residuos alrededor de la línea de regresión sean lo más pequeños posibles, el coeficiente de determinación r^2 (caso de dos variables) o R^2 (regresión múltiple) es una medida comprendida que dice que tan bien se ajusta la línea de regresión muestral a los datos.

Antes de mostrar cómo calcular r^2, consideremos Diagramas de Venn para entender qué representa el valor de r^2, de forma que: el círculo Y, representa la variación en la variable dependiente Y; el círculo X, la variación en la variable explicativa X.

Si estos dos círculos no se intersectan, entonces la variación en Y no es explicada por la variación en X. El valor de r^2 que representa esta situación, es r^2=0

El coeficiente de determinación r² | totumat.com

La intersección de los dos círculos (el área sombreada) indica la medida en la cual la variación en Y se explica por la variación en X.

Entre mayor sea el área de la intersección, mayor será la variación en Y que se explica por la variación de X. r^2 es tan sólo una medida numérica de esta intersección y generalmente es un valor entre 0 y 1.

El coeficiente de determinación r² | totumat.com

Si estos dos círculos se intersectan en su totalidad, es decir, son iguales, entonces la variación en Y está explicada en su totalidad por la variación de la variable X. El valor de r^2 que representa esta situación, es r^2=1

El coeficiente de determinación r² | totumat.com

Para calcular r^2, partimos del hecho que Y_i = \hat{Y}_i + \hat{u}_i, que expresado en forma de desviación, es decir, como la diferencia de cada observación con la media,

y_i = \hat{y}_i + \hat{u}_i

Al elevar al cuadrado esta última ecuación en ambos lados y sumar sobre la muestra, obtenemos

\sum y_i^2

= \sum \hat{y}_i^2 + \sum \hat{u}_i^2 + 2\sum \hat{y}_i \hat{u}_i

= \sum \hat{y}_i^2 + \sum \hat{u}_i^2

= \hat{\beta}_2^2 \sum \hat{x}_i^2 + \sum \hat{u}_i^2

Esa última igualdad se debe a que \sum \hat{y}_i \hat{u}_i = 0 y \hat{y}_i = \hat{\beta}_2 \hat{x}_i.

Las diversas sumas de cuadrados en esta ecuación se describen de la siguiente manera:

  • \sum y_i = \sum (Y_i - \overline{Y})^2 es la variación total de los valores reales de Y respecto de su media muestral, que puede denominarse la suma de cuadrados total (SCT).
  • \sum \hat{y}_i = \sum (\hat{y}_i - \overline{Y})^2 = \hat{\beta}_2^2 \sum \hat{x}_i^2 es la variación de los valores de Y estimados alrededor de su media, que apropiadamente puede llamarse la suma de cuadrados debida a la regresión (es decir, debida a la variable explicativa), o explicada por ésta, o simplemente la suma de cuadrados explicada (SCE).
  • \sum \hat{u}_i es la la variación residual o no explicada de los valores de Y alrededor de la línea de regresión, o sólo la suma de cuadrados de los residuos (SCR).

Por lo tanto, podemos reescribir la última ecuación de la siguiente manera:

SCT = SCE + SCR

Demostrando así, que la variación total en los valores Y observados alrededor del valor de su media puede dividirse en dos partes, una atribuible a la línea de regresión y la otra a fuerzas aleatorias, pues no todas las observaciones Y caen sobre la línea ajustada.

Dividiendo esta ecuación, entre la SCT a ambos lados tenemos que

1 = \dfrac{SCE}{SCT} + \dfrac{SCR}{SCT}

= \dfrac{\sum (\hat{y}_i - \overline{Y})^2}{\sum (Y_i - \overline{Y})^2} + \dfrac{ \sum \hat{u}_i^2}{\sum (Y_i - \overline{Y})^2}

Finalmente, definimos el coeficiente de determinación r^2 como

r^2 = \dfrac{SCE}{SCT} = \dfrac{\sum (\hat{y}_i - \overline{Y})^2}{\sum (Y_i - \overline{Y})^2}

Podemos calcularlo en R usando la siguiente sintaxis:

r2 <- sum((Y.e - m.Y)^2)/sum((Y - m.Y)^2)

También podemos definir el coeficiente de determinación r^2 como

r^2 = 1 - \dfrac{SCR}{SCT} = 1 - \dfrac{ \sum \hat{u}_i^2}{\sum (Y_i - \overline{Y})^2}

Podemos calcularlo en R usando la siguiente sintaxis:

r2 <- 1 - sum((Y - Y.e)^2)/sum((Y - m.Y)^2)

Ejemplo

Consideremos un pequeño conjunto de datos, particularmente, los datos que se encuentran en la Tabla 3.2 del libro de Econometría de Damodar N. Gujarati and Dawn Porter en su quinta edición. Este conjunto de datos proporciona los datos primarios que se necesitan para estimar el efecto cuantitativo de la escolaridad en los salarios:

ObservaciónSalarioEscolaridad
14.45676
25.777
35.97878
47.33179
57.318210
66.584411
77.818212
87.835113
911.022314
1010.673815
1110.836116
1213.61517
1313.53118
Tabla 3.2

Una vez que hemos calculado el modelo lineal que define este conjunto de datos, podemos calcular el coeficiente de determinación para ver qué tan relacionadas están las variables Salario y Escolaridad, para esto, usamos la siguiente sintaxis:

r2 <- sum((salario.e - m.salario)^2)/sum((salario - m.salario)^2)

Al ejecutar estas instrucciones obtenemos coeficiente de determinación r^2, que en este caso es igual a 0.9077914.

En su pantalla debería aparecer:

Resultados de R, Coeficiente de Determinación r cuadrado. | totumat.com

En este caso, el valor del coeficiente de determinación sugiere que la variación en Y está explicada casi en su totalidad por la variación de la variable X.