Kitabı oxu: «Estadística práctica para ciencia de datos con R y Python»
Segunda edición original publicada en inglés por O’Reilly con el título Practical Statistics for Data Scientists, ISBN 978-1-492-07294-2 © Peter Bruce, Andrew Bruce y Peter Gedeck, 2020. This translation is published and sold by permission of O’Reilly Media, Inc., which owns or controls all rights to publish and sell the same.
Título de la edición en español:
Estadística práctica para ciencia de datos con R y Python
Segunda edición en español, 2022
© 2022 MARCOMBO, S.L.
www.marcombo.com
Diseño de portada: Karen Montgomery
Ilustración: Rebecca Demarest
Traducción: Francisco Martínez Carreno
Corrección: Nuria Barroso
«Cualquier forma de reproducción, distribución, comunicación pública o transformación de esta obra solo puede ser realizada con la autorización de sus titulares, salvo excepción prevista por la ley. La presente publicación contiene la opinión del autor y tiene el objetivo de informar de forma precisa y concisa. La elaboración del contenido, aunque se ha trabajado de forma escrupulosa, no puede comportar una responsabilidad específica para el autor ni el editor de los posibles errores o imprecisiones que pudiera contener la presente obra.»
ISBN: 978-84-267-3454-9
Producción del ePub: booqlab
Nos gustaría dedicar este libro al recuerdo de nuestros padres, Victor G. Bruce y Nancy C. Bruce, que cultivaron la pasión por las matemáticas y la ciencia. También a nuestros primeros tutores John W. Tukey, Julian Simon y a nuestro amigo de toda la vida Geoff Watson, que nos animaron a seguir la carrera de estadística.
Peter Bruce y Andrew Bruce
Me gustaría dedicar este libro a Tim Clark y Christian Kramer, a los que agradezco profundamente su investigación científica y su amistad.
Peter Gedeck
Contenidos
Prefacio
1. Análisis exploratorio de datos
Elementos de datos estructurados
Lecturas complementarias
Datos rectangulares
Marcos de datos e índices
Estructuras de datos no rectangulares
Lecturas complementarias
Estimación de la localización
Media
Estimación de medianas robustas
Ejemplo: estimaciones de localización de la población y tasas de homicidios
Lecturas complementarias
Estimación de la variabilidad
Desviación estándar y estimaciones relacionadas
Estimación basada en percentiles
Ejemplo: estimaciones de variabilidad de la población estatal
Lecturas complementarias
Exploración de la distribución de datos
Percentiles y diagramas de caja
Tablas de frecuencias e histogramas
Diagrama y estimación de la curva de densidad
Lecturas complementarias
Exploración de datos binarios y categóricos
Moda
Valor esperado
Probabilidad
Lecturas complementarias
Correlación
Diagramas de dispersión
Lecturas complementarias
Exploración de dos o más variables
Agrupación hexagonal y contornos (representación numérica frente a datos numéricos)
Dos variables categóricas
Datos categóricos y numéricos
Visualización de varias variables
Lecturas complementarias
Resumen
2. Distribuciones de datos y muestreo
Muestreo aleatorio y sesgo de la muestra
Sesgo
Selección aleatoria
Tamaño frente a calidad: ¿cuándo importa el tamaño?
Media muestral frente a media poblacional
Lecturas complementarias
Sesgo de selección
Regresión a la media
Lecturas complementarias
Distribución muestral del estadístico
Teorema del límite central
Error estándar
Lecturas complementarias
Bootstrap
Remuestreo frente a bootstrapping
Lecturas complementarias
Intervalos de confianza
Lecturas complementarias
Distribución normal
Normal estándar y diagramas QQ
Distribuciones de cola larga
Lecturas complementarias
Distribución t de Student
Lecturas complementarias
Distribución binomial
Lecturas complementarias
Distribución chi cuadrado
Lecturas complementarias
Distribución F
Lecturas complementarias
La distribución de Poisson y distribuciones relacionadas
Distribución de Poisson
Distribución exponencial
Estimación de la tasa de fallos
Distribución de Weibull
Lecturas complementarias
Resumen
3. Experimentos estadísticos y pruebas significativas
Prueba A/B
¿Por qué tener un grupo de control?
¿Por qué solo A/B? ¿Por qué no C, D, …?
Lecturas complementarias
Pruebas de hipótesis
La hipótesis nula
Hipótesis alternativa
Pruebas de hipótesis unidireccionales o bidireccionales
Lecturas complementarias
Remuestreo
Prueba de permutación
Ejemplo: adherencia de la web
Pruebas de permutación exhaustiva y de bootstrap
Pruebas de permutación: el resultado final de la ciencia de datos
Lecturas complementarias
Significación estadística y valores p
Valor p
Alfa
Errores de tipo 1 y 2
Ciencia de datos y valores p
Lecturas complementarias
Pruebas t
Lecturas complementarias
Pruebas múltiples
Lecturas complementarias
Grados de libertad
Lecturas complementarias
ANOVA
Estadístico F
ANOVA bidireccional
Lecturas complementarias
Prueba de chi cuadrado
Prueba de chi cuadrado: enfoque de remuestreo
Prueba de chi cuadrado: teoría estadística
Prueba exacta de Fisher
Relevancia para la ciencia de datos
Lecturas complementarias
Algoritmo Multi-Arm Bandit
Lecturas complementarias
Potencia y tamaño de la muestra
Tamaño de la muestra
Lecturas complementarias
Resumen
4. Regresión y pronóstico
Regresión lineal simple
La ecuación de regresión
Valores ajustados y residuos
Mínimos cuadrados
Pronóstico frente a explicación (elaboración de perfiles)
Lecturas complementarias
Regresión lineal múltiple
Ejemplo: datos de las viviendas del condado de King
Evaluación del modelo
Validación cruzada
Selección del modelo y regresión escalonada
Regresión ponderada
Lecturas complementarias
Pronóstico mediante la regresión
Los peligros de la extrapolación
Intervalos de confianza y de pronóstico
Variables de tipo factor en la regresión
Representación de variables ficticias
Variables de tipo factor con muchos niveles
Variables de tipo factor ordenadas
Interpretación de la ecuación de regresión
Predictoras correlacionadas
Multicolinealidad
Variables de confusión
Interacciones y efectos principales
Diagnósticos de regresión
Valores atípicos
Valores influyentes
Heterocedasticidad, anormalidad y errores correlacionados
Diagramas de residuos parciales y falta de linealidad
Regresión polinomial y por spline
Polinomial
Splines
Modelos aditivos generalizados
Lecturas complementarias
Resumen
5. Clasificación
Bayes ingenuo
Por qué la clasificación bayesiana exacta no es práctica
La solución ingenua
Variables predictoras numéricas
Lecturas complementarias
Análisis discriminante
Matriz de covarianza
Discriminante lineal de Fisher
Un ejemplo sencillo
Lecturas complementarias
Regresión logística
Función de respuesta logística y logit
Regresión logística y GLM
Modelos lineales generalizados
Valores pronosticados de regresión logística
Interpretación de los coeficientes y de la razón de oportunidades
Regresión lineal y logística: similitudes y diferencias
Evaluación del modelo
Lecturas complementarias
Evaluación de modelos de clasificación
Matriz de confusión
El problema de las clases raras
Precisión, exhaustividad y especificidad
Curva ROC
AUC
Sustentación
Lecturas complementarias
Estrategias para datos que no están equilibrados
Submuestreo
Sobremuestreo y aumento/disminución de la ponderación
Generación de datos
Clasificación basada en los costes
Exploración de pronósticos
Lecturas complementarias
Resumen
6. Aprendizaje automático estadístico
K-vecinos más cercanos
Un pequeño ejemplo: pronóstico del incumplimiento de préstamos
Métricas de distancia
Codificador One-Hot
Estandarización (normalización, puntuación z)
Elección de K
KNN como motor de características
Modelos de árbol
Un ejemplo sencillo
Algoritmo de partición recursiva
Medición de la homogeneidad o la impureza
Detención del crecimiento del árbol
Pronóstico de un valor continuo
Cómo se utilizan los árboles
Lecturas complementarias
Métodos de bagging y bosque aleatorio
Bagging
Bosque aleatorio
Importancia de la variable
Hiperparámetros
Boosting
El algoritmo boosting
XGBoost
Regularización: evitación del sobreajuste
Hiperparámetros y validación cruzada
Resumen
7. Aprendizaje no supervisado
Análisis de componentes principales
Un ejemplo sencillo
Cálculo de los componentes principales
Interpretación de componentes principales
Análisis de correspondencias
Lecturas complementarias
Agrupación K-means
Un ejemplo sencillo
Algoritmo K-means
Interpretación de los grupos
Selección del número de grupos
Agrupación jerárquica
Un ejemplo sencillo
El dendrograma
El algoritmo de aglomeración
Medidas de disimilitud
Agrupación basada en el modelo
Distribución normal multivariante
Mezclas de distribuciones normales
Selección del número de grupos
Lecturas complementarias
Variables categóricas y escalado
Escalado de variables
Variables dominantes
Datos categóricos y distancia de Gower
Problemas con la agrupación de datos mixtos
Resumen
Bibliografía
Prefacio
Este libro está dirigido a científicos de datos familiarizados de algún modo con los lenguajes de programación R y/o Python, y con una formación básica (quizás irregular o efímera) a la estadística. Dos de los autores de este libro llegamos al mundo de la ciencia de datos desde el mundo de la estadística y apreciamos en cierta medida la contribución que la estadística puede hacer al arte de la ciencia de datos. Al mismo tiempo, somos muy conscientes de las limitaciones de la enseñanza de la estadística tradicional: la estadística como disciplina tiene un siglo y medio de vida, y la mayoría de los libros de texto y cursos de estadística están cargados con el impulso y la inercia de un transatlántico. Todos los métodos de este libro tienen alguna conexión, histórica o metodológica, con la disciplina de la estadística. No se incluyen los métodos que evolucionaron principalmente a partir de la informática, como es el caso de las redes neuronales.
El libro tiene dos objetivos:
• Presentar, en forma digerible, navegable y de fácil referencia, conceptos clave de estadística que son relevantes para la ciencia de datos.
• Explicar qué conceptos son importantes y útiles desde la perspectiva de la ciencia de datos, cuáles lo son menos y por qué.
Convenciones que se utilizan en el libro
Términos clave
La ciencia de datos es la fusión de varias disciplinas, entre las que se incluyen la estadística, la informática, las tecnologías de la información y campos específicos de este ámbito. Como consecuencia, se pueden utilizar varios términos diferentes para referirse a un concepto dado. Los términos clave y sus sinónimos se destacarán a lo largo del libro en un recuadro como este.
 | Este elemento indica un consejo o una sugerencia. |
 | Este elemento indica una nota general. |
 | Este elemento indica una advertencia o precaución. |
Uso de los ejemplos de código
En todos los casos, el libro proporciona ejemplos de código, en primer lugar en R y a continuación en Python. Para evitar repeticiones innecesarias, generalmente solo se muestran los resultados y gráficos que genera el código R. También omitimos el código necesario para cargar tanto los paquetes como los conjuntos de datos requeridos. Se puede acceder al código completo y los conjuntos de datos para su descarga en www.marcombo.info con el código DATOS22.
Este libro está aquí para ayudarte a hacer tu trabajo. En general, si en el libro se facilitan códigos de ejemplo, puedes usarlos en tus programas y documentación. No necesitas ponerte en contacto con nosotros para pedir permiso a menos que vayas a reproducir una parte importante del código. Por ejemplo, escribir un programa que use varios fragmentos de código del libro no requiere permiso. Vender o distribuir ejemplos de los libros de O’Reilly y de Marcombo requiere permiso. Responder a una pregunta proporcionando la referencia del libro y citar el código de un ejemplo no requiere permiso. La incorporación de una cantidad importante del código de los ejemplos del libro en la documentación de tu producto requiere permiso.
Generalmente no pedimos que se incluya una atribución, pero apreciamos que se haga. Una atribución contiene el título, autor, editor e ISBN. Por ejemplo: "Estadística práctica para ciencia de datos con R y Python de Peter Bruce, Andrew Bruce y Peter Gedeck (Marcombo y O’Reilly). Copyright 2022 Peter Bruce, Andrew Bruce y Peter Gedeck, 978-84-267-3443-3".
Si crees que el uso por tu parte de los ejemplos de código no está justificado o no respeta el permiso otorgado más arriba, no dudes en ponerte en contacto con nosotros en info@marcombo.com.
Agradecimientos
Los autores queremos expresar nuestro agradecimiento al numeroso grupo de personas que han contribuido a hacer realidad este libro.
Gerhard Pilcher, director ejecutivo de la empresa de minería de datos Elder Research, revisó los primeros borradores del libro y nos facilitó sus correcciones, así como detallados y útiles comentarios. Del mismo modo, Anya McGuirk y Wei Xiao, estadísticos de SAS, y Jay Hilfiger, autor de O'Reilly, proporcionaron comentarios útiles sobre los borradores iniciales del libro. Toshiaki Kurokawa, que tradujo la primera edición al japonés, realizó un completo trabajo de revisión y corrección durante la traducción. Aaron Schumacher y Walter Paczkowski revisaron minuciosamente la segunda edición del libro y aportaron numerosas sugerencias útiles y valiosas por las cuales les estamos muy agradecidos. No hace falta decir que cualquier error que exista es solo nuestro.
En O'Reilly, Shannon Cutt nos orientó con buen ánimo y la adecuada dosis de insistencia en el proceso de publicación. Por otra parte, Kristen Brown dirigió con éxito la fase de producción del libro. Rachel Monaghan y Eliahu Sussman, cuidadosa y pacientemente, corrigieron y mejoraron la redacción, mientras que Ellen Troutman-Zaig preparó el índice. Nicole Tache tomó las riendas de la segunda edición y dirigió el proceso de manera eficaz, proporcionando muchas y buenas sugerencias editoriales para mejorar la legibilidad del libro para una amplia audiencia. También agradecemos a Marie Beaugureau, que inició nuestro proyecto en O’Reilly, así como a Ben Bengfort, autor de O’Reilly e instructor de Statistics.com, que nos presentó a O’Reilly.
Nosotros, y los contenidos de este libro, también nos hemos beneficiado de las muchas conversaciones que Peter ha tenido a lo largo de los años con Galit Shmueli, coautor de otros proyectos editoriales.
Finalmente, nos gustaría agradecer especialmente a Elizabeth Bruce y Deborah Donnell su paciencia y apoyo para hacer posible este proyecto.
CAPÍTULO 1
Análisis exploratorio de datos
Este capítulo se centra en el primer paso de cualquier proyecto de ciencia de datos: la exploración de los datos.
La estadística clásica se ocupó casi exclusivamente de la inferencia, un conjunto de procedimientos, a veces complejo, para sacar conclusiones sobre grandes poblaciones a partir de muestras de pequeño tamaño. En 1962, John W. Tukey (figura 1.1) propugnó una reforma de la estadística en su trabajo académico de investigación "The Future of Data Analysis" [Tukey, 1962]. Propuso una nueva disciplina científica llamada análisis de datos (data analysis) que incluía la inferencia estadística como un componente más. Tukey forjó vínculos con los colectivos profesionales de ingeniería e informática (acuñó los términos bit, abreviatura de dígito binario, y software), y sus principios originales son sorprendentemente duraderos y forman parte de los fundamentos de la ciencia de datos. El campo del análisis exploratorio de datos se estableció con el que es ahora un libro clásico de Tukey publicado en 1977: Exploratory Data Analysis [Tukey, 1977]. Tukey presentó diagramas sencillos (por ejemplo, diagramas de caja, diagramas de dispersión) que, junto con resúmenes estadísticos (media, mediana, cuantiles, etc.), ayudan a dibujar la imagen de un conjunto de datos.
Con la disponibilidad de forma inmediata de la capacidad de cálculo y el potente software de análisis de datos, el análisis exploratorio de datos ha evolucionado mucho más allá de lo que fue su alcance original. Los impulsores clave de esta disciplina han sido el rápido desarrollo de nuevas tecnologías, el acceso a una mayor cantidad de datos y más importantes, así como la mayor utilización del análisis cuantitativo en numerosas disciplinas. David Donoho, profesor de estadística de la Universidad de Stanford y exalumno de Tukey, es autor de un excelente artículo inspirado en su exposición para el taller del centenario del nacimiento de Tukey (Tukey Centennial) en Princeton, Nueva Jersey [Donoho, 2015]. Donoho localiza la génesis de la ciencia de datos en el trabajo pionero de Tukey sobre el análisis de datos.
Figura 1.1 John Tukey, el eminente estadístico cuyas ideas, que desarrolló hace más de 50 años, constituyen la base de la ciencia de datos.
