Kitabı oxu: «Big data. IFCT128PO»

Unidad de Aprendizaje 1

Antecedentes, definiciones y bases para un correcto entendimiento

Contenido

1. Introducción

2. Antecedentes

3. Definiciones y bases del big data

4. Bases de establecimiento del big data

5. Resumen

Objetivos

El objetivo general de esta Unidad de Aprendizaje es:

 Entender el contexto en el que se sitúa el big data y cómo surge a través del desarrollo de diferentes soluciones para trabajar con los datos, así como conocer estas soluciones.

Los objetivos específicos de esta Unidad de Aprendizaje son:

 Entender qué es y la importancia del business intelligence (BI).

 Identificar el proceso de funcionamiento del BI.

 Saber cómo se integra el data mining y qué aporta en el BI.

 Conocer la función del machine learning.

 Identificar qué es y las funciones del científico de datos.

 Definir correctamente el término big data y comprender su alcance.

 Familiarizarse con los diferentes conceptos relacionados con el big data.

 Saber qué aportó la invención del MapReduce al big data.

1. Introducción

A lo largo de la historia, y desde que tenemos uso de razón, el ser humano ha basado su existencia en el conocimiento y en utilizar este para evolucionar. El uso de los datos a nuestro alrededor ha sido clave para adquirir conocimiento en todas las etapas de la historia, pero es ahora cuando este ha adquirido un papel esencial en nuestra forma de entender vida.

El uso de las nuevas tecnologías hace posible que puedas estar conectado a otras personas en cualquier parte del mundo. Esto implica que continuamente estás generando información que debe ser procesada y enviada, y es así cómo surge el problema de nuestro tiempo: cómo usar eficazmente la abrumadora cantidad de datos que creamos para fines productivos.

En este módulo podrás situarte en un contexto en el que verás que el uso de datos ha existido desde los comienzos de la historia y no es tan novedoso como nos hacen creer o, al menos, como se nos presenta, con una terminología cada vez más abstracta y variada.

Por ello, es necesario centrarse en el estudio de los antecedentes que forman las bases de lo que hoy día entendemos como big data y de cómo surgió esta mentalidad de utilizar los datos para su análisis de formas cada vez más complejas hasta hoy día.

Por otro lado, aprenderás los conceptos clave que te ofrecerán una mejor comprensión de lo que hoy día significa el big data, descubriendo cómo se originó este término y su crecimiento.

Para ello, nos centraremos en el caso de TextilTek, S. L., empresa de moda con más de 50 años de experiencia, que cuenta con puntos de venta en diferentes zonas de España y, además, venta online personalizada. Gracias a su creciente expansión, recientemente han comenzado a implantar un sistema de big data para estudiar en detalle los clientes, sus gustos y el mercado y obtener ventaja sobre sus competidores.

2. Antecedentes

Para que te puedas situar adecuadamente en lo que trata este curso, necesitarás conocer multitud de términos, que seguramente hayas oído a través de los medios de comunicación o de tus propios compañeros, tales como business intelligence, data mining o deep learning.

Pero antes de abordar todos estos temas, conviene que sepas que lo que vas a estudiar no es algo que acaba de surgir, ya que el ser humano ha usado datos desde que comenzó a tener conocimiento.

Por ello, y para que sea más fácil ponerte en contexto, verás cómo se ha producido esta evolución desde el principio de los tiempos, donde el uso de información era tan simple como saber las existencias de alimentos con las que contábamos, hasta la complejidad con la que actualmente funciona nuestro día a día.

Por supuesto, se hará una especial mención a la importancia que ha tenido la evolución del uso de información para los negocios ya que, en gran medida, la forma en que se ve actualmente el mundo se debe a ellos.

Evolución del ser humano desde el punto de vista tecnológico

2.1. La información en la antigüedad

HILO CONDUCTOR

La dirección de TextilTek, S. L. ha decidido implantar la tecnología big data en la empresa, ya que desean estar a la vanguardia en las nuevas tecnologías. Para ello, han establecido contacto con una consultoría de servicios tecnológicos para que les asesore a la hora de dar este paso a algo desconocido para ellos. Para su sorpresa, esta consultoría lleva más de treinta años implantando el big data en empresas de todo tipo de servicios, por lo que se dan cuenta de que esta tecnología no es tan actual como se pensaban.

Aunque parezca que el término big data es muy novedoso en estos tiempos, no es así, ya que todo lo que lo forma lleva mucho tiempo gestándose, y es precisamente en nuestro tiempo cuando se ha producido la explosión y se ha dado a conocer para todo el mundo con la llamada era de la información.

Es interesante saber de dónde procede el término big data antes de conocerlo más en profundidad, y es que su historia es poco conocida o, mejor dicho, la historia de todo lo que ha llevado a que nazca el big data:

1 2400 a. C. La invención del Ábaco en Babilonia, que mediante una tabla y cuentas permitía realizar cálculos relativamente complejos para la época, como el cálculo de raíces. Además, en esta época ya aparecieron las primeras bibliotecas para almacenar el conocimiento.

2 48 d. C. Invasión de Alejandría por los romanos, destruyendo la biblioteca más grande y famosa de la época. En ella se pretendía almacenar el conocimiento de toda la humanidad en más de medio millón de archivos.

3 200 d. C. Invención de la Anticitera en Grecia, considerado el primer ordenador mecánico de la historia del que se tiene constancia. Este permitía estudiar la astronomía y marcar el calendario.

4 1663 Año en el que se crea la estadística, donde se llevan a cabo cálculos de análisis por parte de John Graunt en un intento por controlar y frenar la peste bubónica en Europa.

5 1865 Hace dos siglos se comenzaron a utilizar términos que aún perviven con fuerza en la actualidad, como fue el uso de la inteligencia de negocios o business intelligence por parte del autor Richard Millar Devens en su obra Cyclopaedia of Commercial and Business Anecdotes, en la que describe la obtención de la ventaja competitiva mediante la recogida, estructurado y análisis de datos por parte del banquero Henry Furnese.

6 1884 Herman Hollerith patentó su máquina tabuladora, que era capaz de realizar la tabulación del censo de Estados Unidos mediante una cinta de papel agujereada, el cual se hacía manualmente y acumulaba retrasos de hasta diez años. La empresa fundada por Herman Hollerith se fusionaría con otras formando la empresa informática IBM (International Business Machines).

SABÍAS QUE...

Ya en la era del Paleolítico se empleaban como método de almacenamiento de información huesos y palos para contabilizar la comida y calcular necesidades futuras, por lo que desde entonces la humanidad se ha interesado por guardar datos.

2.2. La información en la era digital

HILO CONDUCTOR

En TextilTek, S. L., conocen bien el alcance de internet, ya que hace varios años implantaron las ventas online a través de su página web. Para la gestión de clientes implantaron una base de datos, donde almacenaban los datos de los clientes y las compras que estos realizaban.

El año 1938 marca un antes y un después definitivo en nuestra historia gracias a la invención de la computadora. La primera computadora estaba construida mediante relés, aunque rápidamente estos fueron reemplazados por tubos de vacío, precursores de los tan utilizados transistores.

La empresa IBM tuvo un papel fundamental en el desarrollo de estas computadoras, siendo hoy día una de las empresas más grandes y avanzadas del mundo en informática y consultoría tecnológica.

Posteriormente, y no muchos años después, se desarrollaron las comunicaciones entre computadoras. La idea era mantener una comunicación de datos mediante dos o más computadoras a través de un hilo conductor, y es así como en 1981, y gracias al protocolo TCP/IP, nació internet y posteriormente en 1991 se anunció la World Wide Web.

Internet ha supuesto hasta el día de hoy una revolución, en la que millones de datos son movidos en tiempo real de un extremo al otro del mundo, estando esto en continuo crecimiento y provocando que cualquier tipo de máquina de procesado se quede pequeña frente a tal cantidad de datos, y es así como surge el término big data, aunque aún debes conocer un poco más su origen:

1 1928. Invención del primer sistema magnético de almacenamiento de datos, creado por Fritz Pfleumer. Concretamente fue capaz de almacenar sonido en una cinta magnética.

2 1958. El investigador de IBM, Hans Peter Luhn, definió la business Intelligence (BI) como un proceso de aprendizaje de hechos que permite emprender acciones sobre la meta que se desee.

3 1965. Creación del primer centro de datos del mundo en Estados Unidos para almacenar huellas y declaraciones de impuestos de la población.

4 1970. IBM crea la primera base de datos relacional que puede ser utilizada por cualquier persona sin conocimientos de computación.

5 1989. Erik Larson, periodista estadounidense, habló por vez primera de big data en una revista. A raíz de este hecho, se empezaron a utilizar herramientas de business intelligence.

6 1996. Por primera vez en la historia, el precio del almacenamiento digital y su acceso es más barato que el papel, siendo clave en la historia del big data.

7 1999. El término big data es analizado por primera mediante un estudio académico. Posteriormente se citarían las 3 V del big data.

8 2005. Se crea la Web 2.0, en la que los usuarios pueden crear contenido, lo cual supone otra revolución en cuanto a la creación de datos.

9 2016. El big data pasa a ser una palabra de moda en el mundo. Nace el internet de las cosas.

NOTA

Una base de datos relacional está compuesta por tablas con relaciones que, a su vez, contienen registros de datos. Cada tabla está relacionada mediante claves o códigos que aseguran su integridad.

PARA SABER MÁS

El internet de las cosas es otro término que habrás escuchado en los medios de comunicación infinidad de veces. Para saber qué es, puedes visitar este enlace:

https://redirectoronline.com/ifct128po0101

2.3. Business intelligence aplicado a los negocios

HILO CONDUCTOR

En el caso de TextilTek, no tenían grandes bases de datos y, por tanto, se podían analizar de forma fácil. Hasta ahora tenían programado un método por el cual, si llegaban artículos nuevos en stock que coincidían con los tipos comprados por los clientes, se les enviaba una alerta a estos. Pero han comprobado que cada vez más personas han rechazado esta información por entenderlo como spam (no deseada).

Hoy en día, utilizamos los datos como si de otra moneda de cambio se tratase. Los análisis realizados muestran que diariamente se generan 2,5 cuatrillones de bytes, es decir, hablamos del orden de zettabytes. Estos datos debidamente usados por las empresas les pueden aportar grandes ventajas competitivas.

Hablando de tal cantidad de datos diariamente generados, se convierte en un elemento crítico para empresas de todo el mundo el lograr una gestión correcta de los mismos. Por ello, será necesario que estas tengan casi obligatoriamente sistemas capaces de analizar los datos que acumulan cada una de las áreas funcionales de las mismas, así como los datos externos a ellas, que tanta relevancia tendrán para obtener una ventaja competitiva.

A raíz de estos problemas es cómo surge la analítica de datos, desde la invención del business intelligence hasta el big data. El objetivo no es otro que el de analizar cada vez mayor cantidad de datos estructurados y no estructurados más rápidamente y transformarlos en decisiones.

Entonces, ¿cuál podría ser la clave del análisis de datos en los negocios? La respuesta es sencilla: ser capaces de realizar una estrategia de marketing adecuada y competitiva, anticipándose a la competencia y predecir el comportamiento de los clientes para saber qué y cómo quieren los servicios que ofreces.

SABÍAS QUE...

Cada minuto los más de 2.700 millones de personas que cuentan con acceso a internet envían más de 200 millones de correos electrónicos; realizan 2 millones de búsquedas en Google; publican 48 horas de vídeo en YouTube; escriben más de 100.000 mensajes en Twitter; publican 30.000 nuevos artículos en sitios como WordPress y suben más de 6.000 imágenes a Instagram.

Aquí puedes ver algunas estadísticas interesantes de todo el mundo y en tiempo real:

https://redirectoronline.com/ifct128po0102

Cómo y dónde surgió: primeros pasos

Como has visto anteriormente, en 1865 se introdujo el término inteligencia de negocios, pero es en 1958 cuando el investigador de la ya fundada IBM, Hans Peter Luhn, lo definió de una forma parecida a como se conoce hoy día, aunque aún tendría que sufrir modificaciones en su comprensión, ya que los procesos de negocios y su informatización avanzarían rápidamente.

La definición que Luhn dio en cuestión fue la siguiente: “es la habilidad de aprender las relaciones de hechos presentados de forma que guíen las acciones hacia una meta deseada” (Luhn, H. P. A Business Intelligence System. IBM Journal of Research and Development, 1958), definición relativamente básica si la comparamos con lo que actualmente implica este término.

En la actualidad, el BI se podría definir como el conjunto de medios utilizados para poder transformar los datos en información, con el objetivo de obtener conocimiento como finalidad para la mejora de procesos y la toma de decisiones eficaz en un negocio. Este conocimiento puede ser adquirido tras la consulta de datos históricos y su procesado mediante el cruzamiento de estos para así poder determinar el pasado y el presente de la organización.

Años más tarde, Kenneth Iverson creó el primer lenguaje de programación multidimensional que sirvió de base para lo que se conoce como procesamiento analítico en línea.

DEFINICIÓN

OLAP (On-Line Analytical Processing)

Es una solución que permite analizar grandes cantidades de datos de manera multidimensional, también llamados cubos OLAP, que contienen grandes cantidades de datos.

Creación de las bases de datos: el data warehouse

HILO CONDUCTOR

Los de TextilTek, S. L. se dieron cuenta de que cada vez era más difícil analizar la información con los medios que tenían, todo ello centralizado en su sede mediante servidores y sistemas de almacenamiento que tenían que ampliar continuamente, ya que la empresa crecía y era necesario almacenar mucha información de clientes y funcionamiento de los departamentos. Por ello, han decidido dar un paso más e invertir en big data. ¿Qué implicará dar este paso? Pronto lo descubrirán.

Posteriormente, en los años setenta se crearon las primeras bases de datos y aplicaciones para empresas que permitían el acceso a la información de estas bases de datos, aunque aún de forma poco eficaz y con una calidad mediocre.

En los años 80, debido a los avances informáticos, la BI tomó más personalidad y se definiría como un conjunto de sistemas informáticos utilizados para tomar decisiones en los negocios que se basan en la recogida y análisis de datos o reporting de los bancos de información de cada organización, conocidos como data warehouse. Pero aún no había aplicaciones que facilitarían la exploración de bases de datos. Por ello, es en esta década cuando se crea Excel 1.0, convirtiéndose en la más ampliamente utilizada.

Datos muy resumidos

 Datos compactos de fácil acceso y usados de forma más frecuente.

Datos poco resumidos

 Nivel de datos poco detallados y guardados en unidades de discos.

Datos actuales

 Datos de mayor interés, ya que son más recientes y tienen un alto nivel de detalle.

Datos históricos

 Datos almacenados masivamente y de escaso acceso.

El business intelligence 2.0

HILO CONDUCTOR

Debido al desconocimiento del business intelligence y un sistema de marketing deficiente, TextilTek, S. L. ha tenido gran cantidad de datos valiosos guardados, sin sacarles el suficiente partido. Gracias a la consultora, ahora son capaces de analizar datos históricos para saber cómo funciona la empresa.

Hasta ahora puedes darte cuenta de que en ningún momento el tipo de datos ha cobrado importancia para el BI, porque en su gran mayoría eran datos estructurados, y no es hasta la entrada del nuevo siglo cuando esto cobra importancia. Es entonces cuando se empiezan a desarrollar sistemas de análisis para datos no estructurados, ya que con la invención de las nuevas tecnologías más rápidas e inteligentes, los datos comienzan a adquirir una dimensión completamente diferente: nace así el business intelligence 2.0, creándose así el concepto de big data.

Como síntesis, el procedimiento del business intelligence lo puedes ver en el siguiente gráfico:

2.4. Evolución del análisis de datos: el data mining

HILO CONDUCTOR

Pero, ¿cómo podría TextilTek, S. L. anticiparse a sus rivales y diseñar una estrategia de marketing eficiente? La respuesta está en el data mining.

El estudio del BI podría abarcar perfectamente un curso completo, pero ese no es el objetivo, aunque resulta esencial para poder situarnos en un contexto adecuado para lo que viene después. Paralelamente, y con el objetivo de cubrir ciertas carencias del BI nace el data mining.

A finales de los años 80 surge una nueva expresión, el data mining o minería de datos, que consiste en buscar y extraer información y conocimiento de los datos mediante patrones y modelos que ayuden a estudiar el posible resultado en acciones que ocurrirán en el futuro.

¿Por qué llamar así a este procedimiento?

El data mining se basa en un procedimiento que intenta descubrir patrones de información en conjuntos de datos masivos, siendo semejante a un proceso de minería. Es precisamente por esto que la denominación de este término proviene de la analogía que se hace con los trabajos que se realizan para extraer materia prima valiosa de yacimientos en la tierra, la minería, pero en este caso en lugar de materia prima son datos obtenidos de grandes repositorios y bancos de datos.

Junto con el data mining, y unido a este término, tambien comienza a utilizarse el llamado KDD o Knowledge Discovery in Databases (en español, Descubrimiento del Conocimiento en Bases de Datos. La diferencia fundamental entre el KDD y el data mining es que para el primero es necesario un profundo conocimiento sobre el área a estudiar, mientras que para el segundo es necesario un conocimiento propiamente técnico.

En la siguiente imagen podrás ver muy resumidamente los pasos a seguir en un proceso de data mining:

Una técnica del data mining: el machine learning

HILO CONDUCTOR

TextilTek, S. L. está implantando con éxito tecnologías big data, concretamente el sistema de análisis con data mining le está dando buenos resultados, ya que en base a los datos que genera mediante las compras de los clientes y las áreas funcionales de la empresa, es capaz de anticiparse a las demandas de un mercado cada vez más saturado y exigente. Aunque la respuesta de los clientes está siendo mucho más positiva que con el antiguo sistema de alertas, el área de marketing ha desechado este y se basa en el análisis de redes sociales y el feedback para identificar los gustos de moda de los jóvenes.

El machine learning o aprendizaje automático no es más que otra consecuencia de la necesidad de una búsqueda y explotación de patrones de datos en bancos, con el objetivo de construir modelos que predigan las consecuencias que tendrán lo que en ese momento se está haciendo. Este método se comenzó a utilizar por los bancos en la década de los noventa para detectar posibles fraudes y estudio de créditos.

Pero el machine learning va más allá de esto, y es que es una rama de la inteligencia artificial. Se trata de crear algoritmos que sean capaces de aprender y tomar decisiones y, por tanto, de predecir acontecimientos. Esto se hace tomando información y construyendo ejemplos que generalizan comportamientos, por lo que la estadística representa una parte fundamental.

Actualmente esto tiene multitud de aplicaciones como, por ejemplo, los motores de búsqueda de internet, que aprenden tus hábitos para luego enviarte información que pueda interesarte. Seguramente lo hayas experimentado y te parezca algo incomprensible a priori, pero todo se deriva precisamente de esto.

PARA SABER MÁS

La inteligencia artificial cada vez más forma parte de nuestra vida. Puede ser una forma excelente de facilitárnosla, pero también implica riesgos como la sustitución de la mano humana por máquinas artificiales y una posible crisis de paro a nivel mundial. Para más curiosidades puedes visitar el siguiente artículo:

https://redirectoronline.com/ifct128po0103

2.5. Data science y el científico de datos

La aparición del concepto data science o ciencia de datos surge precisamente del desarrollo de las aplicaciones de data mining y engloba el conjunto de principios científicos y aplicados que definen cómo se extrae el conocimiento de los datos.

El concepto se introdujo en el nuevo milenio y su fin es englobar los principios en los que se basan los conceptos anteriores: matemáticas, estadística e informática para la extracción de información mediante patrones y relaciones de datos. Con el data science se pretende dar una explicación de la evolución sufrida por los procesos de obtención de conocimiento a partir de los datos y la entrada en la nueva era digital.

Tal ha sido la repercusión de esto que apareció la figura del científico de datos o persona que se especializa en el tratamiento de datos. En otras palabras, se trata de la conjunción de desarrollo de distintos conocimientos como la estadística mezclada con creatividad y la computología. Estas personas cuentan con unas habilidades muy concretas:

ACTIVIDAD COMPLEMENTARIA

1. Hasta ahora has podido seguir el caso de TextilTek S. L. en relación a la implantación de un sistema big data. ¿Podrías aportar ideas de cómo esta empresa podría recabar información y datos de las personas para adaptarse más a sus exigencias y gustos, y así llegar a más público?

3. Definiciones y bases del big data

HILO CONDUCTOR

TextilTek, S. L. es consciente de esto y, debido a su inexperiencia, ha decidido contratar a un profesional para que se encargue de la gestión del big data de la empresa de una manera más personal que la consultora tecnológica. Además, se encargará de darle formación básica al personal para que de aquí en adelante puedan entender a lo que se enfrentan.

Antes de proceder al estudio del big data, también llamados macrodatos, conviene que aprendas el significado de términos relevantes que envuelven el big data y que todo profesional de la materia debería saber y controlar.

Si bien es cierto que han aparecido importantes conceptos ya en puntos anteriores, conviene extender aún más el glosario, ya que la magnitud que abarca el big data es ciertamente enorme.

Nube de términos utilizados en big data

3.1. Conceptos clave

Como habrás notado, un término que aparece en infinidad de veces es el de datos, ya que es la esencia del big data. Conviene que aprendas algunos términos que definen los tipos de conjuntos de datos creados y otros relacionados con estos, ya que aparecerán en más ocasiones:

1 Algoritmo: conjunto o secuencia de operaciones sistemáticas, lógicas y finitas que permiten realizar un cálculo y encontrar la solución a un problema como, por ejemplo, analizar datos.

2 Analytics: forma en la que una información se puede capturar, procesar y analizar para convertirla en aprendizaje. Este proceso se ejecuta después del data mining.

3 Small data: menor que el big data. Este concepto define un volumen menor de datos con lo que se trabaja.

4 Datos estructurados y no estructurados: los datos estructurados cuentan con una estructura lógica ordenados en columnas y tablas, y es necesario que el sistema conozca el formato de los datos para su guardado, pero son una fuente menor de extracción de información para el big data. Los datos no estructurados o desorganizados, como los e-mail, son una fuente mayor de aprendizaje con fines comerciales para el big data. Además, el sistema los guardará sin una estructura definida, solo como una de datos codificada.

5 Dark data: son datos que si un sistema no está configurado específicamente para leerlos, se considerarán desconocidos.

6 Data cleansing: método por el cual los bancos de datos mantienen su integridad, evitando datos corruptos irrelevantes.

7 Data lake: gran volumen de datos o lago de datos en estado natural, donde el científico de datos o data scientist debe adquirir el conocimiento.

8 Dirty data: conjunto de registros de datos capturados en bruto y sin limpiar.

9 Fast data: datos que deben analizarse en tiempo real, ya que su período de información útil es corto.

10 Slow data: datos con información de larga duración.

11 Medium data: cantidad de datos suficiente para generar conocimiento, pero menor cantidad que el big data.

12 Predictive analytics: análisis predictivo de datos.

13 Deep learning: conjunto de algoritmos destinados al aprendizaje automático.

3.2. El término big data y sus definiciones

Tras una larga lectura de antecedentes y términos, con la finalidad de poder situarte en un contexto adecuado, estamos en posición de definir el big data. Como has visto, el recorrido que tiene detrás es muy amplio y con muchas connotaciones.

Big data ha significado una revolución en todos los campos de la tecnología y los negocios y, por ende, es necesario definirlo con todo lo que ello implica. Seguramente esto provoca que el término signifique muchas cosas y también nada en concreto, ya que su uso es global y está en expansión continuamente.

1 1. Definición base: el big data se puede definir como un conjunto de datos de un monstruoso tamaño que van a superar la capacidad del software existente para poder ser capturados, gestionados y procesados. Estos conjuntos de datos son caracterizados por las llamadas 3 V del big data: volumen, velocidad y variedad.

2 2. Definición según la perspectiva de negocio: el big data se puede entender como la oportunidad que bridan los datos para hacer negocios con ellos, una definición, cuanto menos, oportunista.

3 3. Definición según su dimensión tecnológica: el big data se entiende como una tecnología de información y comunicación en continuo crecimiento y evolución. En esta se introducen las tecnologías concretas que hacen posible esto, como los softwares de almacenamiento y gestión, aunque no es demasiado acertado introducirlos aquí.

4 4. Definición como la revolución del conocimiento: podemos ver el big data como la luz que ilumina todos los datos que han permanecido en la oscuridad, como una forma de eliminar las barreras tecnológicas en cuanto a adquisición de conocimiento. Los datos no solo sirven para justificar hechos, sino para crearlos.

5 5. Definición como una cultura: debido a su incidencia en el mundo, el big data forma parte de nuestra cultura, afectando a la sociedad en su comportamiento y forma de ver la vida.

6 6. Definición como señales: podemos ver los datos como oportunidades de negocio, señales para anticiparse a acontecimientos y obtener ventaja de ellos como, por ejemplo, prevenir enfermedades a través de la investigación o crear estructuras sostenibles en la sociedad.

7 7. Definición como una metáfora: esta visión surge del llamado internet de las cosas. Los seres humanos somos un sensor más que arroja información al planeta y somos parte del sistema nervioso del mismo, y el internet de las cosas representa los cables por los cuales circula la información.

4. Bases de establecimiento del big data

Ya hemos visto que el big data tiene su origen en el uso del data mining de las grandes empresas tecnológicas que surgieron primeramente en Silicon Valley gracias a la invención del transistor de silicio que tras suponer una revolución se crearían empresas tan importantes hoy día como AMD, Intel o Google, además de otras.

Sede de Google en Silicon Valley (© Fotografía: Benny Marty / Shutterstock.com)

Pero no es hasta finales de los noventa cuando nace el World Wide Web o las WWW cuando las empresas se encuentran con un verdadero problema, el de la imposibilidad de explotar estos bastos bancos de datos para potenciar su negocio. El problema realmente no era muy distinto al que habían tenido anteriormente empresas financieras o aseguradoras, pero en este caso el volumen de datos era de dimensión muy distinta y el data mining y los mecanismos de la época eran insuficientes.

Es aquí cuando se empieza a hablar de volumen, velocidad y variedad para referirse a los datos, términos que posteriormente definirían las características del big data como las 3V.

SABÍAS QUE...

Sillicon Valley recibe su nombre del silicio, material que se extraía en esta área y que fue el germen del establecimiento de empresas que experimentaban con este material hasta la invención del transistor. Hoy en día es lugar de residencia de las mayores empresas tecnológicas del mundo.

ACTIVIDAD COMPLEMENTARIA

2. Ya has conocido el término big data y habrás comprobado que es relativamente abstracto. Además, has visto que lo definen tres características: volumen, velocidad y variedad. ¿Qué entiendes tú por big data? ¿Qué significan estas tres características que empiezan por V? ¿Habrá más de estas tres V? Enuméralas.

4.1. Rápido repaso al modelo MapReduce

Un ejemplo claro del nuevo escenario que abrió el World Wide Web lo tenemos en Google que logró implantar con éxito su novedoso algoritmo Page-Rank, el cual era capaz de analizar datos de multitud de sitios web.

Ya existían en la época algoritmos capaces de procesar grandes volúmenes de datos de forma paralela, usando para ello grandes máquinas de análisis con varios núcleos en conjuntos o clusters (High Performance Computing o HPC). Pero en el caso de Google, con PageRank optó por una estrategia distinta: implantar un conjunto de máquinas de menor tamaño y menor capacidad de procesamiento.

Esta solución se basa en dos elementos. Por un lado, la existencia de un sistema de ficheros distribuidos para la gestión del almacenamiento de los datos de manera segmentada y, además, replicada entre las distintas máquinas. Por otro lado, un software que tiene implementadas las diferentes tareas para cada máquina. Este software permitía una más fácil implementación de nuevos programas que trabajaran con los datos. A este modelo se le llamó MapReduce.

Función Map

 Transforma los datos brutos en datos intermedios transformados en claves y valor que se agrupan según la misma clave.

Función Reduce

 Agrupa los valores de los datos sumándolos y se produce el resultado final.

4.2. Desarrollo de las tecnologías del big data

Gracias a la creación de MapReduce se han implementado más soluciones basadas en este para crear motores de búsqueda a nivel global como Yahoo, y de esta forma se llegó a implementar un sistema semejante, pero en software libre con código abierto, denominado Apache Hadoop. Tras la creación de este, y gracias a ser de acceso libre, se crearon multitud de herramientas adiciones que potenciaron la funcionalidad del big data.

DEFINICIÓN

Apache Hadoop

Es un entorno de trabajo de licencia libre inspirado en el MapReduce de Google, que permite a diferentes aplicaciones trabajar con grandes volúmenes de datos.

En los siguientes años se fueron desarrollando estas tecnologías paralelamente por parte de Google con NoSQL, un sistema de almacenamiento de datos, también de forma libre.

DEFINICIÓN

NoSQL

Es un tipo de sistema de gestión de base de datos, que no solo usa el SQL como lenguaje de consultas para bases de datos, sino también otros existentes, de ahí el nombre NoSQL o No solo SQL.

Después surgió la Web 2.0, donde usuarios de todo el mundo interactuaban en redes sociales y creaban contenido en forma de streams o flujos, en los cuales era necesario procesar y distribuir los datos en tiempo real. Así fue como se fue expandiendo cada vez en mayor medida el big data.

Y finalmente llegamos a la actualidad, donde gracias al software libre y al abaratamiento de las tecnologías de computación, ha sido posible que usuarios normales tangan acceso al cloud computing o computación en la nube, en la cual se alquilan máquinas de forma remota para hacer uso de ellas y llegar a la era del internet de las cosas, donde se crean todo tipo de dispositivos capaces de crear y compartir contenido ni necesidad de enlaces físicos, llevando así a una nueva dimensión: el big data.

TAREA 1

Imagina que eres el dueño de una empresa de venta de moda textil creada en 1970. Gracias a tu excelente dirección y a la de tus socios, has mantenido tu empresa a la vanguardia en tecnología, consiguiendo con ello expandirte y optimizar todas las áreas de negocios.

Realiza un documento donde cuentes de forma cronológica la trayectoria que ha seguido tu empresa en la implementación de sistemas de análisis de datos hasta el día de hoy para conocer la razón del éxito de tu negocio.

5. Resumen

Los antecedentes del big data comenzaron en los albores de nuestro tiempo:

Edad antigua: uso de aparatos mecánicos. Abaco, Anticitera.

Siglo XVII: John Graunt crea la estadística.

Siglo XIX: primeras computadoras. Se habla de business intelligence.

Siglo XX: era de la información, aparece el big data.

Siglo XXI: internet de las cosas, creamos más datos en un día que en 1.000 años.

La información aplicada a los negocios hace obtener una ventaja competitiva en las organizaciones, nace el Business Intelligence y con él un mundo de posibilidades, donde las organizaciones evolucionan rápidamente hacia una era marcada por los datos y su importancia.

1958: Peter Luhn define el BI.

Se crean las bases de datos. Nace el data warehouse.

Evoluciona el análisis de datos: nace el data mining para estudiar el futuro a través de los datos.

Surge el machine learning: las máquinas son las protagonistas.

Desarrollo de profesionales: los científicos de datos y la ciencia de los datos.

El big data y las diferentes formas de entenderlo. Has aprendido la terminología más utilizada relacionada con este concepto y has establecido las bases para el entendimiento del big data.

El big data nace como necesidad para las grandes empresas tecnológicas de los años noventa.

Google y su novedoso MapReduce: divide y vencerás.

Nace el software libre con Apache Hadoop, alternativa gratuita a MapReduce.

Invención de la Web 2.0: todos creamos datos masivamente. Nace el big data.

Ejercicios de autoevaluación
Unidad de Aprendizaje 1

1. ¿Quién definió por primera vez el término business intelligence?

a. Richard Millar Devens, en 1958.

b. Hans Peter Luhn, en 1958.

c. Richard Millar Devens, en 1865.

d. Hans Peter Luhn, en 1865.

2. La implantación del business intelligence en una empresa dota a esta de conocimiento útil para una mejor toma de decisiones. Pero, ¿qué tipo de análisis hace de los datos?

a. Descriptivo.

b. Predictivo.

c. Predictivo y descriptivo.

d. El análisis debe realizarlo el científico de datos.

3. Determina si las siguientes oraciones son verdaderas o falsas:

a. El data mining aporta a la organización un análisis descriptivo de los datos para saber el pasado y el presente de esta.

1 Verdadero

2 Falso

b. El data mining es una evolución del business intelligence tradicional.

1 Verdadero

2 Falso

c. El data mining aporta a la organización información a través del estudio de patrones y modelos para predecir resultados.

1 Verdadero

2 Falso

d. El data mining se basa en la inteligencia artificial.

1 Verdadero

2 Falso

4. El científico de datos:

a. Es la figura del analizador en el data mining.

b. Se especializa en ordenar y almacenar los datos más relevantes.

c. Son científicos matemáticos que se especializan en el tratamiento de datos.

d. Se especializa en el tratamiento de datos.

5. ¿Cuáles son las 3 V del big data más importantes?

a. Volumen, variación y variedad.

b. Volumen, velocidad y variedad.

c. Volumen, valor y veracidad.

d. Volumen, valor y variedad.

6. El modelo MapReduce:

a. Se basa en dos elementos: un sistema de ficheros distribuidos y un software que tiene implementadas las tareas de cada máquina.

b. Se basa en dos elementos: un sistema de ficheros centralizado y un software que tiene implementadas las tareas de cada máquina.

c. Es un sistema de ficheros distribuidos en varias maquinas.

d. Es un software que tiene implementadas las tareas de cada máquina para analizar datos.

7. Apache Hadoop:

a. Pertenece a Google.

b. Es de pago.

c. Es un software libre.

d. Es un software libre implementado por Google.

8. ¿Qué es el machine learning?

a. Análisis automático de las máquinas.

b. Aprendizaje automático de las máquinas.

c. Inteligencia artificial.

d. Una evolución del data mining.

9. ¿Qué es la Web 2.0?

a. La evolución de las primeras redes de datos.

b. Una red centralizada donde se crea y comparte información personal.

c. Una red global donde todos compartimos información mediante la creación de contenido.

d. Es la red de internet dotada de mayor seguridad.

10. Determina si las siguientes oraciones son verdaderas o falsas:

a. El big data hace referencia a una cantidad masiva de datos que supera la capacidad de análisis del software.

1 Verdadero

2 Falso

b. El big data hace referencia a una cantidad masiva de datos que puede ser analizada en tiempo real mediante inteligencia artificial.

1 Verdadero

2 Falso

c. Al big data también se le conoce como macrodatos.

1 Verdadero

2 Falso

d. El big data también se le llama internet de las cosas.

1 Verdadero

2 Falso

Unidad de Aprendizaje 2

La importancia del dato

Contenido

1. Introducción

2. El valor del dato

3. Problemas que aparecen en la recogida de datos

4. El presente y futuro de los datos: normativa y aplicaciones

5. Resumen

Objetivos

El objetivo general de esta Unidad de Aprendizaje es:

 Entender la importancia que tiene el dato en todas las áreas de la sociedad, haciendo especial énfasis en su importancia estratégica para las organizaciones y la preservación de la privacidad mediante una correcta gestión.

Los objetivos específicos de esta Unidad de Aprendizaje son:

 Describir las aplicaciones que tienen los datos en la estrategia de la organización y los beneficios que aportan estos a su progreso.

 Identificar las distintas funciones y niveles que tiene el data management en una organización.

 Analizar algunos de los problemas más comunes que aparecen a la hora de trabajar con los datos en las organizaciones.

 Saber qué normativa de protección de datos es aplicable en nuestro territorio.

1. Introducción

Los datos siempre han sido importantes. Antes de la entrada del big data, las organizaciones recopilaban los datos de todas las áreas funcionales y los guardaban en los data warehouses, para después poder analizarlos periódicamente y de esta forma adquirir ideas para aumentar el rendimiento y mejorar los negocios.

Realmente, era la idea correcta: tener almacenes de datos propios a los que sacarle información, pero fue con la creación de internet cuando esto dejó de tener en parte sentido. Debido a la interconexión global, la información que se empezó a producir era de tal tamaño que los data warehouses no tenían cabida para guardar datos externos a las organizaciones y fue así como surgió el big data.

A esto debemos sumarle la proliferación de los dispositivos inteligentes, que pueden crear información desde prácticamente cualquier lugar del mundo y no solo esto, sino que funcionan como sensores capaces de generar información y procesarla, y es aquí donde se plasma la verdadera importancia del dato y el verdadero sentido del big data: generar valor a partir de los datos.

Para ello, nos centraremos en el caso de TextilTek, S. L., empresa que descubrirá que no solo se trata de adquirir tecnología para el procesamiento de los datos, sino que debe existir un compromiso de concienciación por parte de todos los empleados y que llevará varios años adaptarse plenamente a estos cambios.

2. El valor del dato

HILO CONDUCTOR

Siguiendo con el caso de TextilTek, S. L., estos han decidido contratar personal especializado para que, entre otras cosas, se encarguen de la formación del personal de la empresa en todo lo referente a los datos y la forma de tratar con estos. En esta unidad aprenderás, junto a ellos, la importancia que tienen los datos.

Los datos son la razón de existir del big data, por lo que estos ayudan a que podamos poner en perspectiva el alcance del mismo.

Organizaciones, entes públicos, medios de comunicación e individuos deben entender que los datos son necesarios para una buena toma de decisiones que afecten de forma global a una sociedad. Un ejemplo claro serían las nuevas smart cities o ciudades inteligentes, que pueden tomar datos de tráfico, tiempo, polución y ayudar a los ciudadanos a moverse de forma más segura por sus calles, gracias a una eficaz toma de decisiones basadas en la adquisición de datos.

Las organizaciones deben invertir en infraestructuras que trabajen con datos y permitan el continuo acceso a los mismos prácticamente en tiempo real. Además, permiten crear patrones de comportamiento de los clientes y así anticiparse a las necesidades de los mismos.

Gracias al data science, los datos son la base para crear nuevas líneas de investigación que, si no fuera por la posibilidad de comparar grandes cantidades de información mediante software, no seríamos capaces de descubrir gran parte de avances tecnológicos de hoy en día, haciendo especial hincapié en los avances médicos que se han producido gracias a los datos.

2.1. El negocio de los datos: su valor estratégico

Todo lo que hacemos deja una huella digital que es analizable, aunque no siempre es información relevante. Esto crea un mundo transparente para las empresas y los clientes, desarrollando las relaciones entre estos hasta el punto de que pueden saber qué haces, qué compras, cómo y cuándo, creando un modelo de negocio basado en nuestro estilo de vida y en los datos que generas.

Existen empresas que directamente basan su existencia en recopilar y procesar datos que generamos mediante nuestro acceso a internet, para después venderlos a otras que pagan por ellos, por lo que no solo se adquiere ventaja competitiva a partir de los datos, sino que los datos son un negocio en sí, y muy rentable. Por esto mismo, se habla de que el big data está transformando por completo el modelo de negocio que ha existido hasta ahora, introduciendo nuevas posibilidades y filosofías.

EJEMPLO

La aseguradora John Hancock Financial entrega una pulsera de actividad física a cada cliente, con el objetivo de analizar su conducta deportiva: mientras más ejercicio haga, más descuento obtendrá en su seguro de vida. Es un ejemplo claro de crear ventaja competitiva.

Cuantificar los datos

HILO CONDUCTOR

La primera tarea que se le ha encomendado a TextilTek, S. L. es la de sacar partido a sus datos. Siempre han contado con un data warehouse para guardar datos internos que la legislación obliga, pero nunca habían considerado estos relevantes para obtener ventaja competitiva, más allá de su mero uso como datos históricos.

Prácticamente todo lo que nos rodea contiene sensores que producen datos. Móviles, relojes, nuestra propia ropa y, por supuesto, los vehículos los tienen, y con ellos comienza el proceso de cuantificación del big data. Estos datos generados son necesarios para producir otros datos nuevos y así es como se inicia un proceso que, en ocasiones, termina siendo la actividad de negocios de alguna organización.

Trasladando esto al mundo de las empresas, la cantidad de datos a cuantificar se dispara, incluso sin el uso de sensores y herramientas. Las empresas deben guardar ciertos datos y registros obligatoriamente, aunque no siempre los utilizan para fines de estudios, lo cual es un error que gracias al big data está cambiando.

La potencia del big data se encuentra en que no solo se podrán recoger datos cuantitativos, sino también cualitativos, que son aún de más valor, y tratar de cuantificar estos mediante su estudio y análisis.

EJEMPLO

Un claro ejemplo lo puedes encontrar en las personas que cada vez están más obsesionadas con cuantificarse ellas mismas: las calorías que ingieren, cuanto pesan, medidores de actividad física y un largo etcétera de datos que, gracias a los gadgets o dispositivos con un propósito específico, podemos cuantificar.

Predecir a través de los datos

HILO CONDUCTOR

Mediante las ideas aportadas por la dirección y el personal especializado, Textil-Tek, S. L. ha decidido utilizar, por un lado, métodos cuantitativos para obtener mejoras en su rendimiento financiero y sus áreas y, por otro, métodos cualitativos para comprender mejor a sus clientes y mejorar los servicios.

Tras haber visto cómo se pueden obtener y cuantificar los datos que se generan, llega la hora de saber para qué se hace, es decir, cuál será el objetivo final de estos datos en cuanto a negocios se refiere.

Entre las diferentes posibilidades que existen, una que destaca sobre las demás es que estos datos se pueden usar para predecir acontecimientos y acciones y, además, actuar sobre ellas cambiando su destino. Por eso, el Big Data es una muy buena vía para persuadir.

Los datos cuantificados proporcionan información valiosa para predecir comportamientos de clientes, los stakeholders, la organización en sí misma o su mercado de acción. Se podrían predecir, incluso, aspectos del propio ser humano, tales como su conducta.

DEFINICIÓN

Stakeholder

El stakeholder o parte interesada hace referencia a una entidad, como una persona o una organización, que muestra interés en otra organización como, por ejemplo, trabajadores, accionistas, clientes, etc.

Según su filosofía, hay diferentes métodos de predicción:

Método cualitativo

 Utiliza datos no numéricos para predecir acciones futuras que no se basen en valores. Por ejemplo, recopilar opiniones de clientes para tomar acciones sobre un producto en el mercado.

Método cuantitativo

 Se basa en utilizar números y valores (número de ventas, número de compras, etc.) durante cierto período de tiempo para realizar un pronóstico.

Método explicativo

 Utiliza datos también cuantitativos para explicar posibles tendencias y hacer un pronóstico de resultados.

Método de series de tiempo

 Utiliza solo datos históricos para hacer predicciones de futuro.

APLICACIÓN PRÁCTICA

Deseas sacar unas nuevas galletas de chocolate para su venta en supermercados y necesitas elaborar unas estadísticas de la aceptación que estas podrían tener respecto a los potenciales clientes y cuáles son sus gustos en cuanto a galletas.

¿Qué tipo de método deberías usar para recopilar los datos que deseas?

Solución

En este caso, serían necesarios los dos métodos:

1 El método cuantitativo es necesario para contabilizar el número de interesados en el nuevo producto, por lo que se trata de obtener valores numéricos.

2 El método cualitativo es necesario, porque también deseo saber cuáles son los gustos de los entrevistados y para ello es necesario realizar preguntas abiertas.

El poder de los datos para cambiar cosas

Anteriormente has visto cómo se pueden cambiar los resultados realizando predicciones, pero no es la única forma. Te puedes plantear una pregunta: ¿Necesito información concreta sobre una persona o un colectivo en una situación concreta? ¿Cómo obtengo la información que necesito? Y la respuesta es mediante la experimentación de esa conducta, simulándola a con la realización de experimentos.

Un lugar idóneo para realizar experimentos es en los sitios web. Se ha demostrado, por ejemplo, que un botón verde en lugar de rojo para realizar descargas aumenta los beneficios de las empresas o que las caras femeninas en los anuncios incrementan el interés de los clientes. Estos son ejemplos de la aplicación de experimentos para cambiar la conducta humana hacia un fin concreto, gracias a la implantación de determinados datos. A esto se le denomina data-driven o decisiones basadas en los datos.

Otro campo de aplicación de la experimentación es la publicidad, gracias al neuromarketing (unión entre la neurociencia y el data mining), donde interviene el aprendizaje computacional o machine learning como vía para analizar y predecir comportamientos, que, unidos al factor humano, hacen de esta práctica un método muy efectivo para cambiar la conducta humana a través de los anuncios.

DEFINICIÓN

Neuromarketing

El neuromarketing o marketing emocional es una ciencia que estudia e investiga los comportamientos del cerebro humano durante un proceso de compra.

Optimizar

HILO CONDUCTOR

Una vez definidos los métodos a utilizar para obtener resultados mediante los datos, TextilTek, S. L., debe definir indicadores clave con los que saber rápida y fácilmente si los resultados que se van obteniendo son de su agrado. Para ello, necesitará diseñar un cuadro de mando con el que comprobar si estos indicadores reflejan buenos resultados.

Otra de las aplicaciones fundamentales de los datos es la de proporcionar la capacidad para optimizar los procesos internos de las organizaciones. Los datos generados por ellas mismas, junto con los captados en el exterior, proporcionan una visión interna y otra externa de cómo está situada respecto a su competencia. Es así como se pueden detectar posibles errores y predecir el rendimiento que tendrá en el futuro y actuar en base a ellos.

El ritmo de evolución y la necesidad de adaptarse por parte de las empresas al mundo actual es frenético, y una forma de medir sus progresos es diseñar Indicadores Clave de Rendimiento, más conocidos como KPI, que, integrándose en los cuadros de mando y el big data, constituyen una parte fundamental para la plena adaptación y optimización.

NOTA

Un KPI o Indicador Clave de Rendimiento se utiliza para medir el rendimiento de procesos y, además, relacionarlos con los objetivos fijados para ese proceso. Normalmente, los datos se miden en porcentajes.

Estos KPI se integrarán en el tablero o cuadro de mando de la organización, que es una representación esquemática y, a veces, gráfica de los indicadores fijados por la organización. Su función es ayudar a entender mejor los datos que muestran los KPI. Existen distintas áreas que se pueden medir con indicadores: Finanzas, Comercial, Marketing, Compras, Producción, Logística, Calidad, Recursos Humanos e Informática y Mantenimiento.

NOTA

Para implementar y ejecutar la estrategia interna por una empresa, es necesario un correcto estudio de la información mediante el big data, pero también cobra una importancia esencial el factor humano. Hay que comprender a los usuarios y los trabajadores, ya que ellos son una parte fundamental del rendimiento de una empresa.

ACTIVIDAD COMPLEMENTARIA

3. El cuadro de mando es una utilidad fundamental para las organizaciones y una de las áreas de estudio y medición es la de los clientes mediante KPI relacionados con estos. Busca o inventa tres KPI de fidelización de clientes y explica qué van a medir en el cuadro de mando de la empresa.

Innovación

Por último, se debe hablar de innovación, se deben usar los datos para optimizar internamente las empresas y promover su innovación. Estos dos términos van cogidos de la mano, ya que para optimizar, generalmente hay que innovar. Está bien llevar a cabo el porqué, pero también es necesario el cómo.

El porqué de cambiar algo implica un cambio de mentalidad en las empresas. Gracias al big data, se puede tener una idea de por qué es necesario cambiar algo.

Esto es aún más importante. Hay que saber la forma de hacerlo, sus implicaciones y lo que se necesita.

EJEMPLO

Un ejemplo ilustrativo es el de una empresa de aerolíneas que no sabía cómo optimizar los tiempos de vuelo de sus naves, así que compartió el problema con la comunidad científica online y gracias a ello obtuvieron la solución.

Esto refleja la importancia de los datos y la recolección de estos para encontrar soluciones. Es una forma de innovación en sí misma. En el proceso de innovación cobra una especial relevancia el modelo teórico de John Kotter, profesor de la Escuela de Negocios de Harvard, que enumera el proceso de la innovación en ocho fases:

1 Crear un sentido de urgencia: no es suficiente comunicar la necesidad de un cambio, sino que se debe convencer al mayor número de integrantes de la organización para que apoyen el cambio. Crear un sentimiento de urgencia refuerza esto.

2 Formar un equipo: se debe formar un equipo con el personal más influyente de las distintas áreas de la organización.

3 Crear una visión que lo dirija: la visión vendrá definida por la situación ideal a la que se quiere llegar con el cambio. Esta dirigirá el enfoque de los cambios.

4 Comunicar la visión y la estrategia: una vez diseñada, es necesario comunicarla a toda la organización para que exista el sentimiento de implicación y convencimiento.

5 Superar los obstáculos: se creará la estructura sobre la que irán los cambios. Esta debe ser lo suficientemente fuerte como para poder enfrentarse a los inconvenientes que aparezcan.

6 Asegurar el éxito a corto plazo: aunque la estrategia esté diseñada a largo plazo, será necesario cumplir los objetivos paso a paso, creando así una sensación de confianza.

7 Consolidar las mejoras y profundizar: cada vez que se consiga un objetivo, se debe potenciar lo bueno y subsanar los errores que se hayan podido producir.

8 Fijar los cambios: una vez conseguido el objetivo final, se debe asentar en el día a día de la organización.

2.2. El negocio de los datos: data management

HILO CONDUCTOR

Debido a los cambios que está implementando TextilTek, S. L. en todas sus áreas, es necesario adaptar la dirección a todo ello. Se debe realizar una integración en toda la organización que unifique los objetivos, ya que saben perfectamente que de nada sirve implementar cambios tangibles si no existe una concienciación por parte de todos los trabajadores. Todo esto se conseguirá con un data management adecuado.

Hasta hace unos años, las empresas eran capaces de realizar una gestión de los datos de forma relativamente sencilla, pero los datos tienen cada vez más influencia en los negocios de estas y son un activo propiamente dicho, formando un pilar fundamental que se debe manejar debidamente.

En los apartados anteriores has podido ver la importancia de los datos como ente estratégico esencial para la evolución de los negocios. Como consecuencia de esto surge el concepto de data management (en español, gestión de datos), que trata de establecer una serie de funciones básicas para estructurar esta gestión de forma correcta para evitar problemas típicos como los siguientes:

Data governance

Es el nivel que encuadra a todos los demás. Su función es encargarse de supervisar los demás niveles de gestión de datos, como si de un gobierno se tratara.

Sus funciones serán las siguientes:

Crear los estándares y las políticas que guiarán el uso de los datos.

Establecer los roles y las responsabilidades internas.

Decidir la tecnología más adecuada para la gestión de datos.

La idea es que los datos no vayan ligados solamente al Departamento de Tecnologías de la Información o IT, ya que influyen en todas las áreas de la organización. Por lo que el data governance será el encargado de crear un marco general, cumpliendo los siguientes puntos:

Políticas

 Políticas para asegurar el cumplimiento de los objetivos.

Herramientas

 Deben poder medir los resultados, sean específicos o generales.

Equipos

 Deben configurarse grupos de personas con tareas específicas que puedan alinearse con los distintos objetivos planteados.

Objetivos

 Definir objetivos y el modo de alcanzarlos.

Integridad

 Los datos deben cumplir con las necesidades. Se debe tratar de reducir los costes de su gestión y cumplir la normativa.

Data Architecture

HILO CONDUCTOR

Con el data architecture, TextilTek, S. L. deberá adoptar una arquitectura de datos adecuada. Esto implica definir su estructura mediante un modelo, diseñarla e implementarla, todo ello mediante diferentes funciones de manera ordenada.

En esta función se definirá la estructura que los datos tendrán en la organización, tanto de forma física como de forma lógica. A esto se le denomina el framework de Zachman o marco de referencia de los datos, que hace la función de un mapa que representa dónde y cómo se localizan los datos en la organización, su ciclo de vida y el recorrido que hacen.

Para que los datos queden correctamente definidos, la estructura diseñada debe cumplir los siguientes parámetros:

Los objetivos del data architecture son:

Definir y desarrollar la arquitectura de los datos.

Medir e identificar los cambios necesarios en esta arquitectura para adaptarla a lo deseado, es decir, optimizarla.

El data modeling and design

En un nivel inferior al data architecture se encuentra el data modeling o modelado de los datos, que trabaja directamente con las bases de datos, por lo que es mucho más concreta y específica en el tratamiento de los datos.

Existen dos procesos que se llevan a cabo mediante el data modeling:

Modelado

Tarea que se dedica a estructurar los datos y a organizarlos.El modelo se representa por medio de texto y símbolos que reflejan la disposición de los datos y sus relaciones.

Diseño

Transforma el modelo lógico en un modelo físico y funcional.

Proceso de modelado y diseño de una base de datos

Data storage

La función de este nivel es la implementación de una serie de políticas o especificaciones que definan cómo se guardarán los datos, cuándo y qué datos se almacenarán.

Es algo esencial para una organización, ya que si se trabaja con grandes volúmenes de datos, es necesario implementar ciertas directrices de cómo se almacenarán.

Con esto, se pretenden obtener diferentes beneficios:

Ahorro

 Cualquier plataforma de almacenaje de datos es limitada, por lo que el almacenamiento debe tener una estructura.

 Además, deben establecerse unos principios que permitan el desechado de datos y la asignación de espacio para los nuevos.

Productividad

 Los datos almacenados aleatoriamente provocan la ralentización de los sistemas de procesamiento, ya que se hace más difícil el acceso a los mismos. Por ello, los datos se dividirán en:Datos activos: lo de acceso inmediato y más recientes.Datos inactivos: almacenados de forma comprimida y separados de los primeros.

Data security

Se trata de diseñar los mecanismos necesarios para preservar la seguridad de los datos en el entorno de la organización, gracias a políticas y actuaciones dirigidas en última instancia por el data governance.

Esta función también se encargará de monitorizar los datos para que se asegure la privacidad de estos, incluso cuando sean compartidos. Los mecanismos a utilizar pueden ser los siguientes:

Enmascaramiento persistente

 Los datos se resguardan en entornos no productivos, es decir, de pruebas y desarrollo. Los datos originales quedarán modificados permanentemente, ya que el enmascaramiento se realiza en la información en reposo.

Enmascaramiento dinámico

 El proceso de resguardo de datos se hace en tiempo real, por lo que los datos se encuentran en entornos de producción, es decir, no se encuentran aislados. Los datos confidenciales son modificados, mientras que los originales permanecen sin cambios y en reposo.

NOTA

El enmascaramiento de datos consiste en crear una versión modificada de los datos para que, en lugar de acceder a los datos originales, se acceda a datos con una estructura distinta y así preservarlos.

Data integration

Este nivel lo conforman los diferentes estándares y especificaciones implantados para poder integrar los datos en toda la organización, de forma que todos los departamentos puedan quedar interconectados mediante un flujo de información. Lo forman dos conceptos:

Interoperabilidad

 Los sistemas deben ser capaces de interactuar entre ellos, permitiendo el flujo de datos.

Integración

 Debe darse este intercambio de datos entre los sistemas.

 Para ello, las áreas deben saber cómo se guarda la información en cada una de ellas. Por ejemplo, en cuanto a la arquitectura o el tipo de datos, ya que para que diferentes áreas puedan conmunicarse, estas se deben entender.

Documents and contents

Este nivel se encarga de los datos que están fuera de las bases de datos. El objetivo es diseñar una serie de reglas para organizar y estructurar esos datos no relacionales, como pueden ser los contratos, las facturas, etc. y además conseguir que el acceso a ellos se lleve a cabo con eficiencia.

Por otro lado, existe otra función de iguales características que se encarga de que datos especialmente importantes y críticos para la organización sean creados de forma consistente y con calidad. Esta función se denominará Reference and master data y se encargará de los siguientes tipos de datos:

1 Datos maestros: son los datos críticos para una organización, los especialmente importantes, y de ellos dependen ciertas operaciones:ClientesEmpleadosProductos o socios

2 Datos de referencia: datos estandarizados que sirven para clasificar información con otra información. Por ejemplo:Género o edadCódigo de un paísTipo de producto

Data warehousing and business intelligence

Este nivel se ocupa de los datos analíticos e históricos de la organización y está compuesto por dos elementos que ya conoces:

Data warehouse

 Término que define la base de datos interna de la organización y las gestiones que se realizan con los datos: guardado, extracción, transformación y limpieza de datos.

Business intelligence

 Se sustenta en el data warehouse para analizar los datos en busca de información para la toma de decisiones.

Relacionado con el data warehouse, está el nivel de Meta data. La función de los metadatos es describir y etiquetar otros datos para poder clasificarlos, utilizarlos e interpretarlos.

La finalidad de este nivel es la de entender los distintos tipos de datos y si existe redundancia, eliminarla.

EJEMPLO

Algunos de los metadatos más comunes son los siguientes:

1 Nombre de campo.

2 Tipo de dato.

3 Fecha de negocio.

Data quality

Última función que se encarga de que los datos de una organización sean lo suficientemente buenos como para considerarlos de calidad.

A tales efectos, deben cumplir una serie de características:

Consistencia

 Deben ser estables y coherentes con lo que representan.

Precisión

 Que aporten una fidelidad que se corresponda a lo que muestran o miden.

Completos

 Los datos deben aportar un significado lo suficientemente claro como para ser representativos.

Unicidad

 No deben aparecer de forma redundante.

Integridad

 Que muestren información correcta y estén correctamente relacionados con todas las fuentes.

Conformidad

 Deben ser adecuados para su función.

Para hablar de la calidad de estos, además de estos, también son parte fundamental:

Los servicios con los que cuenta la organización.

Los métodos implantados

Las herramientas utilizadas.

TAREA 2

En la unidad de aprendizaje 1 aprendiste cómo integrar en una organización el sistema de big data y las diferentes tecnologías para realizar operaciones con los datos. En esta actividad irás un paso más allá y tendrás que incorporar en el organigrama de la empresa TextilTek S. L. un Departamento de Tecnologías de la Información (IT) que asegure una correcta gestión de los datos de toda la empresa gracias al data management.

Dado el siguiente organigrama de la empresa, crea una estructura en el Departamento IT y explica cómo asegurará la gestión de los datos en toda la organización según el data management y cómo llevará a cabo la organización las funciones de cuantificación, predicción, optimización e innovación con los datos.