El término Big Data suele definirse simplemente como una enorme cantidad de información, a menudo desordenada, almacenada en un soporte digital. Sin embargo, un conjunto de datos con el prefijo Big es tan grande que los medios habituales de estructuración y análisis no pueden utilizarse para «desplazarla» del todo. Por lo tanto, el término Big Data también se entiende como tecnologías de búsqueda, procesamiento y aplicación de información no estructurada en grandes volúmenes.

Breve historia del big data

El término Big Data fue acuñado en 2008 por Clifford Lynch. En un número especial de Nature, el experto se refirió al crecimiento explosivo de los flujos de información como el big data. Se refirió a ello como cualquier conjunto de datos heterogéneos que supere los 150 GB diarios.

Hasta 2011, las tecnologías de Big Data se consideraban únicamente un análisis científico y no tenían ninguna aplicación práctica. Sin embargo, los volúmenes de datos crecieron exponencialmente y el problema de las enormes matrices de información desestructurada y heterogénea se convirtió en un problema acuciante a principios de 2012. El aumento del interés por el Big Data es claramente visible en Google Trends.

Los mastodontes del negocio digital: Microsoft, IBM, Oracle, EMC y otros se han sumado al desarrollo de la nueva tendencia. Desde 2014, el big data se estudia en las universidades y se implementa en las ciencias aplicadas: ingeniería, física, sociología.

Función de la tecnología de big data

Para que una matriz de información pueda llamarse Big, debe tener los siguientes atributos:

Regla VVV:

1. Volumen: los datos se miden por su tamaño físico y el espacio que ocupan en un soporte de almacenamiento digital. Las matrices de más de 150 GB al día se consideran de gran tamaño.
2. Velocidad: la información se actualiza regularmente y requiere una tecnología inteligente de big data para procesarla en tiempo real.
3. Variedad: la información de las matrices puede tener formatos heterogéneos, estar estructurada parcialmente, completamente y acumularse de forma aleatoria. Por ejemplo, las redes sociales utilizan Big Data en forma de texto, vídeo, audio, transacciones financieras, imágenes, etc.

En los sistemas modernos se tienen en cuenta dos factores adicionales:

• Variabilidad: los flujos de datos pueden tener picos y caídas, estacionalidad y periodicidad. Las ráfagas de información no estructurada son difíciles de gestionar y requieren potentes técnicas de procesamiento.
• Valor de la información: la información puede tener distintos grados de complejidad para su percepción y procesamiento, lo que dificulta su manejo por parte de los sistemas inteligentes. Por ejemplo, un conjunto de mensajes de redes sociales es un nivel de datos, mientras que las transacciones son otro. La tarea de las máquinas es determinar el grado de importancia de la información entrante para estructurarla rápidamente.

El principio de funcionamiento de la tecnología de Big Data es informar al usuario lo máximo posible sobre un tema o fenómeno. El objetivo de esta familiarización con los datos es ayudar a sopesar los pros y los contras para tomar la decisión más adecuada. En las máquinas inteligentes, se construye un modelo de futuro a partir de una serie de informaciones, y luego se simulan varias opciones y se controlan los resultados.

Las agencias de análisis actuales realizan millones de estas simulaciones cuando ponen a prueba una idea, una hipótesis o un problema. El proceso está automatizado.

Las fuentes de Big Data incluyen:

• Internet: blogs, redes sociales, páginas web, medios de comunicación y foros diversos
• Información corporativa: archivos, transacciones, bases de datos
• Lecturas de dispositivos de lectura: instrumentos meteorológicos, sensores celulares y otros

Los principios del trabajo con matrices de datos incluyen tres factores principales:

• Escalabilidad del sistema. Por lo general, se entiende la escalabilidad horizontal de los soportes de datos. Es decir, a medida que el volumen de datos entrantes crece, también lo hace la capacidad y el número de servidores para almacenarlos.
• Tolerancia al fracaso. El número de medios digitales y máquinas inteligentes puede aumentar indefinidamente en proporción al volumen de datos. Pero eso no significa que algunas máquinas no vayan a fallar, a quedarse obsoletas. Por lo tanto, uno de los factores del trabajo estable con big data es la tolerancia a los fallos de los servidores.
• Localización. Los conjuntos de datos individuales se almacenan y procesan en un único servidor dedicado para ahorrar tiempo, recursos y costes de transferencia de datos.