🧘🏽 🕶️ 🤧 ¿Qué es el Big Data? 👨🏽‍🔬 😨 🍨

El término "big data" o "big data" comenzó a ganar popularidad desde 2011. Hoy todos lo han escuchado al menos una vez. El problema es que a menudo el concepto no se usa por definición. Por lo tanto, comprendamos en detalle qué es.

Con el desarrollo de la tecnología, la cantidad de datos comenzó a aumentar exponencialmente. Las herramientas tradicionales ya no cubren la necesidad de procesar y almacenar información. Para procesar datos cuyo volumen excede cientos de terabytes y aumenta constantemente, se han creado algoritmos especiales. Se llaman "big data".

Hoy, la información se recopila en grandes volúmenes de varias fuentes: Internet, centros de contacto, dispositivos móviles, etc. Muy a menudo, estos datos no tienen una estructura y un orden claros, por lo que una persona no puede usarlos para ninguna actividad. Para automatizar el análisis, se utilizan tecnologías de "big data".

¿Cuándo aparecieron los primeros big data?

Big data apareció en los años 60-70 del siglo pasado junto con los primeros centros de datos (centros de datos). En 2005, las empresas comenzaron a comprender el alcance del contenido creado por los usuarios de los servicios de Internet (Facebook, YouTube, etc.). Al mismo tiempo, la primera plataforma diseñada para interactuar con grandes conjuntos de datos, Hadoop, comenzó a funcionar. Hoy es una gran pila de tecnologías para procesar información. Un poco más tarde, NoSQL comenzó a ganar popularidad: un conjunto de métodos para crear sistemas de gestión de big data.

La cantidad de información generada comenzó a aumentar con la llegada de los grandes servicios de Internet. Los usuarios cargan fotos, navegan por contenido, me gusta, etc. Toda esta información se recopila en grandes volúmenes para su posterior análisis, después de lo cual puede realizar mejoras en los servicios. Por ejemplo, las redes sociales usan big data para mostrar a los usuarios anuncios relevantes (es decir, uno que coincida con sus necesidades e intereses) en un objetivo. Esto permite a las redes sociales vender a las empresas la oportunidad de realizar campañas publicitarias precisas.

Características clave de Big Data

Al comienzo del artículo, identificamos tres propiedades principales de big data a partir de una definición generalmente aceptada. Vamos a abrirlos con más detalle:

. « » , . : , — . « » .
. . «big data». .
. , . — .

En los últimos años, la popularidad de Big Data ha aumentado, como resultado de lo cual han recibido dos propiedades (características) adicionales: valor y confiabilidad. El valor lo determina cada empresa a su manera. Los expertos evalúan si la información recibida beneficiará al negocio. Y la confiabilidad muestra si los datos utilizados son confiables (qué tan verdaderos son), porque la información inexacta puede dañar a la empresa y sus actividades.

¿Cómo trabajan con ellos?

Big data lleva mucha información útil, sobre la base de la cual las empresas crean nuevas oportunidades y forman modelos de negocio. El trabajo con big data se divide en 3 etapas: integración, gestión y análisis.

Nivel 1. Integración

En esta etapa, la empresa integra tecnologías y sistemas en su trabajo que le permiten recopilar grandes cantidades de información de diversas fuentes. Se están introduciendo mecanismos de procesamiento y formateo de datos para simplificar el trabajo de los analistas con "big data".

2 etapas. Controlar

Los datos recibidos deben almacenarse en algún lugar, este problema se resuelve antes de trabajar con ellos. La decisión se toma sobre la base de muchos criterios, los principales de los cuales son las preferencias en formato y tecnología de procesamiento. Como regla general, las empresas usan almacenamiento local, servicios en la nube públicos o privados para el almacenamiento.

3 etapas. Análisis

Big data comienza a beneficiarse después del análisis. Esta es la etapa final de interacción con ellos. Para esto, se utiliza el aprendizaje automático, una asociación de reglas de aprendizaje, algoritmos genéticos y otras tecnologías. Después de analizar los datos, solo queda lo más valioso para el negocio.

Ejemplos de Big Data

En términos generales, con "big data" resuelto. Pero la pregunta importante sigue siendo: ¿dónde se pueden aplicar en la práctica? Respuesta: en cualquier campo de actividad que opera con los datos necesarios para el análisis. Veamos algunos ejemplos del mundo real. Esto lo ayudará a comprender mejor por qué se necesitan grandes datos y cómo puede beneficiarse de ellos.

Big Data en bancos

En el sector bancario ruso, Sberbank fue el primero en utilizar big data. Sobre la base de "big data" y un sistema biométrico, en 2014 desarrollaron un sistema para identificar la identidad de un cliente mediante fotografías. El principio de funcionamiento es muy simple: comparar la imagen actual con una foto de la base de datos que los empleados toman al emitir una tarjeta bancaria. El nuevo sistema ha reducido los casos de fraude en 10 veces.

En la actualidad, Sberbank continúa utilizando big data en su trabajo: la recopilación y el análisis de información le permite administrar riesgos, combatir el fraude, evaluar la solvencia de los clientes, administrar colas en sucursales y mucho más.

Otro ejemplo del sector bancario ruso es VTB24. La compañía comenzó a implementar "big data" un poco más tarde que Sberbank. Hoy en día, utilizan big data para segmentar y administrar las salidas de clientes, generar estados financieros, analizar revisiones en Internet y mucho más.

Alfa-Bank Big Data ayuda a monitorear la imagen de la marca en Internet, evaluar la solvencia de los nuevos clientes, personalizar el contenido, administrar los riesgos, etc.

Big data en los negocios

Muchas personas creen erróneamente que trabajar con big data es relevante solo para el sector bancario y las empresas de TI. Esto refuta el ejemplo de Magnitogorsk Iron and Steel Works, que desarrolló el servicio Sniper para reducir los costos de materia prima en la producción. La tecnología recopila grandes cantidades de información, las analiza y ofrece recomendaciones para optimizar los costos de los materiales.

Surgutneftegas utiliza un sistema especial para rastrear los principales procesos comerciales en tiempo real. Esto ayuda a automatizar la contabilidad de productos, los precios, proporcionar al personal los datos correctos, etc.

Big Data en Marketing

Los especialistas en marketing utilizan big data para predecir los resultados de las campañas publicitarias. El análisis también ayuda a identificar la audiencia más interesada. Un ejemplo sorprendente de "big data" en marketing es Google Trends. El sistema recibe una gran cantidad de datos y, después del análisis, el usuario puede evaluar la estacionalidad de un producto (trabajo, servicio).

Dificultad para usar

Donde hay grandes oportunidades, grandes dificultades esperan allí. Esta regla no omitió los grandes datos.

La primera dificultad que enfrentan las empresas es que los grandes datos ocupan mucho espacio. Sí, las tecnologías de almacenamiento están mejorando constantemente, pero al mismo tiempo, la cantidad de datos crece constantemente (en promedio, dos veces cada dos años).

La adquisición de un gran almacenamiento no resuelve todos los problemas. No tendrá sentido el simple almacenamiento de datos, debe trabajar con ellos para obtener beneficios. De aquí surge otra complicación: organizar el procesamiento de los big data recibidos.

Ahora los analistas dedican entre el 50 y el 80% del tiempo de trabajo para llevar la información a un formato aceptable para el cliente. Las empresas tienen que contratar más profesionales, lo que aumenta los costos.

Y otro problema es el rápido desarrollo de big data. Aparecen regularmente nuevas herramientas y servicios para el trabajo (por ejemplo, Hbase). Las empresas tienen que gastar mucho tiempo y dinero para "estar a la moda" y no retrasarse en el desarrollo.

Por lo tanto, Big Data es una combinación de tecnologías para procesar grandes cantidades de información (cientos de terabytes y más) y hoy en día pocas personas niegan su importancia en el futuro. Su popularidad crecerá y la distribución en el negocio aumentará. Posteriormente, desarrollarán tecnologías para la automatización del análisis y no solo las grandes empresas, sino también las medianas y pequeñas trabajarán con grandes datos.

¿Quiere aprender a trabajar con big data y ampliar su conocimiento en análisis? Regístrese en nuestro curso en línea de Big Data Analyst. ¡Descubre los detalles!