Big data es un término que engloba los vastos e intrincados conjuntos de datos que superan la capacidad de procesamiento de las herramientas convencionales de tratamiento de datos. Surgido en la década de 1990, engloba varias categorías de datos, como los estructurados, los semiestructurados y los no estructurados. Con la continua expansión del ámbito digital, la evolución del big data es evidente, y su escala abarca desde terabytes hasta zettabytes. La necesidad de métodos innovadores para extraer información valiosa de estos enormes conjuntos de datos multifacéticos es primordial. Las cinco V (volumen, velocidad, variedad, veracidad y valor) definen los macrodatos. Su crecimiento exponencial plantea retos en aspectos como la captura, el almacenamiento, el análisis, la privacidad, la calidad y la autenticidad de los datos. Sin embargo, gracias a los avances tecnológicos, se prevé que la capacidad de almacenamiento de big data se duplique cada 40 meses. Tiene amplias aplicaciones en diversos sectores, como las finanzas, la sanidad, la educación, los medios de comunicación y los seguros, entre otros. La utilización de big data ha revolucionado los procedimientos y estrategias de toma de decisiones en numerosos sectores, lo que pone de manifiesto su importante potencial y valor.
Grandes datos se refiere principalmente a conjuntos de datos que son demasiado grandes o complejas para ser tratadas con los métodos tradicionales. tratamiento de datos software de aplicación. Los datos con muchas entradas (filas) ofrecen mayor poder estadísticomientras que los datos de mayor complejidad (más atributos o columnas) pueden dar lugar a un mayor tasa de falsos descubrimientos. Aunque a veces se utiliza de forma imprecisa debido en parte a la falta de una definición formal, la mejor interpretación es que se trata de un gran conjunto de información que no puede comprenderse cuando se utiliza sólo en pequeñas cantidades.
Los retos del análisis de macrodatos incluyen captura de datos, almacenamiento de datos, análisis de datos...busca, compartir, transferencia, visualización, consultaactualizando, privacidad de la informacióny fuente de datos. Big data se asoció originalmente con tres conceptos clave: volumen, variedady velocidad. El análisis de big data presenta retos en el muestreo, por lo que antes sólo permitía observaciones y muestreos. Por lo tanto, un cuarto concepto, veracidad, se refiere a la calidad o perspicacia de los datos. Sin una inversión suficiente en conocimientos especializados para la veracidad de los big data, el volumen y la variedad de los datos pueden producir costes y riesgos que superen la capacidad de una organización para crear y capturar valor de los grandes datos.
Uso actual del término grandes datos tiende a referirse al uso de análisis predictivo, análisis del comportamiento de los usuarioso algunos otros métodos avanzados de análisis de datos que extraen valor de big data, y rara vez a un tamaño concreto de conjunto de datos. "Hay pocas dudas de que las cantidades de datos ahora disponibles son realmente grandes, pero esa no es la característica más relevante de este nuevo ecosistema de datos". El análisis de conjuntos de datos puede encontrar nuevas correlaciones para "detectar tendencias empresariales, prevenir enfermedades, combatir la delincuencia, etc.". Científicos, directivos de empresas, médicos, publicistas y gobiernos se enfrentan regularmente a dificultades con grandes conjuntos de datos en ámbitos como Búsquedas en Internet, fintechanalítica sanitaria, sistemas de información geográfica, informática urbanay informática empresarial. Los científicos encuentran limitaciones en e-Ciencia trabajo, incluyendo meteorología, genómica, conectómicaSimulaciones físicas complejas, biología e investigación medioambiental.
El tamaño y el número de conjuntos de datos disponibles han crecido rápidamente a medida que los datos son recogidos por dispositivos como dispositivos móviles, baratos y numerosos sensores de información Internet de las cosas dispositivos, aéreos (teledetección) equipos, registros de software, cámarasmicrófonos, identificación por radiofrecuencia (RFID) y redes inalámbricas de sensores. La capacidad tecnológica per cápita del mundo para almacenar información se ha duplicado aproximadamente cada 40 meses desde la década de 1980; en 2012[actualización]Todos los días 2,5 exabytes (2.17×260 bytes) de datos. Basándose en un IDC del informe, se preveía que el volumen mundial de datos crecería exponencialmente del 4,4 zettabytes a 44 zettabytes entre 2013 y 2020. Para 2025, IDC predice que habrá 163 zettabytes de datos. Según IDC, se estima que el gasto mundial en soluciones de big data y business analytics (BDA) alcanzará los $215.700 millones en 2021. Mientras que Statista se prevé que el mercado mundial de big data crezca hasta los $103.000 millones en 2027. En 2011 McKinsey & Company Según el informe, si la sanidad estadounidense utilizara los macrodatos de forma creativa y eficaz para impulsar la eficiencia y la calidad, el sector podría generar más de 1.300.000 millones de euros de valor cada año. En las economías desarrolladas de Europa, las administraciones públicas podrían ahorrar más de 100.000 millones de euros ($149.000 millones) sólo en mejoras de la eficiencia operativa mediante el uso de big data. Y los usuarios de servicios habilitados por datos de localización personal podrían obtener 1.600.000 millones de euros en excedente de consumo. Una cuestión que se plantean las grandes empresas es determinar quién debe asumir las iniciativas de big data que afectan a toda la organización.
Sistemas de gestión de bases de datos relacionales y los paquetes de software estadístico de sobremesa utilizados para visualizar datos suelen tener dificultades para procesar y analizar big data. El procesamiento y análisis de big data puede requerir "software masivamente paralelo que funcione en decenas, cientos o incluso miles de servidores". Lo que se considera "big data" varía en función de las capacidades de quienes lo analizan y de sus herramientas. Además, la ampliación de las capacidades convierte a los big data en un objetivo móvil. "Para algunas organizaciones, enfrentarse a cientos de gigabytes de datos por primera vez puede desencadenar la necesidad de reconsiderar las opciones de gestión de datos. Para otros, pueden ser necesarias decenas o cientos de terabytes antes de que el tamaño de los datos se convierta en una consideración significativa."
Español 
English 
Français