¿Quieres big data? No puedes manejar grandes volúmenes de datos…

La infraestructura actual no puede soportar la explosión proyectada de datos, conexiones y tráfico a medida que el mundo avanza hacia la economía digital.

Hablamos de la economía digital, pero no solemos profundizar en los detalles de lo que eso realmente significa. Esto significa que los registros en papel y las llamadas telefónicas están siendo reemplazados por registros de auditoría y correo electrónico. Esto significa que las facturas y los archivos de clientes están siendo reemplazados por recibos electrónicos y registros de bases de datos.

Algún día nuestra migración hacia los datos digitales tendrá el mismo impacto histórico que el paso de las tablillas de piedra al papiro. Con cada evolución en los métodos que nosotros, como seres humanos, utilizamos para registrar datos, los hemos hecho más baratos, más rápidos y más eficientes. Lo que significa que no sólo estamos creando sino almacenando datos a un ritmo nunca antes visto en la historia de la humanidad.

No se ve un final a la vista. Los primeros signos de la economía digital aparecieron cuando pudimos capturar cantidades masivas de datos en esos tan eficientes 1 y 0. Pero aún así, todo era mayoritariamente manual. La entrada de datos y los archivos de registro nos proporcionaron la mayor parte de los datos recopilados en los primeros días de Internet.

Ahora sabemos cómo recopilar datos automáticamente. Con diminutos transistores y asistencia robótica, hemos comprimido la potencia computacional de edificios enteros al tamaño de la cabeza de un alfiler. Y lo ponemos en todo. Bombillas. Relojes. Sensores de movimiento. Cámaras. Filtros de agua . Coches. Refrigeradores. Relojes. Teléfonos. Ositos de peluche . Juguetes.

Si hay algo que no sea compatible con Internet y por lo tanto sea parte de la creciente Internet de las cosas, no estoy seguro de qué es. Y sí, también he oído hablar de ese juguete para adultos . No es necesario compartirlo, después de todo, este es un blog para todo público.

Pero la existencia no significa uso, y apenas estamos tocando el borde del crecimiento explosivo de las cosas. Esto significa que en los próximos años habrá más dispositivos en Internet. Muchos, muchos más dispositivos, todos ellos transmitiendo y recibiendo muchos más datos que los que Internet haya visto jamás. Las proyecciones de la industria estiman que habrá 50 mil millones de dispositivos conectados en todo el mundo para 2020, o 7 dispositivos por cada persona en la Tierra.

Puedo contar tres de los míos desde donde estoy sentado ahora mismo. Y eso sin contar el resto de la casa. Aquí tienes algunas estadísticas útiles, en caso de que todavía no te convenzas después de echar un vistazo a tu alrededor en tu escritorio.

Sólo los automóviles se están conectando a las redes celulares más rápido que cualquier otra cosa, según las estadísticas compiladas por Chetan Sharma Consulting para el segundo trimestre de este año. Si contamos todos los operadores de Estados Unidos, alrededor de 1,4 millones de automóviles se conectaron a redes celulares en el trimestre, en comparación con 1,2 millones de teléfonos y menos de 900.000 tabletas.

Al eliminar los viajes tripulados de los centros de distribución con transpaletas, Giant Eagle aumentó la productividad entre un 10 y un 30 por ciento. Cada vehículo tiene sensores para recopilar datos. Y todos los datos, como el tamaño de la carga recogida, el tiempo que lleva entregar la carga, dónde se encuentra el vehículo en las instalaciones y el tiempo de inactividad del vehículo, se cargan en la aplicação Seegrid Supervisor.

Chick fil A instituyó sensores de temperatura en sus congeladores y refrigeradores para garantizar la seguridad alimentaria. Los métodos anteriores de monitoreo eran manuales y requerían controles visuales de cada termómetro, un proceso que implicaba un riesgo considerable cuando los restaurantes estaban cerrados y nadie los observaba. Ahora, los sensores monitorean las 24 horas del día e informan cada hora, lo que potencialmente puede ahorrar entre $15,000 y $20,000 en costos de reemplazo de inventario en caso de que un mal funcionamiento del enfriador pase desapercibido.

Tengo muchos más ejemplos, pero en este momento está bastante claro que se generan, transmiten y almacenan grandes volúmenes de datos cada segundo de cada día en todo el mundo. Y una cantidad significativa de ella no está orientada al consumidor. Es lo que la industria llama "industrial" y está orientado a monitorear operaciones y procesos más que cualquier otra cosa. Hoy en día hay millones de sensores en todas partes y cada uno genera datos.

Muchos datos.

Hay actualizaciones en segundo plano a medida que se informan cosas, se verifican nuevas instrucciones y se intercambian datos recopilados. Cada cosa tiene una aplicación con la que chatea diariamente. Esa aplicación está en algún lugar, en un centro de datos o en la nube. No importa donde resida, lo importante es que, bueno, existe. Porque hay infraestructura y servicios entre la cosa y esa aplicación, y no está lista para el crecimiento explosivo.

No confíe sólo en mi palabra. Un artículo de Forbes citó una encuesta de Bain & Company a 325 empresas globales y descubrió que “el 59% cree que carece de la capacidad para generar información comercial significativa a partir de sus datos. En otra encuesta de Bain a 250 empresas, el 85 % afirmó que requerirán inversiones sustanciales para actualizar su plataforma de datos existente, lo que incluye consolidar y limpiar datos, simplificar el acceso y la gestión de derechos , y mejorar el acceso a fuentes de datos externas. [énfasis mío]

En el centro de esta explosión de datos (lo que se llama “big data” para quienes hoy juegan al bingo de palabras de moda) De nada) es, por supuesto, la plataforma de datos. Esa es la base de datos, y hay un montón de comentarios y análisis de expertos a favor y en contra de las bases de datos NoSQL (no relacionales) como MongoDB y Heroku, así como también a favor y en contra de las bases de datos SQL (relacionales), como Oracle, MySQL y Microsoft.

Pero lo que a menudo se ignora en los debates sobre big data, paneles de control y recopilación de información operativa es que existe una gran cantidad de infraestructura que sustenta la escala y el acceso a esas fuentes de datos. Son pocos los propietarios de empresas o ejecutivos de alto nivel que están sentados frente a un teclado escribiendo sus propias consultas para extraer valor de los datos. Las aplicaciones también lo hacen.

Si hay una verdad absoluta sobre la economía digital, probablemente sea ésta: en algún lugar existe una aplicación encargada de restringir el acceso a los datos.

Y esa aplicación necesita infraestructura. Necesita seguridad, necesita escala y, en un mundo donde las cosas no pueden medir el tiempo, necesita disponibilidad las 24 horas del día.

La infraestructura actual fue construida para la web. Fue creado realmente para personas y aplicaciones. Ambos siguen siendo críticos, pero ahora tenemos la carga adicional de lidiar simultáneamente con los requisitos de escala, seguridad y disponibilidad de las cosas. Necesitamos reevaluar lo que eso significa para nuestras redes, nuestra infraestructura y los procesos operativos que escalan y protegen las aplicaciones y los dispositivos que residen entre los usuarios y las aplicaciones. Y por usuarios me refiero a cosas y sistemas también.

Necesitamos repensar cómo gestionamos la autenticación y la autorización. Cómo priorizamos y procesamos las solicitudes y respuestas. Y cómo protegemos nuestro activo comercial más importante (es decir, los datos) para que no queden expuestos a la persona (o cosa) equivocada.

Si vamos a gestionar el “big data” y todo lo que ello conlleva, tenemos un trabajo importante por delante .