빅데이터를 원하시나요? 빅데이터를 다룰 수 없어요…

현재의 인프라는 세계가 디지털 경제로 이동함에 따라 예상되는 데이터, 연결, 트래픽의 폭발적 증가를 처리할 수 없습니다.

우리는 디지털 경제에 대해 이야기하지만 그것이 실제로 무엇을 의미하는지 구체적으로 다루지는 않습니다. 즉, 서류 추적과 전화 통화가 감사 추적과 이메일로 대체된다는 뜻입니다. 이는 송장과 고객 파일이 전자 영수증과 데이터베이스 기록으로 단계적으로 대체되고 있음을 의미합니다.

디지털 데이터로의 전환은 언젠가는 석판에서 파피루스로의 전환과 같은 역사적 영향을 받아 평가될 것입니다. 인간으로서 데이터를 기록하는 데 사용하는 방법이 진화할 때마다 데이터는 더 저렴하고, 더 빠르고, 더 효율적으로 만들어졌습니다. 즉, 우리는 인류 역사상 전례 없는 속도로 데이터를 생성하고 축적하고 있다는 의미입니다.

끝이 보이지 않습니다. 디지털 경제의 첫 번째 징조는 엄청난 양의 데이터를 1과 0이라는 매우 효율적인 숫자로 포착할 수 있게 되었을 때 나타났습니다. 하지만 여전히 대부분은 수동이었습니다. 인터넷 초창기에는 데이터 입력과 로그 파일을 통해 수집된 데이터 대부분이 수집되었습니다.

이제 자동으로 데이터를 수집하는 방법을 알게 되었습니다. 작은 트랜지스터와 로봇의 도움으로 우리는 건물 전체의 컴퓨팅 능력을 핀헤드 크기로 압축했습니다. 그리고 우리는 그것을 모든 것에 담았습니다. 전구. 시계. 모션 센서. 카메라. 정수 필터 . 자동차. 냉장고. 시계. 전화기. 테디베어 . 장난감.

인터넷과 연결되지 않고 성장하는 사물인터넷의 일부가 아닌 것이 있다면 그것이 무엇인지 잘 모르겠습니다. 그렇죠. 그 어른용 장난감 에 대해서도 들어봤어요. 공유할 필요 없어요. 이곳은 G등급 블로그이거든요.

하지만 존재는 사용을 의미하지 않으며, 우리는 단지 사물의 폭발적인 성장의 가장자리에 서 있을 뿐입니다. 즉, 앞으로 몇 년 안에 인터넷에 연결되는 기기가 더 많아질 것입니다. 훨씬 더 많은 기기가 인터넷이 본 적이 없는 양의 데이터를 송수신하고 있습니다. 업계 추정에 따르면 2020년까지 전 세계적으로 500억 대의 연결된 기기가 존재할 것으로 예상됩니다. 이는 지구상 인구 1인당 7대의 기기를 소유한다는 의미입니다.

내가 지금 앉아 있는 자리에서 세 개 정도 셀 수 있어요. 그리고 집의 나머지 부분은 여기에 포함되지 않습니다. 자신의 책상을 둘러보아도 여전히 확신이 서지 않는다면, 몇 가지 유용한 통계를 소개합니다.

올해 2분기에 체탄 샤르마 컨설팅이 수집한 통계에 따르면 자동차만이 다른 어떤 것보다 빠르게 셀룰러 네트워크에 연결되고 있습니다. 모든 미국 통신사를 통틀어 이 분기에 셀룰러 네트워크에 연결된 차량은 약 140만 대인 반면, 휴대전화는 120만 대, 태블릿은 90만 대 미만이었습니다.

팔레트 트럭 유통 센터의 유인 주행을 없앰으로써 Giant Eagle은 생산성을 10~30% 높였습니다 . 각 차량에는 데이터를 수집하는 센서가 있습니다. 그리고 픽업된 화물의 크기, 화물을 배달하는 데 걸리는 시간, 시설 내 차량의 위치, 차량 가동 중지 시간 등의 모든 데이터는 Seegrid Supervisor 애플리케이션에 업로드됩니다.

칙필에이는 식품 안전을 보장하기 위해 냉동고와 냉장고에 온도 센서를 설치했습니다 . 기존의 모니터링 방법은 수동이었으며, 각 온도계를 눈으로 확인해야 했는데, 식당이 문을 닫고 아무도 감시하지 않는 상황에서는 상당한 위험이 따르는 과정이었습니다. 이제 센서가 24시간 모니터링을 하고 매시간 보고를 하며, 쿨러의 오작동을 알아차리지 못할 경우 약 15,000~20,000달러의 재고 교체 비용을 절감할 수 있을 것으로 추정됩니다.

훨씬 더 많은 사례가 있지만 지금 당장은 빅데이터가 전 세계적으로 매일 매초 생성, 전송, 저장되고 있다는 것이 매우 분명합니다. 그리고 그 중 상당수는 소비자 지향적 이지 않습니다 . 이는 업계에서 '산업용'이라고 부르는 것이며, 무엇보다도 운영 및 프로세스를 모니터링하는 데 중점을 두고 있습니다. 오늘날 곳곳에 수백만 개의 센서가 있으며, 각 센서는 데이터를 생성합니다.

많은 양의 데이터.

사물이 보고되면 백그라운드 업데이트가 이루어지고, 새로운 지침을 확인하고, 수집된 데이터를 교환합니다. 각각의 사물에는 매일 채팅할 수 있는 앱이 있습니다. 해당 앱은 데이터 센터나 클라우드 등 어딘가에 있습니다. 어디에 있든 중요한 것은 그것이 존재한다는 것입니다. 사물과 앱 사이에 인프라와 서비스가 존재하기 때문에 폭발적인 성장에 대비하지 못했습니다.

내 말만 믿지 마세요. Forbes 기사에서는 325개 글로벌 기업을 대상으로 한 Bain & Company 설문 조사를 인용하여 "59%가 데이터에서 의미 있는 비즈니스 통찰력을 얻을 수 있는 역량이 부족하다고 생각한다"는 결과를 발견했습니다. 250개 회사를 대상으로 한 또 다른 Bain 설문 조사에서 85%가 기존 데이터 플랫폼을 업데이트하기 위해 상당한 투자가 필요하다고 답했습니다. 여기에는 데이터 통합 및 정리, 액세스 및 권한 관리 간소화 , 외부 데이터 소스에 대한 액세스 개선이 포함됩니다.” [강조는 필자가 했습니다.]

이러한 데이터 폭발의 핵심은 바로 "빅데이터"입니다. (오늘 유행어 빙고 게임을 하는 분들을 위해 설명드리자면, 천만에요)는 물론 데이터 플랫폼이에요. 그게 데이터베이스이고, MongoDB와 Heroku와 같은 NoSQL(비관계형) 데이터베이스에 대한 찬반 의견과 전문가 분석이 많이 있고, Oracle과 MySQL, Microsoft와 같은 SQL(관계형) 데이터베이스에 대한 찬반 의견도 많습니다.

하지만 빅데이터와 대시보드, 운영 통찰력 수집에 대한 논의에서 종종 간과되는 점은 해당 데이터 소스의 규모와 접근성을 뒷받침하는 많은 인프라가 있다는 사실입니다. 데이터에서 가치를 추출하기 위해 키보드 앞에 몸을 굽히고 직접 쿼리를 작성하는 사업부 책임자나 C 레벨 임원은 거의 없습니다. 그것도 앱을 통해서 이뤄집니다.

디지털 경제에 대한 하나의 진실은 아마도 다음과 같을 것입니다. 데이터에 대한 접근을 제어하는 앱이 어딘가에 존재한다는 것입니다.

그리고 그 앱에는 인프라가 필요합니다. 보안과 규모가 필요하며, 시간을 알 수 없는 세상에서는 24시간 가용성이 필요합니다.

오늘날의 인프라는 웹을 위해 구축되었습니다. 실제로 사람과 앱을 위해 만들어졌어요. 둘 다 여전히 중요하지만, 이제는 규모, 보안, 가용성 요구 사항을 동시에 처리해야 하는 부담이 추가되었습니다. 우리는 그것이 네트워크와 인프라에 어떤 의미를 갖는지, 그리고 사용자와 앱 사이에 있는 앱과 장치를 확장하고 보호하는 운영 프로세스에 어떤 의미를 갖는지 재평가해야 합니다. 그리고 사용자란 사물과 시스템도 포함하는 뜻이에요.

인증 및 권한 부여를 관리하는 방법을 다시 생각해보아야 합니다. 요청과 응답의 우선순위를 정하고 처리하는 방법. 그리고 가장 중요한 비즈니스 자산(즉, 데이터)이 잘못된 사람(또는 사물)에 노출되는 것을 방지하는 방법은 무엇일까요?

"빅데이터"와 그에 수반되는 모든 것을 처리하려면 우리가 해야 할 심각한 일이 많습니다 .