SW미래직업 | 소프트웨어 중심사회

SW미래직업 가이드 - 빅데이터 편

SW중심사회 2016-09-09 4421명 읽음

 

 

 

스마트폰과 소셜네트워크가 보급되면서 어마어마한 양의 데이터들이 쏟아져 나오고 있습니다. KT경제경영연구소가 2015년 초 발표한 자료에 따르면, 1분 동안 전 세계에서는 2억여 건의 이메일이 발송되고, 330만여 건의 페이스북 콘텐츠가 공유되며, 20만여 건의 앱이 다운로드되고, 410만여 건의 구글 검색이 이뤄지고 있다고 합니다. 1분 동안 전송되는 데이터양만도 157만 2,877기가바이트(GB).  

 

인류 문명이 시작된 이래 2003년까지 축적된 데이터양은 5엑사바이트(EB)라고 합니다. 엑사바이트는 십의 십팔 승을 뜻하는 단위로, 1기가바이트짜리 영화 약 10억 편이자 미국 의회도서관이 보유한 정보량의 4,000배에 해당하는 용량입니다. 그런데 2015년 한 달간 모바일에서만 생성된 데이터양이 지난 수세기에 걸쳐 쌓아온 데이터양에 맞먹습니다. 시스코의 발표에 따르면 2015년 월평균 발생한 모바일 데이터 트래픽은 4.2엑사바이트. 2020년이면 24.3엑사바이트로 증가할 것이라고 합니다. 연간으로 환산하면 전 세계 인구가 1년간 약 81조 개의 이미지를 만드는 양이니 엄청난 양이 아닐 수 없습니다.

 

 

 

 

이렇듯 기술이 발전하고 디지털 경제 규모가 성장하면서 문자와 숫자, 이미지, 영상, 위치정보 등 다양한 형태의 데이터들이 엄청난 속도로 생성되고 있습니다. 이를 가리켜 ‘빅데이터’라고 말합니다. 빅데이터는 1997년경 더는 데이터 저장소에 담을 수 없는 사태를 맞이할 것이란 문제 제기와 함께 생겨난 개념으로, 스마트기기의 보급이 기폭제가 되어 현재 ICT 업계의 미래성장동력 키워드로 자리매김하고 있습니다. 또한, 데이터의 가치 창출을 위한 빅데이터 처리 기술이 고도화되면서, 이와 관련한 직업들이 미래직업으로 대두되기 시작했죠. 미국 구직사이트 글래스도어가 최근에 조사한 가장 유망한 직업 25가지 중 1위가 빅데이터 전문가라고 하니 그리 머지않은 미래의 얘기임이 틀림없습니다. 이에 SW중심사회는 빅데이터 시대에 주목할 만한 유망 직종들을 살펴보기로 합니다. 

 

 

Episode1. 일어나지 않을 미래를 예측하는 빅데이터 전문가 

2025년 9월, 현빈이네 가족은 추석 명절을 쇠기 위해 할아버지 댁에 가는 길입니다. 추석이 끝나면 바로 중간고사이기 때문에 학습 도우미 로봇까지 챙겨가지만, 날씨가 너무 좋아 바깥구경에 한창이죠. 운전석과 조수석에 앉은 아빠와 엄마도 차량을 ‘자율주행’ 모드로 맞춰놓고 노랗게 익어가는 황금 들판을 감상 중이십니다. 간혹가다 수확하는 로봇들이 보이는데, 올 농사는 풍년인 듯싶네요.

 

그런데 정적을 깨고 갑자기 차량에서 경고음을 울리기 시작합니다. “음주 운전으로 예상되는 운전자가 주변에 있습니다. 안전 운전하세요!” 엄마아빠는 서둘러 차량을 안전모드로 바꾼 후 방어 운전을 시작했습니다. 아니나 다를까 앞서 운전하던 차량이 좌우로 방향을 잡지 못하더니 이내 ‘쿵’하고 가드레일을 받고 멈추는 게 아니겠어요? 현빈이네도 앞차와 부딪치지 않기 위해 브레이크를 밟았습니다. 운 좋게 아무도 다치지 않았지만, 현빈이네는 갑작스러운 사고에 어리둥절했습니다.

 

단 몇 초 만에 벌어진 일이었지만 차량 내 있던 모든 디지털 센서들은 사고 경위 데이터를 경찰청, 보험사 등으로 자동 전송했고, 가까이에 있던 경찰관과 보험사 로봇도 달려와 사고를 수습하기 시작했습니다. 경찰관은 헬멧에 연결된 웨어러블 PC로 음주 운전자의 홍채인식을 통해 신원을 파악한 뒤, 어디서 출발해 이동 경로별 몇 km로 달렸는지, 어디서부터 음주 운전 패턴을 보이며 법규를 위반했는지를 파악하기 시작합니다. 경찰청의 데이터 분석가들이 그동안 음주 운전자들의 행태와 프로파일 데이터를 실시간으로 축적하며 모니터링해 온 터라 확인 시간은 단 3초 정도. 보험사 로봇도 이전 음주운전 경력과 일상적인 음주 패턴을 확인하며 보험료를 산정하기에 분주했죠. (※홍채인식 : 지문인식 기술에 이어 등장한 보안 시스템으로, 사람마다 고유한 특성을 가진 안구의 홍채 정보를 이용해 사람을 인지하는 기술 또는 인증 체계를 말함)

 

 

경찰관은 현빈이네 쪽을 살피며 “많이 놀라셨죠? 평소 음주 운전을 자주 하던 운전자라 경찰에서도 계속 감시하던 중 음주 운전 패턴이 보여 안심 메시지를 보내드렸는데, 신속한 대처에 감사합니다.”고 말을 건넸습니다. 정신을 차린 아빠도 안도의 숨을 내쉬며 “음주 운전이야말로 큰 범죄이니 지속적인 프로파일 관리를 부탁드릴게요.”라고 당부하셨죠. 다시 할아버지 댁으로 출발하면서 현빈이는 생각이 많아졌습니다. 데이터 관리 및 분석을 통해 사고를 미리 방지할 수 있다는 것을 직접 체험하니 데이터 분석 전문가로 활동하고 싶다는 생각이 들었기 때문입니다. 단순히 통계에 능숙한 사람들의 영역이라고 생각했었는데, 많은 사람의 안전까지 책임지니 굉장히 멋진 직업이라고 여겨졌습니다.

 

 

빅데이터는 신제품 출시 및 홍보를 위한 마케팅 전략은 물론, 범죄 예방과 예측을 위한 목적으로도 활용됩니다. 비단 미래에 펼쳐질 일이 아닌, 현재에도 벌어지고 있는 얘기입니다. 대표적인 예로 미국 뉴욕의 범죄분석 시스템, 멤피스의 실시간 범죄감시센터, 로스앤젤레스의 범죄예측시스템 등이 있습니다. 이 시스템들은 각종 사건 데이터를 분석하고 범죄 패턴을 수집하기 위해 빅데이터 기술을 사용하고 있으며, 이를 통해 범죄율을 20~30%나 감소시키는 성과도 보입니다. 

 

우리나라도 지난 2012년 11월 ‘스마트 국가 구현을 위한 빅데이터 마스터플랜’을 발표하고 범죄 예측에 빅데이터를 활용하는 방안을 추진키로 했습니다. 경찰청의 범죄 데이터에 날씨와 공간 정보, 지역별 인구통계, 유동인구 등의 자료를 더해 장소별, 시간대별 범죄 발생 가능성을 예측하는 시스템을 구축하는 것입니다. 그리고 범죄 빅데이터를 분석해 언제 어디서 범죄가 일어날 것인지, 혹은 누가 재범을 할 것인지를 예측하여 범죄 발생을 최소화하는 것이죠. 이로써 경찰 인력을 효율적으로 배치하게 되고, 미래에 보편화될 경찰 로봇과 드론들을 이용해 체계적인 추적이나 수사로 확장할 수 있습니다.

 

앞서 에피소드는 음주운전을 소재로 한 짧은 이야기이지만, 여기에는 빅데이터와 관련해 다양한 전문 직업들의 눈에 보이지 않는 활약을 합니다. 가령 음주운전 및 범죄 발생을 예측하는 과정을 보면, 먼저 대량의 빅데이터를 관리하고 분석해서 음주운전이나 범죄를 예방 및 예측하기 위한 통계 모델을 만들게 됩니다. 그리고 이 모델을 지역 및 날씨 등 다양한 기준 데이터로 시뮬레이션해 사건 발생을 예측할 만한 정보를 가공합니다. 

 

여기에서 먼저 살펴볼 수 있는 직업은 빅데이터 프로젝트 매니저(빅데이터 컨설턴트)입니다. 다양한 산업과 시장에서 대한 이해를 기초로, 어떤 목적으로 데이터를 수집해 어떤 결과를 도출하고, 어떻게 활용할 것인지 전략을 짜고 설계하는 역할을 담당합니다. 또한, 모아 놓은 데이터들의 체계를 수립하여 운영 관리를 담당하는 빅데이터 운영 관리자도 있어야 합니다. 빅데이터 시스템에 적합한 데이터베이스 체계를 구축하고 최적화된 환경에서 안전하게 관리하는 일을 담당하죠. 만약 데이터의 체계가 잘못 정의되었거나 운영 관리에 소홀히 한다면 원하는 정보를 얻는 데 시간이 지체되거나 잘못된 결과가 나올 수도 있습니다. 

 

범죄 예방과 예측을 위한 가치 있는 정보를 도출하기 위해 시뮬레이션이 가능한 시스템을 개발하는 빅데이터 엔지니어의 역할도 중요합니다. 이들은 시장에서 요구하는 정보를 제공하기 위해 데이터와 통계 지식을 기반으로 알고리즘을 짜고, 시뮬레이션이 가능한 모델을 구현하는 역할을 담당합니다. 물론 알고리즘을 짜기 위한 기초 방정식이나 데이터 패턴 분석 정보는 빅데이터 마이닝 전문가(빅데이터 분석가)들이 제공하지만, 이들과 긴밀하게 협의하여 시스템 구축 후 실제와 비슷한 모의실험을 했을 때 그 결과에 오류가 없는지, 유용한지 등도 판단해야 합니다. 

 

이와 함께 빅데이터에서 추출된 정보를 가독성 있게 보여주는 빅데이터 디자이너(데이터 시각화 전문가)의 역할도 필요합니다. 데이터를 어떤 방식으로 효과적으로 보여줄지를 고민하며 시각적인 결과물을 창조하는 사람들로, 데이터 시각화는 정보 그래픽(Information Graphics), 과학적 시각화(Scientific Visualization), 통계 그래픽스(Statistical Graphics)와 밀접하게 연관되어 있죠. 쉽게 말해 복잡한 데이터 집합들을 직관적이고 역동적으로 보여주면서 미적인 감각까지 더하는 창조적인 작업으로, 디자인 분야에서는 유망 직종으로 주목받고 있습니다. 

 

 

Episode2. 생활 속 법칙과 패턴을 끄집어내는 빅데이터 전문가 

중학생인 혜영이는 비영리단체 봉사단 친구들과 함께 아프리카 봉사활동을 떠났습니다. 그런데 봉사활동을 간 지 얼마 안 돼 고열과 기침을 동반한 감기에 시달리기 시작했죠. 봉사단 단장님은 일단 전염병에 걸렸을 상황을 고려해 혜영이를 프랑스 병원으로 이송시켜 격리 조치시키고 원인을 파악하기로 했습니다. 사전답사를 통해 지역의 안전은 물론, 세계 독감과 전염병 발생 여부를 시뮬레이션하여 시기적으로 안전하다는 판정도 받은 상태인지라, 다시 한 번 빅데이터 마이닝 전문가에게 정밀 분석을 의뢰했습니다. 

 

빅데이터 마이닝이란 빅데이터에 숨겨진 패턴과 상관관계를 분석하여 새로운 정보를 발견하는 과정으로, 일어나지 않은 전염병이나 바이러스, 범죄 등을 예측할 수 있는 기술입니다. 지금으로부터 28년 전인 2007년, 구글이 일정 기간의 검색어 분석을 통해 독감 유형의 패턴과 독감 발생 가능성이 높은 지역을 예측하는 서비스를 제공한 이래로 지속적인 발달이 이뤄진 기술이죠. 다행스럽게도 빅데이터 마이닝 전문가도 전염병과는 희박할 것이라는 소견을 보내 일단 안심입니다.

 

 

한편, 프랑스 병원의 의료진들은 혜영의 몸에 삽입된 바이오칩을 체크하며 체온과 심박수 등을 점검했습니다. 이어 과거 지병이나 특이 체질, 유전자 이상 등이 있는지 확인하기 위해 전 세계의 의료 정보가 연동된 개인건강기록 시스템을 살펴봤죠. 혜영의 경우 태어날 때부터 유전자 검사를 받아 부모님의 유전자 정보와 함께 개인건강기록시스템에 저장되어 있으므로 어떤 돌발 상황에서도 혜영이는 빠른 수술이나 처방이 가능합니다. 

 

이어 별다른 지병이나 이상 증후도 없는 것을 확인한 의료진은 혈액과 객담을 채취해 이전에 발생했던 전염병의 일종인지를 역추적하기 시작했습니다. 과거 같으면 몇 주 걸릴 이 과정은 전염병 추적 시스템을 이용해 일사천리로 진행되었고, 최종으로 단순 독감이란 진단이 나왔죠. 봉사단 단장은 놀란 가슴을 쓸어내렸습니다. 그렇지 않으면 혜영이의 스마트워치 데이터를 분석해 접촉했던 모든 사람을 격리 조치시키고 치료해야 할 판국이었으니까요. 혜영이네 부모님도 영상통화를 통해 혜영이가 무사하다는 점을 확인하고는 안심할 수 있었습니다. 

 

 

에피소드에서 확인한 내용처럼 빅데이터를 이용하면 전염병을 예방할 수 있습니다. 전염병의 전파 과정을 방정식 모델로 만들어 감염 가능성을 예측하는 것이죠. 구체적으로 감염 가능성이 있는 사람, 잠복기가 있는 사람, 감염자, 완치자를 변수로 놓고, 다양한 접촉 조건에서 병이 퍼질 가능성을 따지게 됩니다. 이 방정식은 컴퓨터 연산 작업으로 시뮬레이션이 되는데, 이때 정제된 유의미한 데이터일수록 더 정교한 값이 나오게 됩니다. 

 

유의미한 정보를 캐내는 작업을 빅데이터 마이닝이라고 합니다. 영어로 ‘광물을 채취하다’란 뜻의 마이닝(Mining)은 엄청난 양의 데이터 중에서 반짝반짝 쓸모 있는 정보를 찾는다는 의미로, 그런 일을 하는 직업을 빅데이터 마이닝 전문가(빅데이터 분석가)라고 합니다. 어떻게 보면 앞서 소개한 빅데이터 컨설턴트의 역할과 유사해 보일 수 있지만, 생활과 산업에 적용할 수 있는 다양한 법칙과 패턴을 발견해 의사결정에 결정적인 정보를 제공한다는 점에서 차이가 있죠.

 

구체적으로 장마가 그친 후 2주 사이에 독감 환자가 급증하니 독감 백신을 더 많이 확보해야 한다거나, 신용카드를 훔친 범죄자들이 카드가 유효한지 확인하기 위해 가장 먼저 편의점 소액결제를 한다는 패턴 등을 도출하여 범인 추적 시 이용할 수 있도록 합니다. 고객 특징이나 구매성향, 관심사에 따라 어떤 맞춤형 서비스가 필요한지도 제시합니다. 이처럼 비정형화된 데이터까지 포함된 빅데이터를 반복적으로 분석하여, 산업과 생활에 필요한 정보를 도출하고 시스템으로 구현되게끔 도와주는 이들이 빅데이터 마이닝 전문가입니다. 

 

한편, 빅데이터 전문가와 함께 관심을 가져볼 미래 유망직업으로 클라우드 컴퓨팅 전문가를 꼽을 수 있습니다. 영어로 ‘구름’을 뜻하는 클라우드(Cloud)는 각종 데이터와 소프트웨어를 인터넷과 연결해 누구나 데이터를 이용할 수 있는 환경입니다. PC는 물론 모바일, 태블릿, TV 등 다양한 기기들을 통해 인터넷에 접속해서 시간과 공간의 제약 없이 원하는 정보를 찾을 수 있는 가상화 서버 공간이죠.

 

에피소드에서 소개한 개인건강기록(Personal Health Record)은 신체정보는 물론 예방접종 기록, 지병이나 알레르기 질환, 약 처방 등 광범위한 건강정보를 아우르는 것으로, 빅데이터의 발전과 함께 다양한 활용이 예상되는 데이터입니다. 현재는 사생활 침해 등 해결해야 할 문제들이 많지만, 미래에는 안전한 보안이 전제되는 클라우드 컴퓨팅 환경 속에서 언제 어디서든 의료진들이 접속해 위급한 상황을 대처할 것입니다. 이에 개인정보 유출과 데이터 피해를 최대한 줄이며 유기적인 클라우드 환경을 운영 및 관리하는 전문가들의 활약이 기대되고 있습니다.   

 

 

Episode3. 개인 맞춤형 생활과 함께하는 빅데이터 전문가  

방과 후 쌍둥이 자매인 현영이와 지영이는 엄마아빠와 외식을 하기로 했습니다. 그래서 약속 장소인 백화점으로 가는 내내 가로수 길에 세워진 광고판을 보며 뭘 먹을지 수다를 떨고 있죠. “지영아, 저기 보니깐 오늘 카레가 먹고 싶다.” “내 눈엔 온통 중국요리뿐인데!!” 홍채인식을 통해 개개인의 취향에 맞춰 서로 다른 광고가 나온다는 걸 잘 알고 있는 쌍둥이는 결국 광고를 봤을 때 일치하는 요리를 먹기로 합의합니다. 그렇게 해서 선택한 요리는 피자! 현영이는 양파를 싫어하지만 사과 맛 양파 토핑을 먹기로 하고 엄마아빠와 함께 근처 레스토랑에 들어갔습니다. 

 

맛있게 피자를 먹고 있는 쌍둥이에게 엄마아빠는 오늘 뭘 배웠냐고 물어봅니다. 같은 학년 같은 반이어도 학습 능력에 따라 배우는 게 다르기 때문에 항상 궁금해하시죠. 현영이는 부족한 언어능력을 보충하기 위해 국어에 집중한다고 하고, 배우는 속도가 빠른 지영이는 일주일 전부터 한 학년 높은 과목들을 배우기 시작했다고 자랑합니다. 곧장 학업성취 빅데이터 시스템에 연결해 보니 아이들 말대로 커리큘럼이 진행되고 있었습니다. 하지만 지영이에겐 운동도 필요하다 싶어 학부모 피드백에 요청사항을 기재해 전송합니다. 확실히 엄마아빠가 20년 전 다니던 학교와는 많이 달라져 과외가 필요 없는 세상입니다.

 

 

 

집에 돌아온 쌍둥이네는 다과를 먹으며 TV를 보는 중입니다. 마침 중국의 유명 여배우가 별세했다는 소식이 나오네요. 세계 유명 영화제를 석권했던 이 여배우는 자신이 알게 모르게 남긴 디지털 흔적들을 모두 삭제해 달라는 유언을 남겼다는데요, 이에 추도식장에는 전세계 데이터 장의사들이 모여 고인의 뜻을 기렸다고 합니다. “정말 많은 활동을 했으니 데이터도 많을 텐데…, 다 지울 수 있을까요?” 지영이 질문에 아빠는 “예전엔 댓글이나 소셜미디어 위주로 지웠다지만, 요즘엔 세세한 신용카드 사용내역까지도 다 지우는 것 같더구나.”라며, 고인의 디지털 장례식장에 마지막 팬레터를 보내자고 합니다.   

 

 

빅데이터는 미래의 우리 사회에 긍정적인 영향을 끼칠 것으로 기대됩니다. 우선 빅데이터를 통해 맞춤형 서비스가 가능해집니다. 데이터 마이닝 전문가들이 분석한 내용을 토대로 개개인의 성향을 맞춰 관련 정보를 제공하게 되죠. 2002년 출시 영화인 ‘마이너리티 리포트’처럼 홍채인식이나 내추럴 사용자 인터페이스(NUI) 방식으로 개인 라이프스타일에 따른 정보를 제공하게 될 것입니다. (※내추럴 사용자 인터페이스(NUI) : 이용자의 손놀림에 따라 디지털 정보를 제어하며 쌍방향으로 커뮤니케이션할 수 있는 사용자 인터페이스)

 

이에 빅데이터 전문가로서 빅데이터 큐레이터에 대한 관심도 높아질 것으로 보입니다. 빅데이터 큐레이터는 정보의 홍수 속에서 무엇을 먹을지, 무엇을 볼지 결정하기 힘들어하는 현대인들에게 꼭 맞는 콘텐츠를 필터링하고 가공하여 제공하는 전문가입니다. 쓸모 있는 데이터를 찾아내는 데이터 마이닝 기술은 물론, 분석 프레임에 맞춰 콘텐츠를 추려내고 사용자가 소비하고 싶어 하는 콘텐츠로 가공하는 역량이 필요한 전문 직업으로, 요리는 물론, 영화, 음악, 도서, 교육 등 다양한 분야에서 필요로 합니다.

 

어떤 방식으로 정보를 보여줄 것인지를 연구해 최적의 인터페이스를 제공하는 데이터 인터페이스 전문가도 미래의 유망직업으로 꼽힙니다. 아무리 좋은 정보도 보기 힘들면 외면하게 되는 법. 손으로 자유롭게 터치해 정보를 제어하도록 할지, 사용자가 움직일 때마다 정보를 보여줄지 등을 계획하고, 다양한 광고 효과와 접목해 직관적이면서도 감동까지 선사할 수 있는 방법론을 제시하는 직업입니다. 

 

이와 함께 미래에는 유용한 정보들을 추출하는 빅데이터 분석가와는 달리, 쓸모없는 데이터만을 담당하는 쓰레기 데이터 관리자가 생겨날 것입니다. 하루에도 엄청난 양의 데이터가 쏟아지는 만큼 데이터 저장소를 효율적으로 관리하기 위해 불필요하거나 중복된 데이터만을 찾아서 제거하는 역할이 필요하니까요. 또, 개인 사생활 침해와 관련된 정보를 없애주는 데이터 소거원, 고인들의 디지털 흔적을 모두 삭제해주는 데이터 장례사, 한 사람의 일생을 데이터베이스화해서 보관하고 의뢰인이 필요로 할 때 정보를 재생해 주는 기억 대리인 등도 각 분야에서 활약할 것입니다.   

 

한편, 지금까지 빅데이터와 관련한 유망직업들을 살펴보았지만, 빅데이터와 연관된 개념으로 스몰데이터 전문가들의 부상도 고려해야 합니다. 많은 기업이 투자하고 있는 빅데이터는 데이터 간의 연관성을 찾아 공통된 패턴과 유형을 추출하기 때문에 고객의 작은 행동이나 사소한 유형을 놓칠 수 있다는 단점이 있습니다. 반면 스몰데이터는 작은 행태 분석에서 상당히 규모 있는 틈새시장을 창출할 수 있는 기회가 됩니다. 

 

이처럼 빅데이터 기술이 비약적으로 발전함에 따라 관련 직업들도 세분화되고 있습니다. 아직까지는 빅데이터 마이닝 전문가, 빅데이터 엔지니어, 빅데이터 디자이너 등을 통칭해 빅데이터 전문가란 이름으로 부르고 있지만, 각각의 역할과 기능이 더 쪼개어져 신규 직업으로 창출될 수 있습니다. 또한 식품, 광고, 의료 등 다양한 산업의 특성을 반영한 빅데이터 직업들의 생성도 고려해 볼 수 있죠. 이에 에피소드 통해 소개된 직업 이외에 미래 세상에 필요한 빅데이터 직업들이 또 없는지 상상해 보길 추천합니다. 

 

 

※참고자료: 세계경제포럼 ‘직업의 미래(The Future of Jobs)’ 보고서, ‘고용의 미래: 우리의 직업은 컴퓨터화에 얼마나 민감한가' 보고서, 정보통신산업진흥원 '미래를 탐험하는 10대들의 타임머신’ 외

홈페이지 만족도

콘텐츠 내용에 만족하십니까? 현재 페이지의 만족도를 평가해 주십시요. 의견을 수렴하여 빠른 시일 내에 반영하겠습니다.

등록