빅데이터 분석가는 왜 비즈니스 현장에 필요한걸까?
내가 되고 싶은 직업이 비즈니스에서 왜 필요한지 이해하고, 이 직업이 특히 유효한 조직은 어디인지 정리한다.
👨💻 빅데이터 분석가란?
빅데이터 분석가는 쉽게 말하면 ‘큰 데이터를 분석하는 사람’이다.
물론 더 넓은 정의도 있지만, 간단히 이해하자면 이 정도로 생각할 수 있다.
이 직업은 아래와 같은 다른 명칭으로도 불린다.
- 빅데이터 전문가
- 디지털 사이언티스트(Digital Scientist)
- 데이터 과학자(Data Scientist)
* 위키백과 빅데이터 분석가(Big Data Analyst)는 빅데이터 전문가로 ‘디지털 사이언티스트(Digital Scientist)’ 혹은 ‘데이터 과학자’(Data Scientist)로 불리는 전문가이다.
⭐️빅데이터 분석은 조직에 어떤 가치를 가져오는가?
빅데이터 분석 개념
조직 차원에서 모든 행위는 투자임에도 데이터 분석을 하고자 한다. 그 이유는,
기업의 전략 목표를 효율적으로 달성하거나 해결하지 못하는 문제를 해결하기 때문이다.
그게 뭔데 그렇게 대단한데?라고 질문할 수 있다.
➡️ 데이터 분석은 사실을 면밀히 나누어 보고, 실행 가능한 인사이트를 만드는 것이다.
* 데이터: 주어진 사실, 자료(분석이나 연구를 위한 재료로서의 의미)
* 분석: 얽혀 있거나 복잡한 것을 풀어서 개별적인 요소나 성질로 나누는 것이다.
* '데이터 분석' 정의참고: Amazon Web Service
빅데이터 분석의 빅데이터는 뭔가 데이터와는 조금 다를 것이다.
'빅데이터 5V'이론에 의하면 빅데이터는 용량이 크고, 데이터 종류가 다양하며, 처리 및 저장 속도가 빠르다.
여기에 더해 잡음보다 신호의 비율이 높아 정확성이 높고, 실시간으로 처리되어(혹은 그에 준하는 빠른 속도로) 그 가치가 높다.
한 마디로 매우 크고, 모든 데이터 종류를 다 포함하며, 실시간으로 처리되는 데이터가 빅데이터이다.
그렇다고 너무 걱정은 안 해도 된다. 클라우드 컴퓨팅과 데이터 처리를 돕는
AWS, Google Cloud Platform, Microsoft Azure와 같은 대기업ㅎㅎ이 있고 우리는 이 기업을 활용하여 환경을 구축하면 된다.
빅데이터 분석 사용법
책, 데이터 문해력(카시와기 요시키 저)에서는 다음과 같이 말한다.
"데이터는 그 자체로 목적이 아니다. 하고 싶은 말이나 해결하고 싶은 것을 위한 도구다.
따라서 다음과 같이 사용되어야 한다. 그래프를 통해 알 수 있는 것이 무엇이지? 가 아니라,
내가 알고 싶은 것(목적)에 따라 데이터를 수집하고 분석해서 그 결과를 검증하고 결론으로 연결하는 것이다."
즉, 목적이 굉장히 중요하고, 데이터 분석은 이를 달성하기 위한 수단일 뿐이라는 것이다.
두 가지 의문이 생긴다.
- 결과를 검증하고 결론으로 연결하는 것은 어떤 차이가 있지?
- 아니 그래서, 목적? 너무 추상적인데 구체적으로는 기업에는 어떤 가치를 가져올 수 있는 거지?
빅데이터 분석을 사용할 만한 기업
꼭 빅데이터를 이용해야 하는가? 아닐 것이다. 빅데이터를 활용하지 않는 자영업자분들, 기업은 충분히 차고 넘친다.
그렇다면 왜 빅데이터에 주목하는 것이지? 빅데이터를 활용했을 때 이득을 얻을만한 기업은??
그에 맞는 사례를 책, 빅데이터 기초: 개념, 동인, 기법(Thomas Erl. Wajid 저)에서 확인할 수 있다.
요약하자면 데이터 분석을 통해 해결할 수 있는 문제나 전략 목표를 달성하고자 하는 조직이 사용한다.
카시와기 요시키가 언급했듯 데이터 분석은 목표 달성을 위한 수단일 뿐이다.
빅데이터 분석을 통해 해결해야 하는 문제
데이터 분석을 통해 내부에서 수집한 정형 데이터로는 해결할 수 없는 문제를 해결한다.
빅데이터 기초 책에는 다음과 같은 문제들이 언급된다.
건플 보험사(예시)의 임원들은 고민에 빠졌다. 이번 분기의 수익성이 심하게 악화되었기 때문이다. 이유는 아래와 같다.
- 악질적인 보험 사기꾼들로 인해, 전 분기에 비해 보험 청구액이 1.5~2배 늘어났다. 이들은 조직적으로 움직이기 때문에 피해규모도
큰 것으로 추정된다. - 신규 가입자를 유치할 때, 무분별한 보험료 책정으로 치료비는 매우 크나 보험 청구료는 작은 고객이 다수 확인되었다.
그렇다면 다음과 같이 해결할 수 있을 것이다.
- 악질적인 보험 사기꾼을 탐지하고, 이들을 예상하고 행위를 제지하거나 보험 가입을 막는다.
- 신규 가입자를 유치할 때 여러 가지 기준을 통해 적절한 보험료를 책정한다.
사기꾼을 탐지하고, 보험료를 책정하는 기준을 빅데이터로 만들 수 있다.
기존의 나이, 성별, 사고 이력 등의 정형 데이터뿐만 아니라 빅데이터를 활용하는 것이다.
가령 차량 운행 기록, 웨어러블 기기에서 측정된 건강 데이터, 위치 정보, 사용자 SNS 등의 빅데이터를 활용하여
위의 문제를 해결하는 기준, 인사이트를 만들 수 있다.
기업 내부에서 수집하고 처리했을 정형 데이터외에 기업 외부에서 반정형 및 비정형 데이터를 데이터 분석에 활용함으로써
기업은 해결할 수 없었던 문제를 해결할 수 있다.
* 정형 데이터: 테이블(행과 열) 형태로 저장된 데이터, 가령 엑셀 파일로 저장된 사원 정보
* 비정형 데이터: 테이블 형식이 아닌 형태로 저장된 데이터, 가령 회의 녹음 MP3 파일
* 정형 및 비정형 데이터 참고자료: Amazon Web Service
비용과 이익을 고려하여 도입
결국, 기존의 정형 데이터를 통해 해결할 수 있는 문제나 비즈니스 목표를 가진 기업이라면 빅데이터를 도입할 필요가 없을 것이다.
빅데이터를 도입하기 위해 클라우드 기반 저장소, 데이터 처리 파이프라인, 인력 등이 필요한데 이는 분명 큰 비용이 들기 때문이다.
지극히 단순하게 계산했을 때, 중견회사의 경우 1~3억의 비용을 투자해야 할 수 있다.
그러나 그들이 직면한 문제가 감이 해결할 수 있는 범위를 벗어나 복잡하거나 매우 큰 정보를 고려해야 할 경우,
사람보다는 기계가 이를 판단할 수 있게 빅데이터를 활용하는 것이 경제적일 것이다.
빅데이터를 도입해야 할 필요성이 분명하다면 MVP로 필요한 기능만을 구현할 수 있는 환경을 구축해 보는 것이
비즈니스 개선의 시작일 것이다.
'Data Scientist' 카테고리의 다른 글
| IT 세상 기본 이해 (5) | 2025.06.10 |
|---|