Intro'빅데이터 기초: 개념, 동인, 기법'을 읽고 난 후 전체 내용을 개괄적으로 정리해서빅데이터 분석 도입 배경과 개념, 이 기술이 현업에서 어떻게 사용되는지 이해한다.빅데이터란?빅데이터 개념빅데이터 분석? 대규모 데이터를 살펴본다고 생각해보자.이는 갑자기 나온 개념이 아니다. 국가의 총 인구 조사, 보험회사의 보험료 산정 등 대규모의 데이터를 확인해야 할 일은 많았고 이 역할은 통계가 맡고 있었다.여기에 Computer + 분석 알고리즘이 더해져 빅데이터 분석이 되었다.데이터: 컴퓨터가 처리할 수 있는 형태의 문자, 이미지, 소리. 숫자, 텍스트, 사진, 영상 등 '자료'라고도 불림데이트 세트: 관련되어있고, 같은 성질을 갖는 데이터끼리 모아둔 것빅데이터: 데이터 세트에서 5V의 특징 중 하나를..

Intro'비전공자도 이해하는 IT 지식, 최원영' 책을 읽고 IT 세상에 대해 이해한 내용을 간단하게 정리한다.쉽게, IT는 컴퓨터와 컴퓨터가 정보를 주고받는 세상이다. 가장 중요한 컴퓨터, API, 서비스 제공 3개로 나눠서 설명해본다.Part 1. 컴퓨터란 무엇인가1-1. 우리가 매일 쓰는 기기들, 다 컴퓨터다스마트폰, 노트북, 태블릿… 전부 컴퓨터다.CPU(두뇌), RAM(작업공간), 저장장치(기억 공간)를 가지고 있다는 공통점 때문이다.이러한 하드웨어는 사용자가 직접 다루지 않는다.운영체제(OS)라는 프로그램이 대신 작동시켜주기 때문이다.예를 들어, 스마트폰에서 카카오톡을 실행할 때, 일일이 복잡한 명령어를 입력하지 않아도 된다.운영체제가 '화면 터치'라는 신호를 받아 내부 명령어로 바꿔 하드웨..

'배민스토어 운영지원 담당자' 이력서를 제출하고 왔습니다. 저를 당황하게 한 질문이 있었으니..'좋아하는 시, 소설, 음악을 중심으로 자기소개하세요' 였습니다.저처럼 당황스러운 분들이 계시지 않을까해서 나름 생각해본 합격 전략과 배민 분들의 의도를 남깁니다. 배민은 왜 이런 질문을 했을까 제가 생각했을 땐 배민은 '지원자의 일을 하는 태도, 그 사람의 지향점'을 보고 싶었던 것 같아요. 기업 입장에서 채용할 때 2가지 조건을 보는 것 같아요. 1. 일 잘하냐 2. 협업 잘하냐 ... '일 잘하는데 싸가지 없는 동료 vs 착한데 일 못하는 동료' 직장인 밸런스 게임이 유행했을 정도로 이 2가지는 중요한 것 같습니다. 이 중에 2번. 협업을 잘하냐를 볼 수 있는 질문 같습니다. 배민다움 홈페이지에서 배민은..

빅데이터 분석가는 왜 비즈니스 현장에 필요한걸까?내가 되고 싶은 직업이 비즈니스에서 왜 필요한지 이해하고, 이 직업이 특히 유효한 조직은 어디인지 정리한다. 👨‍💻 빅데이터 분석가란?빅데이터 분석가는 쉽게 말하면 ‘큰 데이터를 분석하는 사람’이다.물론 더 넓은 정의도 있지만, 간단히 이해하자면 이 정도로 생각할 수 있다.이 직업은 아래와 같은 다른 명칭으로도 불린다.빅데이터 전문가디지털 사이언티스트(Digital Scientist)데이터 과학자(Data Scientist)* 위키백과 빅데이터 분석가(Big Data Analyst)는 빅데이터 전문가로 ‘디지털 사이언티스트(Digital Scientist)’ 혹은 ‘데이터 과학자’(Data Scientist)로 불리는 전문가이다. ⭐️빅데이터 분석은 조..

오늘 한 것: 출발 시간표 크롤링 - 걸린시간이 전부 있는 버스 40개의 도착 예정 시간을 구하려고 하니.. 출발 시간 데이터가 없었다.. 평일, 주말에 언제언제 기점에서 출발하는 시간이다. 그래서 구미 BIS(버스시스템) 홈페이지에서 크롤링을 할 수 밖에 없었다프로세스크게 3가지 단계웹 드라이버 생성 -> HTML 태그에서 정보 찾아서 리스트에 담기 -> 시간표 웹 사이트로 이동해서 정보 크롤링 자세히는 9가지 단계이다.셀레니움으로 웹드라이버 생성(나 대신 웹페이지 열어서 크롤링 해줄 친구)웹페이지 HTML에서 모든 버스 노선 찾기버스 노선별로 시간표로 들어가는 URL 찾기(웹페이지 한 번 더 열어야 시간표 확인 가능)버스별로 번호, 주요경유지, 시간표 URL, filename 만들기시간표 수집함수 정..

오늘한 것: 총 338개 버스 중 걸린시간이 전부 있는 버스 45개를 추렸다. 이 버스의 도착시간을 먼저 예측하려 했다. 그러다 보니 자연스럽게... 버스 정류장 좌표 -> 실제 운행되고 있는 구간 -> 새롭게 구간별 거리 측정 등을 수행했다. 예측에 기반이 되는 데이터를 다시 정리했음.. 처음부터 잘할 수는 없는데 좀 더 확실한 생각을 갖고 하자는 생각이 든다. 예를 들어 버스 정류장 좌표 데이터가 3개가 있으면 이 중 어떤 것이 가장 정확한 데이터인지 나름의 이유를 갖고, 검증을 하고 진행하자. 안 그럼 3개를 다 해봐야 하고 잘못된 좌표 데이터를 선택했을 경우 = 지금의 나;; 다른 데이터로 다시 절차를 진행해야 한다. 물론 이미 했던 것이라 처음보다는 수월하지만 혼란스러움과 스트레스는 나의 몫^^..