[TIL] 25.02.27 API 및 웹 크롤링
·
Today I Learned
PrologueAPI 및 웹 크롤링으로 데이터를 수집하는 2번째, 3번째 방법을 배웠고 그 내용을 기록할게요.API전체 과정URL로 웹사이트에 접근파라미터 전달XML이나 HTML 값을 리턴 받기XML을 Element로 파싱Element를 통해 데이터프레임(딕셔너리 = {열 이름: 값 리스트}) 만들기Requse로 XML 받기API로 통신 = HTTP 통신HTTP 통신하는 방법이 파이썬에서는 requests 모듈로 구현되어있음우리는 데이터를 받기만 할거임(get 메소드만 사용)데이터 추가(Post), 수정(Put), 삭제(Delete)는 이미 API 제공자가 해두셨음Url, Parameters 전달(허락받은 사용자라는 것을 인증하는 Service Key도 Parameters에 포함)# 실제 공공데이터 '전..
[TIL] 25.02.26 데이터 분석가 취업 고민 및 조언 정리
·
Today I Learned
Prologue스파크 강의를 듣고, 부트캠프를 마무리 하기 위해 이것저것 고민한 과정을 기록한다.Spark 강의 1주차스파크는?Apache 재단에서 제공중인 무료 대용량 처리 도구100GB 이상의 데이터를 효과적으로 처리 가능다만 몇 십GB의 데이터의 경우는 파이썬만으로 처리하는 것이 더 효과적Out Of Memory 문제파이썬으로 대용량 처리하다 만날 수 있는 문제. 메모리 용량 부족을 뜻함스파크든 파이썬이든 메모리 관리가 중요Memory메모리 = 기억 장치크게 Ram과 Disk로 나눔Ram = 작업 공간 = 요리할 때 도마작업할 때만 단기 기억되고 컴퓨터를 종료하면 삭제됨예) read_csv, 크롬 실행스파크를 통해 램 16GB의 컴퓨터를 여러 대 사용하여 작업을 처리할 수 있어서 사용함Disk(하드..
[TIL] 25.02.25 프로젝트 발표 및 회고
·
Today I Learned
Prologue발표회에서 1주일 동안 진행했던 게임 유저 데이터 대시보드 제작 프로젝트를 발표하고 회고한 내용을 정리하려 한다.팀 프로젝트 발표다음에 이렇게 또 해야지..!문장은 한 문장씩 읽는다.문장은 저음에서 시작하여 고음으로 끝난다. 특히 한 문장에서 강조할 부분 의미 단위로 자를 때 올려서 얘기해준다.문장을 읽기 전에 숨 한 번 쉰다. 아랫배에 힘을 줘서 말하며 숨을 뱉는다.레이저 포인터로 집중할 장면을 짚어준다.시간 제한은 절대적이다. 오늘은 30-40초 정도를 초과했다 ㅠㅠ앞으로는 연습 때 10초 정도는 여유를 만들어야 한다.KPT 팀 회고KEEP아침에 해야할 일 공유-> 오늘의 목표 상기, 해야할 것 같은 기분이 듦다들 모르는 피그마를 공부하고 팀원들과 공유- 다 같이 피그마로 대시보드를 제..
[TIL] 25.02.24 실전 프로젝트 종료
·
Today I Learned
Prologue처음 데이터를 열어보고 대시보드를 스케치하고, 만들고.. 디자인하고, 인사이트를 정리하고, PPT로 만들고, 영상촬영까지.. 모든 걸 제출하고 왔다. 짧게나마 프로젝트를 돌아보고자 한다.인사이트 제안만든 대시보드를 확인하고 인사이트를 제안했다.다시 한 번 느끼지만 이런 회사 말하기? 목표를 중심으로 하는 말하기는 문제에서 시작해야 한다.처음 인사이트를 제안할 때 감이 잘 잡히지 않았다. 부서별로 이 대시보드를 확인한 후 어떤 인사이트를 제안할 수 있을까?긴 시간은 아니지만 꽤 고민했다. 그래도 답이 잘 나오지 않았다.그러나 팀원이 공유해준 예시를 보고 감이 왔다. 문제에서 시작하는 것이다아..대시보드를 보고 어떤 문제(문제는 곧 목표)를 해결할 것인가?가장 급하게 해결해야 할 문제는 뭐지?..
[TIL] 25.02.21 피그마를 활용해서 태블로 보기 좋게 수정하기
·
Today I Learned
Prologue태블로로 만든 대시보드를 보기 좋게 수정하고, 피그마로 디자인한 과정을 적어보려 한다.대시보드 수정수정된 대시보드팀원들과 기본 태블로 대시보드에서 태블로 퍼블릭의 디자인을 참고해서 수정했다.피그마를 써보지 않았어서 긴장했는데 팀원 중 한 분이 피그마 강의를 수강하고기초를 알려주셨다. 좋은 영향을 참 많이 받고 있는 팀원이라 감사한 마음 뿐.. 더 열심히 하자 ㅋ색깔과 그림자 설정피그마에서 만든 디자인과 태블로 퍼블릭의 이미지가 다르다고 느껴진다면색깔과 그림자를 설정해보자.사진을 보면 좌측의 회색에서 우측의 흰색으로 색이 변한다.색상의 Fill - Gradient에서 변하는 색을 적용할 수 있다.그림자 또한 색깔이 푸른색이었다. 이걸 스포이트로 뽑아서 같은 그림자 색을 적용해줬다.배경색 또한..
[TIL] 25.02.19 태블로로 게임 매출 대시보드 만들기
·
Today I Learned
Prologue대시보드 스케치대로 게임 매출 대시보드를 만든 과정을 돌아보고자 한다.대시보드 기술서전체 대시보드크기: 일반 데스크톱(1366x768)데스크톱에서 한 눈에 들어오는 크기이며 태블릿에서도 조금의 이동으로 전체 화면을 확인할 수 있다.중간의 네모가 태블릿에서 이동없이 확인할 수 있는 영역이다.구성지표1) 총 매출 = 총 결제금액 – 총 환불금액 게임으로부터 발생한 총 결제금액은 1.36조입니다.SUM([Pay Amount])- SUM([Refund Amount])2) ARPU = 유저 1명 당 평균 결제금액 이 게임의 유저는 1명 당 평균 5천만원을 결제했습니다.유저는 가입 후 이탈할 때까지 평균 5천만원을 결제합니다.[총매출] / COUNTD([Account Id])총 결제금액에서 유저의 평..