Kaggle(캐글) – 데이터 과학자들의 링

kaggle.com

  •  전세계 데이터 과학자들이 특정 문제의 해결법을 놓고 경쟁을 벌이는 온라인 플랫폼
  •  데이터 과학자들이 기계학습과 통계학을 기본으로 다양한 전략과 알고리즘을 구사하여 경쟁(Competition)  모델을 통해 문제 해결 방법을 찾아가게 됩니다.
  • 각 문제마다 걸린 상금도 있는 것으로 보입니다.

최근 사례

  •  미국 제너럴 일렉트릭(GE)은 국제선 항공기의 도착 시간을 보다 정확히 예측할 수 있는 방법을 찾고자 했습니다.
  • 이를 위해 GE는 거액의 상금과 더불어 날씨, 비행기 위치, 비행 시간, 연료 소비량 등을 담은 방대한 빅데이터를 캐글(Kaggle)에 제공하였습니다.
  • 캐글은 이를 온라인에 공개했고, 캐글을 통해 세계 곳곳의 데이터 과학자(Data Scientist) 들이 각자 혹은 팀을 이뤄 문제 해결에 나섰고, 지난해 말 1단계 우승자들이 정해졌습니다.
  • 이들이 개발한 알고리즘을 적용하면 현행보다 비행기 도착 시간을 49% 더 정확하게 예측할 수 있다고 합니다.
  • 우승자들은 25만 달러(2억 7,212만 5,000원)의 상금과 ‘선수 중의 선수’ 라는 명예, 세계 유수 기업의 스카우트 대상이 되는 기쁨을 누렸습니다.
출처 : http://codedragon.tistory.com/m/post/965

캐글 관련 영상

캐글 살펴보기

제가 본 케글에서의 주된 기능은 다음 3가지 정도로 구분 할 수 있었습니다.

  •  경쟁(Competitions)
    • 기업 등이 어떠한 주제와 기간과 상금을 걸고 문제를 해결하는 방식입니다.
    • 데이터는 있으나 데이터 분석이 어려운 기업들이 주로 참여하고 있습니다.
      (꼭 그렇지도 않은 것이 대기업들도 참여합니다.)
    • 기업은 데이터와 주제(목표), 평가 방법, 기간 등을 제시하고 개인 또는 팀이 참여하여 Jupyter Notebook 등을 활용하여 문제해결을 할 수 있습니다.
  • 데이터셋(Datasets)
    • 경쟁과는 다르게 특별한 기간 제한도 없으며 자유롭게 참여가 가능합니다.
    • 어떠한 특별한 주제 없이 데이터만을 제공하여 자유롭게 연구, 분석 등을 통해 결과를 공유합니다.
  • 인력 커뮤니티 (Kernels & Jobs)
    • 데이터 과학자들의 순위와 커뮤니티, 취업 등을 공유하는 성격의 기능이 있었습니다.

경쟁(Competitions)

경쟁 메뉴에선 마치 게임의 도전과제처럼 현재 진행중인 과제들이 상금과 함께 보여집니다.

캐글

재미있는 과제네요.

 

이미지 3.jpg

침몰한 타이타닉호로부터 살아남은 생존자에 대한 분석이라니.. ㅎㅎ

어떤 이유로 어떻게 살아왔는지 데이터 관점에서 분석하자는 것입니다.

데이터셋(Datasets)

이미지 4.png

2번째 유럽 축구 DB를 한번 볼게요.

이미지 5.png

위쪽에 최근 참여한 연구들과 어떤 데이터가 있는지 설명이 자세히 되어 있습니다.

이런 데이터들이 sqlite 파일로 제공됩니다.

이중 하나를 살펴보면 다음과 같습니다.
아래 이미지를 보면 알겠지만 Jupyter Notebook 기반으로 작성되어 있는 것을 볼 수 있습니다.

이미지 7.png

데이터가 어떤식으로 되어있는지, 어떻게 분류했는지 코드와 함께 자세히 설명되어있어서 한번쯤 읽어보면서 어떤 생각으로 구현했는지 보면 많은 도움이 될 것 같습니다.

위 노트북 주소  (EA player stats per league and game frequencies)
https://www.kaggle.com/agalea91/d/hugomathien/soccer/ea-player-stats-per-league

이상 박대성이었습니다! 첫글 끊었습니다!

2 comments

답글 남기기

아래 항목을 채우거나 오른쪽 아이콘 중 하나를 클릭하여 로그 인 하세요:

WordPress.com 로고

WordPress.com의 계정을 사용하여 댓글을 남깁니다. 로그아웃 /  변경 )

Google photo

Google의 계정을 사용하여 댓글을 남깁니다. 로그아웃 /  변경 )

Twitter 사진

Twitter의 계정을 사용하여 댓글을 남깁니다. 로그아웃 /  변경 )

Facebook 사진

Facebook의 계정을 사용하여 댓글을 남깁니다. 로그아웃 /  변경 )

%s에 연결하는 중