[AIFFEL Hackathon 1st] 3. 제출 및 시상

안녕하세요

프로그래밍을 배우는 빛나는 샤트입니다.

 

AIFFEL 첫 번째 해커톤

1. 일정

- 2021.02.09 ~ 2021.02.10 15시

 

2. 주제

- Predict Future Sales

데이터: www.kaggle.com/c/competitive-data-science-predict-future-sales/data

Predict Future Sales

 

3. 결과

 1) 그리드 서치 + Light GBM

 2) 스테킹 앙상블(랜덤 포레스트, Light GBM, GradientBoost, XGBoost)

 3) 랜덤 포레스트

 

--> 1) 방법으로 시도하여 캐글에서 1.2점 정도 알아냈다.

 

 

4. 회고

1. AIFFEL의 첫 번째 해커톤이라 너무 긴장되었는데 멋진 팀원분들과 만나 서로의 단점을 보완해주고 장점을 극대화시킬 수 있는 시간이었다.
2. 이제까지 혼자서 코드를 작성하고 마크다운을 썼는데 함께 하는 과정에서 Github을 활용하고 소통에서 어떻게 접근해야 하는지 알 수 있었다.
3. 또한 일정과 업무 관리 등의 전체 기획의 측면에서도 깨달은 것이 많았다.

1. 데이터에 대해 먼저 이야기하면 이상치가 발견되었는데 처리는 아래와 같다.

• item_price에서 엄청 한 개의 큰 값(보통 5,000 수준인데 30,000)이 있었고, 음수도 존재했다. 이 부분은 과감히 제외시켰다.
• item_cnt_day에서도 엄청 큰 한개의 값은 제외시켰고, 음수도 있었는데 환불로 생각해 그대로 사용하기로 했다.

1. 또한 merge를 통해 월별로 데이터를 묶어 합계와 평균을 이용해 데이터 전처리를 했고
2. 0으로 나눠지는 로그 문제를 해결하기 위해 safe_log1p함수를 만들어 해결했다.
3. 데이터 형태가 워낙 까다롭게 느껴져서 우리팀은 새벽 2시까지 전처리에 매달렸고 드디어 모델링 시작

1. 모델링은 각자가 하고 싶은 것을 선정해 진행했다. 나의 경우 스테킹 양상블과 랜덤 서치를 선택했다.
2. 스테킹 앙상블은 워낙 성능이 좋다는 말을 들어서 그런지 진짜 확인해보고 싶었고
3. 랜덤 서치의 경우 그리드 서치보다 좋다고 하는데 이것도 진짜 그럴까? 하는 마음에 시도해봤다.

1. 스테킹의 경우 결과적으로는 캐글 점수가 기대보다 좋지 않았는데, 스테킹 모델링에 대해 공부해보고 함수도 구현해봤다.
2. 스테킹 앙상블이 좋은 이유가 여러 개의 모델이 학습한 결과를 다시 학습 데이터로 만들어 최종 모델에 입력된다라는 점이다.
3. 베이스라인보다는 개선되었지만 기대했던 향상보다는 미치지 못해 아쉬웠다.

1. 랜덤 서치는 관련 개념과 코드 학습에 시간을 많이 쏟은 탓에 코드 구현이 늦게 되어서 하이퍼파라미터 탐색까지만 시도해 볼 수 있었다.
2. 시간이 좀 더 있었다면 학습을 진행할 수 있었을텐데 아쉬움이 남았다.

1. 모델링을 하면서 느낀 점은 시간과의 싸움이었다.
2. 스테킹과 랜덤서치 모두 오랜 시간이 걸렸으며, 스테킹의 경우 1시간 정도걸렸고 랜덤 서치의 경우 거의 2시간이 걸렸던 것 같다.
3. 책이나 강의자료에서 말하는 시간이 오래 걸린다의 의미를 피부로 느꼈고, 컴퓨팅 파워도 얼마나 중요한 지 느꼈다.(커널이 계속 죽어ㅠㅠ)

1. 마지막으로 새벽까지 잠 줄여가며 전처리에 큰 공을 세우신 수희님과
2. 날카로운 분석과 체계를 잡아주신 보배님
3. 열심히 따라가며 모델링 시도해본 나에게

모두 수고하셨습니다! 👏👏👏

 

5. 시상

 기대했던대로 5등(비타민)을 수상했다! 와우! 첫 해커톤인데 수상을 경험했다.

 하지만...

 아직 올라갈 단계가 있다는 점.

 기쁘지만 아쉽다.

 다음엔 더 높은 단계로 올라갈 시간을 기다리며...

 

8조 Github - github.com/Shinest-changwon/AIFFEL_1st_Hackathon