📍 데이터 크롤링

진행방식 - Selenium

1. 네이버 리뷰 에서 음식점을 정해주고 해당 음식점에 리뷰를 단 유저의 닉네임과 링크를 크롤링 해서 엑셀에 저장 해준다.
   • 코드
   • Step 1
2. 리뷰어의 개인 프로필 링크를 받아 작성한 모든 리뷰를 볼 수 있는 페이지로 이동한다
   • 코드
   • Step 1
   • Result
3. 리뷰를 통해 데이터를 구축한다
   • 코드
   • Result
4. main + util
   • 코드

📍 데이터 전처리

데이터 형태

• 음식점에 대한 추천을 진행하기 위해 음식점 관련 type만 남긴다

• 크롤링한 데이터 중 네이버에서 제공하는 type 수는 113 종류이다.

• 회의를 통해 14 종류의 type2으로 구분하여 주었다.

  

• 중복되는 리뷰는 제거하였다.

• 서울 내의 음식점에 대한 추천을 하기 위해, 서울에 있는 음식점에 대한 리뷰만 남겨주었다.

• 리뷰어에 대한 시퀀스를 정확하게 포착하기 위해, 서울에 있는 음식점에 대한 리뷰만 남겨주었다.

• 리뷰어 별로 작성한 리뷰의 수가 다양하므로, 최근 날짜를 기준으로 하여 한 사용자당 리뷰를 최대 30개까지만 보유할 수 있도록 전처리 해준다.

• 향후 모델의 input 값으로 넣어주기 위해 사용자, type별로 각각 고유한 숫자를 할당해주었다.

  • 코드

• Ex) bert4rec inference 포함

  • 코드