데이터 엔지니어링2 [Python] Selenium을 활용한 에브리타임 스크래핑(2) - GCP 이전에 Colab에서 에브리타임 스크래핑을 진행하는 방법을 알아보았다. Selenium을 활용한 에브리타임 스크래핑(1)-Colab 편 Colab에서는 컴퓨터를 켜서 Colab에서 코드를 실행해야지만 봇이 작동한다. 하지만 나는 컴퓨터를 켜지 않아도 백그라운드에서 봇이 작동하는 것을 원했다. 이를 위해서는 서버에 코드를 올릴 필요가 있었고 AWS, GCP 중 좀 더 친숙한 GCP에 코드를 올리기로 하였다. Code Server 서버는 터미널에서 vim을 통해 코딩을 하는 방법과 code-server을 통해 VScode에서 코딩을 하는 방법이 있다. 아무래도 vim보다는 IDE에서 코딩을 하는 것이 편하므로 code-server를 통해 VSCode에서 프로젝트를 진행하였다. GCP에서 code serve.. 2022. 3. 8. [Python] Selenium을 활용한 에브리타임 스크래핑(1) - Colab 친구의 실험/연구 참여를 돕기 위해 에브리타임 홍보게시판 스크래핑을 진행하게 되었다. 홍보게시판 스크래핑을 통해 실험 관련 새 글이 올라오면 메시지를 보내주는 봇을 만들었다. 그런데 왜 에브리타임 크롤링이라고 적지 않았을까? 크롤링과 스크래핑의 차이에 대해 알아둘 필요가 있다. Web crawling, also known as Indexing is used to index the information on the page using bots also known as crawlers. Web scraping is an automated way of extracting specific data sets using bots which are also known as ‘scrapers’. 웹사이트에서 특정 데이.. 2022. 1. 12. 이전 1 다음
