C.G.V 영화 크롤러

가장 먼저 영화 정보를 크롤링하기 전에 정확히 크롤러가 어떠한 역할을 할 것 인지 확실히 정해두고 만들 필요가 있음

일단 시험 삼아 가장 먼저 서울권 에서만 1시간 단위로 모든 상영 정보를 불러오게 만들 것 임

 

내가 만들고 싶은 것 은 ?

C.G.V 페이지에서 영화에 관한 정보를 불러오는 프로그램

 

해당 크롤러가 해야 할 일은?

6하 원칙에 맞게 

 

누가 ? 크롤러가

언제 ? 1시간 간격 마다

어디서 ? C.G.V 강남 웹 페이지에서

무엇을 ? 영화 이름, 영화 상영관 위치, 영화 상영 시간, 상영관 잔여 좌석, 상영 날짜를

어떻게 ? Python 라이브 러리를 통해 ( requests, bs4 ) 데이터를 추출해서 

왜 ? 불러온 정보를 최종적으로 DB에 담기 위해

 

내가 어떠한 프로그램을 만들지 생각을 정리 해 보았다면 정리한 생각을 세부적으로 나열

 

1. 모든 주체를 정의 해 본다

주체는 3가지로 정의 할 수 있음

• CGV 웹 사이트
• 크롤링 프로그램
• DB

 

2. 이제 주체들이 각각 어떤 기능을 하게 되는지 정의하며 데이터를 어떠한 형태로 만들지 기술

CGV 웹 사이트

1. 크롤링 해야할 데이터들을 제공

-> HTML 형태로 제공

 

크롤링 프로그램

2. 1에서 제공하는 데이터를 요청 ( Requests )

-> HTML 형태로 응답 해줌

3. 2에서 불러온 데이터를 가지고 필요한 부분만 파싱 

-> 데이터 형태를 HTML 형태에서 파싱이 가능한 DOM 형태로 바꾼 뒤 작업 수행

-> DOM 형태로 불러온 데이터는 다시 딕셔너리 형태로 저장

4. DB에 쿼리 요청 

-> 딕셔너리 형태로 묶여 있는 데이터를 데이터베이스에 INSERT 쿼리문으로 추기

DB

5. Python에서 불러온 데이터를 DB에 저장