[Python-Crawling] 정부 혁신 제안 사이트 크롤링 - 1

 

 

 

 

패키지 임포트¶

In [26]:

# 필요한 도구를 불러온다.
# 파이썬에서 사용할 수 있는 엑셀과 유사한 데이터분석 도구
import pandas as pd
# 매우 작은 브라우저로 웹사이트의 내용과 정보를 불러올 수 있습니다.
import requests
# request로 가져온 웹사이트의 html 태그를 파싱하는데 사용합니다.
from bs4 import BeautifulSoup as bs
# 랜덤숫자를 생성한다.
import random
import time
# 대량 데이터 처리시 진행 상황을 표시합니다.
from tqdm import tqdm, trange
# 정규표현식
import re

 

제안 연월 설정¶

In [27]:

year_month = 201910

 

페이지 번호대로 제안 목록을 가져오는 함수¶

In [28]:

# 연-월별 전체 제안 목록을 가져옵니다.
def get_suggestion_list(pnum):
    base_url = f"https://www.innogov.go.kr/ucms/ogp/sug/list.do?pnum={pnum}&menuNo=300102&orderKey=registDtDesc"
    response = requests.get(base_url)
    
    if response.status_code == 200:
        html = bs(response.text, 'html.parser')
        tags = html.select("#content > div.suggestion_list > ul")[0].find_all('a')
        
        if not tags:
            return (suggestion_list)
        else:
            for tag in tags:
                suggestion_list.append(tag['href'])
        pnum +=1
        # 페이지 번호를 하나씩 증가시켜 재귀 호출 진행
        get_suggestion_list(pnum)
    else:
        return(suggestion_list)

 

페이지 번호 설정 및 함수를 호출하여 제안 목록 가져오기¶

In [29]:

suggestion_list = []
pnum = 1

get_suggestion_list(pnum)

 

제대로 href 태그 링크 가져왔는지 확인¶

In [30]:

print(len(suggestion_list))

suggestion_list[:3]

 

236

Out[30]:

['/ucms/ogp/sug/view.do?menuNo=300102&sgId=280&pnum=1',
 '/ucms/ogp/sug/view.do?menuNo=300102&sgId=279&pnum=1',
 '/ucms/ogp/sug/view.do?menuNo=300102&sgId=278&pnum=1']

In [31]:

## 태그 링크를 기반으로 게시물 내용을 가져오는 함수

In [32]:

def get_suggestion_content(url):
    article = []
    base_url = f"https://www.innogov.go.kr/{url}"
    response = requests.get( base_url )
    if response.status_code == 200:
        html = bs(response.text, 'html.parser')
        # 제목을 가져옵니다.
        title = html.select(
            '#content > div.vveiw_box1 > dl > dt')[0].get_text(strip=True)
        # dd 태그에 있는 내용을 가져와서 카테고리, 시작일, 마감일, 제안인 정보를 추출합니다.
        desc = html.select(
            '#content > div.vveiw_box1 > div.vveiw_name > ul > li > dl > dd')
        category = desc[0].get_text(strip=True)
        content = html.select(
            '#content > div.vveiw_box1 > div.vveiw_cont > div > pre')[0].get_text(strip=True)
        start = desc[1].get_text(strip=True)
        end = desc[2].get_text(strip=True)
        author = desc[3].get_text(strip=True)
        # 추천인원을 가져옵니다.
        vote = html.select('#counter')[0].get_text(strip=True)
        # 해당 게시물의 Id 값을 가져옵니다.
        sgId = url.split('=')[2].split('&')[0]
        
        article.append(sgId)
        article.append(title)
        article.append(category)
        article.append(content)
        article.append(start)
        article.append(end)
        article.append(vote)
        article.append(author)
       #print(article)
        
#         time.sleep(random.randint(1,2))
        return article

 

각 게시물의 세부 내용 가져오기¶

In [33]:

data = []
# tqdm 을 사용해서 어느정도 가져왔는지 확인하기
for i, suggestion in tqdm(enumerate(suggestion_list)):
    # suggestion_list에 있는 각 게시물에 접근하여 카테고리, 시작일, 마감일, 제안인, 제목, 내용등을 가져옵니다.
    s = get_suggestion_content(suggestion)
    data.append(s)

 

0it [00:00, ?it/s]
1it [00:00,  5.13it/s]
2it [00:00,  5.11it/s]
3it [00:00,  5.02it/s]
4it [00:00,  5.00it/s]
5it [00:00,  5.04it/s]
6it [00:01,  5.13it/s]
7it [00:01,  5.21it/s]
8it [00:01,  5.38it/s]
9it [00:01,  5.29it/s]
10it [00:01,  5.30it/s]
11it [00:02,  5.28it/s]
12it [00:02,  5.18it/s]
13it [00:02,  5.26it/s]
14it [00:02,  5.03it/s]
15it [00:02,  5.15it/s]
16it [00:03,  5.19it/s]
17it [00:03,  5.26it/s]
18it [00:03,  5.30it/s]
19it [00:03,  5.27it/s]
20it [00:03,  5.17it/s]
21it [00:04,  5.26it/s]
22it [00:04,  5.33it/s]
23it [00:04,  4.96it/s]
24it [00:04,  5.10it/s]
25it [00:04,  5.15it/s]
26it [00:05,  5.19it/s]
27it [00:05,  5.31it/s]
28it [00:05,  5.41it/s]
29it [00:05,  5.47it/s]
30it [00:05,  5.35it/s]
31it [00:05,  5.23it/s]
32it [00:06,  5.24it/s]
33it [00:06,  4.91it/s]
34it [00:06,  5.03it/s]
35it [00:06,  4.73it/s]
36it [00:06,  4.93it/s]
37it [00:07,  4.82it/s]
38it [00:07,  4.93it/s]
39it [00:07,  4.66it/s]
40it [00:07,  4.45it/s]
41it [00:08,  4.66it/s]
42it [00:08,  4.83it/s]
43it [00:08,  4.92it/s]
44it [00:08,  5.08it/s]
45it [00:08,  5.06it/s]
46it [00:09,  5.06it/s]
47it [00:09,  5.00it/s]
48it [00:09,  5.16it/s]
49it [00:09,  5.20it/s]
50it [00:09,  5.08it/s]
51it [00:09,  5.19it/s]
52it [00:10,  5.06it/s]
53it [00:10,  5.06it/s]
54it [00:10,  5.18it/s]
55it [00:10,  5.20it/s]
56it [00:10,  5.00it/s]
57it [00:11,  4.81it/s]
58it [00:11,  4.80it/s]
59it [00:11,  4.82it/s]
60it [00:11,  4.78it/s]
61it [00:12,  4.87it/s]
62it [00:15,  1.11s/it]
63it [00:15,  1.20it/s]
64it [00:15,  1.55it/s]
65it [00:15,  1.95it/s]
66it [00:16,  2.02it/s]
67it [00:16,  2.42it/s]
68it [00:16,  2.78it/s]
69it [00:16,  3.17it/s]
70it [00:17,  3.54it/s]
71it [00:17,  3.92it/s]
72it [00:17,  4.33it/s]
73it [00:17,  4.59it/s]
74it [00:17,  4.87it/s]
75it [00:18,  5.04it/s]
76it [00:18,  4.98it/s]
77it [00:18,  4.87it/s]
78it [00:18,  5.02it/s]
79it [00:18,  5.17it/s]
80it [00:19,  5.30it/s]
81it [00:19,  5.29it/s]
82it [00:19,  5.32it/s]
83it [00:19,  5.30it/s]
84it [00:19,  5.42it/s]
85it [00:20,  5.23it/s]
86it [00:20,  3.87it/s]
87it [00:20,  4.17it/s]
88it [00:20,  4.41it/s]
89it [00:21,  4.50it/s]
90it [00:21,  4.42it/s]
91it [00:21,  4.66it/s]
92it [00:21,  4.81it/s]
93it [00:21,  4.89it/s]
94it [00:22,  3.57it/s]
95it [00:22,  3.90it/s]
96it [00:22,  4.15it/s]
97it [00:22,  4.16it/s]
98it [00:23,  4.38it/s]
99it [00:23,  4.52it/s]
100it [00:23,  4.27it/s]
101it [00:23,  4.30it/s]
102it [00:24,  4.54it/s]
103it [00:24,  4.71it/s]
104it [00:24,  4.62it/s]
105it [00:24,  4.56it/s]
106it [00:24,  4.47it/s]
107it [00:25,  4.47it/s]
108it [00:25,  4.40it/s]
109it [00:25,  4.61it/s]
110it [00:25,  4.51it/s]
111it [00:26,  4.61it/s]
112it [00:26,  4.82it/s]
113it [00:26,  4.89it/s]
114it [00:26,  4.97it/s]
115it [00:26,  5.10it/s]
116it [00:26,  5.08it/s]
117it [00:27,  5.09it/s]
118it [00:27,  5.16it/s]
119it [00:27,  5.03it/s]
120it [00:28,  3.51it/s]
121it [00:28,  3.86it/s]
122it [00:28,  4.02it/s]
123it [00:28,  4.38it/s]
124it [00:28,  4.54it/s]
125it [00:29,  4.81it/s]
126it [00:29,  4.92it/s]
127it [00:29,  5.10it/s]
128it [00:29,  5.19it/s]
129it [00:29,  5.30it/s]
130it [00:29,  5.30it/s]
131it [00:30,  5.43it/s]
132it [00:30,  5.39it/s]
133it [00:30,  5.44it/s]
134it [00:30,  5.39it/s]
135it [00:30,  5.47it/s]
136it [00:31,  5.51it/s]
137it [00:31,  5.50it/s]
138it [00:31,  5.50it/s]
139it [00:31,  4.03it/s]
140it [00:32,  4.36it/s]
141it [00:32,  4.64it/s]
142it [00:32,  3.36it/s]
143it [00:32,  3.74it/s]
144it [00:33,  4.05it/s]
145it [00:33,  4.35it/s]
146it [00:33,  4.25it/s]
147it [00:33,  4.42it/s]
148it [00:33,  4.63it/s]
149it [00:34,  4.78it/s]
150it [00:34,  4.90it/s]
151it [00:34,  4.85it/s]
152it [00:34,  4.76it/s]
153it [00:34,  4.73it/s]
154it [00:35,  4.92it/s]
155it [00:35,  4.87it/s]
156it [00:35,  4.99it/s]
157it [00:35,  5.10it/s]
158it [00:35,  5.04it/s]
159it [00:36,  4.98it/s]
160it [00:36,  5.02it/s]
161it [00:36,  5.09it/s]
162it [00:36,  4.94it/s]
163it [00:36,  4.97it/s]
164it [00:37,  4.90it/s]
165it [00:37,  4.43it/s]
166it [00:37,  3.32it/s]
167it [00:38,  3.76it/s]
168it [00:38,  4.07it/s]
169it [00:38,  4.40it/s]
170it [00:38,  3.38it/s]
171it [00:39,  3.74it/s]
172it [00:39,  4.01it/s]
173it [00:39,  4.21it/s]
174it [00:39,  4.02it/s]
175it [00:40,  4.18it/s]
176it [00:40,  4.49it/s]
177it [00:40,  4.73it/s]
178it [00:40,  4.85it/s]
179it [00:40,  4.91it/s]
180it [00:41,  4.69it/s]
181it [00:41,  4.84it/s]
182it [00:41,  3.52it/s]
183it [00:41,  3.91it/s]
184it [00:42,  4.28it/s]
185it [00:42,  4.58it/s]
186it [00:42,  4.62it/s]
187it [00:42,  4.78it/s]
188it [00:42,  4.69it/s]
189it [00:43,  4.90it/s]
190it [00:43,  4.97it/s]
191it [00:43,  5.05it/s]
192it [00:43,  5.21it/s]
193it [00:43,  5.19it/s]
194it [00:43,  5.12it/s]
195it [00:44,  5.16it/s]
196it [00:44,  5.14it/s]
197it [00:44,  5.11it/s]
198it [00:44,  5.09it/s]
199it [00:44,  5.26it/s]
200it [00:45,  5.27it/s]
201it [00:45,  5.14it/s]
202it [00:45,  5.04it/s]
203it [00:45,  5.07it/s]
204it [00:45,  5.16it/s]
205it [00:46,  4.99it/s]
206it [00:46,  5.11it/s]
207it [00:46,  5.16it/s]
208it [00:46,  5.02it/s]
209it [00:46,  5.03it/s]
210it [00:47,  4.93it/s]
211it [00:47,  4.75it/s]
212it [00:47,  4.90it/s]
213it [00:47,  4.83it/s]
214it [00:47,  4.73it/s]
215it [00:48,  4.60it/s]
216it [00:48,  4.75it/s]
217it [00:48,  4.95it/s]
218it [00:48,  5.03it/s]
219it [00:48,  4.99it/s]
220it [00:49,  3.60it/s]
221it [00:49,  3.61it/s]
222it [00:49,  3.97it/s]
223it [00:50,  4.32it/s]
224it [00:50,  4.58it/s]
225it [00:50,  4.51it/s]
226it [00:50,  4.61it/s]
227it [00:50,  4.83it/s]
228it [00:51,  4.64it/s]
229it [00:51,  4.71it/s]
230it [00:51,  4.73it/s]
231it [00:51,  4.53it/s]
232it [00:51,  4.67it/s]
233it [00:52,  4.70it/s]
234it [00:52,  4.41it/s]
235it [00:52,  4.59it/s]
236it [00:52,  4.46it/s]

In [34]:

column_names = ["sgId", "title", "category", "content", "start", "end", "vote", "author"]
column_names

Out[34]:

['sgId', 'title', 'category', 'content', 'start', 'end', 'vote', 'author']

In [35]:

data = pd.DataFrame(data, columns=column_names)
data.head()

Out[35]:

	sgId	title	category	content	start	end	vote	author
0	280	행정기관 소속 위원회 위원 개인정보 및 안건 공개 기준에 관한 법적 근거 마련	일반행정	ㅁ 현황ㅇ 법령에 따라 설치되는 행정기관 소속 위원회들이 다수 운영되고 있으며, ...	2019.10.16	2020.01.13	0	법제혁신
1	279	초과근무 줄이기!	일반행정	1. 문제점* 초과근무를 많이 할수록 일을 열심히 하고 있다고 생각하는 조직 문화*...	2019.10.16	2020.01.13	2	ㅁㄴㅁ
2	278	원스톱 의원요구자료 제출 시스템 구축	일반행정	​​□ 제안제목○ 원스톱 의원요구자료 제출 시스템 구축□현황 및 문제점○ 각부처 별...	2019.10.15	2020.01.12	0	연시랑
3	277	예산을 공평하게 분배	사회통합	제목 : 예산을 부처별 공평하게 분배후 차후평가문제점 : 1. 예산편성 삭감원칙으...	2019.10.15	2020.01.12	3	슈퍼맨119
4	276	공무원 인트라넷 통합메신저	일반행정	부처별,기관별로 자체 인트라넷 메신저가 활성화되며,신속한 업무 추진과 협조에 큰 도...	2019.10.15	2020.01.12	0	페이소스

In [36]:

data.tail()

Out[36]:

	sgId	title	category	content	start	end	vote	author
231	5	철도 및 고속도로변 유휴지에 태양전지판 설치	기타	에너지 부존자원 국가인 우리나라에서 국토를 좀 더 효율적으로 활용하여 미래의 무공해...	2018.08.03	2018.09.02	8	지고기
232	4	“일거리” 매칭 사이트를 개설하여 “일자리” 창출 연계	상생협력	○문제점-최근(2018.05)취업자 증가폭이10만명 밑으로 추락했다고 한다.글로벌 ...	2018.08.02	2018.09.01	4	옹성산
233	3	경력증명을 위한 경력등록(은행)제도 시행	일반행정	○문제점-모든 기관(국가,민간)에 사업,채용지원,이력증빙서류로“경력증명서”를 요구하...	2018.08.02	2018.09.01	4	옹성산
234	2	공무원 전입시험의 투명성 확보방안	반부패청렴	현직 공무원들의 타기관이나 상급기관에 전입시험시투명성을 높이는 방안을 마련했으면 합...	2018.08.01	2018.08.31	7	음지가양지된다
235	1	어린이집 차량내 어린이 질식사고 등에 대한 상세한 대책이 필요하다.	안전	최근 동두천 어린이집 차량내 어린이 질식사고가 발생하여, 이에 대한 여러가지 대책을...	2018.07.24	2018.08.23	14	헌비

In [37]:

data.to_csv("./suggestion.csv", index=False)

In [38]:

pd.read_csv("./suggestion.csv").head()

Out[38]:

	sgId	title	category	content	start	end	vote	author
0	280	행정기관 소속 위원회 위원 개인정보 및 안건 공개 기준에 관한 법적 근거 마련	일반행정	ㅁ 현황ㅇ 법령에 따라 설치되는 행정기관 소속 위원회들이 다수 운영되고 있으며, ...	2019.10.16	2020.01.13	0	법제혁신
1	279	초과근무 줄이기!	일반행정	1. 문제점* 초과근무를 많이 할수록 일을 열심히 하고 있다고 생각하는 조직 문화*...	2019.10.16	2020.01.13	2	ㅁㄴㅁ
2	278	원스톱 의원요구자료 제출 시스템 구축	일반행정	​​□ 제안제목○ 원스톱 의원요구자료 제출 시스템 구축□현황 및 문제점○ 각부처 별...	2019.10.15	2020.01.12	0	연시랑
3	277	예산을 공평하게 분배	사회통합	제목 : 예산을 부처별 공평하게 분배후 차후평가문제점 : 1. 예산편성 삭감원칙으...	2019.10.15	2020.01.12	3	슈퍼맨119
4	276	공무원 인트라넷 통합메신저	일반행정	부처별,기관별로 자체 인트라넷 메신저가 활성화되며,신속한 업무 추진과 협조에 큰 도...	2019.10.15	2020.01.12	0	페이소스

In [39]:

data.shape

Out[39]:

(236, 8)

In [ ]: