반응형 코딩/자동화11 파이썬으로 법원경매 정보 수집하기/HTTP Requests, API, 웹 스크레이핑 심화-1 목차 1. 주제 소개 2. cURL 커맨드 획득하기 3. 파이썬 코드로 변환해 실행해 보기 1. 주제 소개 기존에 웹스크레이핑 관련 포스팅을 했었는데, 정부에서 운영하는 홈페이지들은 아래의 방법이 통하지 않는 경우가 많다. 파이썬을 이용한 웹스크레이핑(웹크롤링) 예제/requests와 beautifulsoup로 웹페이지 정보 추출하기 1. 시작하기 전에 앞서 requests와 beautifulsoup의 기본적인 사용법을 소개했다. 여기에서는 이를 활용한 실제 웹스크레이핑 예제를 다룬다. 참고로 앞선 글과 여기에서 소개하는 방법은 URL 주소를 통 codealone.tistory.com 왜냐하면 위 글의 예제(URL에 쿼리를 포함)와 같이 URL 주소를 이용해서 원하는 HTTP 요청을 바로 보낼 수가 없기.. 2022. 7. 19. Go 언어(golang)로 파이썬보다 속도가 n배 빠른 웹스크레이퍼(크롤러) 만들기 목차 1. 주제 소개 2. 웹스크레이퍼 파이썬 버전 소개 3. golang으로 웹스크레이퍼 빠르게 만들기 1. 주제 소개 꽤 시간이 지난 일이지만 필자는 이 블로그에 파이썬을 이용한 웹스크레이핑 방법을 소개했었다. 파이썬으로 웹 페이지에서 정보 추출하기(웹스크레이핑, 웹크롤링)/Request와 Beautifulsoup 이용하기 파이썬으로 웹 페이지에서 정보 추출하기(웹스크레이핑, 웹크롤링)/Request와 Beautifulsoup 이용하기 서론 파이썬 입문 콘텐츠에서 가장 흔히 보이는 것이 바로 웹페이지에 게시된 정보들을 추출하여 활용하는 웹스크레이핑 방법인 것 같다. 이미 이에 대해 잘 설명하고 있는 수많은 자료들이 있 codealone.tistory.com 파이썬을 이용한 웹스크레이핑(웹크롤링) 예제.. 2022. 3. 7. 엑셀 매크로(VBA script)를 파이썬 스크립트로 바꾸는 방법/win32com 목차 1. 주제에 대한 소개 2. 엑셀 매크로 만들기 3. 엑셀 매크로를 파이썬 코드로 변환하기 1. 주제에 대한 소개 파이썬을 이용해 엑셀 관련 작업을 할 수 있는 방법은 다양하다. xlwings, openpyxl 등 엑셀을 컨트롤할 수 있는 많은 라이브러리가 있다. 그러나 그 사용법을 익히고 명령어를 외우거나 찾아 쓰는 데에 적잖은 노력이 들어간다. 따라서 그러한 노력을 들이지 않고도 파이썬으로 엑셀을 컨트롤할 수 있는 방법이 알고 싶어 진다. 필자는 앞서 아래아한글 매크로를 파이썬에서 실행하는 방법을 소개하였다. 한글매크로를 파이썬에서 실행하는 방법(win32com) win32com 패키지를 이용하면 한글매크로를 먼저 만든 뒤에 코드를 조금 변환하여 파이썬에서 매크로를 그대로 실행할 수가 있었다. .. 2021. 12. 10. 웹 크롤링, 웹 자동화 기초/HTML 문서의 구조와 태그(h, p, a, div, ...) 목차 1. HTML 문서의 기본 구조 2. HTML 태그와 속성에 대한 기초적인 설명 필자는 아직 웹 개발에 대해서는 관심도가 크지 않고 본격적으로 배워볼 생각도 아직은 없다. 그러나 파이썬의 requests, beautifulsoup, selenium 등의 라이브러리를 이용하다 보면 HTML 문서를 접할 일이 많다. 이 블로그에도 웹 스크레이핑에 관한 내용을 소개한 적이 있는데, 웹사이트에서 게시글의 제목들을 추출하려면 'h' 태그를 찾아 추출하면 된다고 언급하였다. 파이썬을 이용한 웹스크레이핑(웹크롤링) 예제/requests와 beautifulsoup로 웹페이지 정보 추출하기 웹 개발을 직접 하지 않더라도 웹문서를 다루는 작업을 하려면 HTML의 기초적인 구조에 대해서는 알 필요가 있어 조금 공부를 .. 2021. 12. 6. 파이썬에서 ID, 비밀번호 입력이나 파일, 폴더 선택 창을 띄우는 방법/tkinter, pyautogui 목차 1. ID나 비밀번호 입력 창 띄우기 2. 파일이나 폴더 선택 창 띄우기 파이썬을 배워가면서 이런저런 툴들을 만들다보면, 프로그램 실행 중에 입력 창을 띄우고 싶은 경우가 많이 생긴다. 예를 들면, 셀레니움을 이용해 어느 웹페이지에 로그인해서 필요한 동작을 하는 웹자동화 프로그램을 만들었다면, ID와 비밀번호를 입력해야 하는데, ID는 몰라도 비밀번호는 스크립트에 저장해두기보다 직접 입력하고 싶을 것이다. 또한 컴퓨터에 저장된 파일을 불러와야 하는 경우, 파일 선택 창이나 폴더 선택 창을 불러와야 할 때가 있다. 그런 경우에 tkinter 라이브러리나 pyautogui 라이브러리를 활용하여 간단하게 텍스트 입력창이나 파일 선택 창을 불러오는 방법을 소개한다. 1. ID나 비밀번호 입력 창 띄우기 I.. 2021. 12. 3. 파이썬을 이용한 웹스크레이핑(웹크롤링) 예제/requests와 beautifulsoup로 웹페이지 정보 추출하기 1. 시작하기 전에 앞서 requests와 beautifulsoup의 기본적인 사용법을 소개했다. 여기에서는 이를 활용한 실제 웹스크레이핑 예제를 다룬다. 참고로 앞선 글과 여기에서 소개하는 방법은 URL 주소를 통해 내가 원하는 웹페이지에 곧바로 접근이 가능할 때에만 사용할 수 있다. 무슨 말인지 예시를 한번 보자. 아래 URL은 코딩을 공부해본 사람이라면 누구나 한번쯤 들어가봤을 stackoverflow에서 태그가 python이고, 빈도(frequent) 기준으로 정렬한 질문 목록을 보여주는 페이지이다. https://stackoverflow.com/questions/tagged/python?tab=frequent&page=1&pagesize=50 URL의 구조를 자세히 보면, "/tagged/"와 .. 2021. 11. 30. 이전 1 2 다음 반응형
