반응형 코딩/자동화11 파이썬으로 웹 페이지에서 정보 추출하기(웹스크레이핑, 웹크롤링)/Request와 Beautifulsoup 이용하기 서론 파이썬 입문 콘텐츠에서 가장 흔히 보이는 것이 바로 웹페이지에 게시된 정보들을 추출하여 활용하는 웹스크레이핑 방법인 것 같다. 이미 이에 대해 잘 설명하고 있는 수많은 자료들이 있으나, 필자 스스로 필요할 때 찾아볼 목적으로 이 포스팅을 한다. 본론 1. 필요한 라이브러리 웹스크레이핑을 하는 데 가장 기본적인 라이브러리는 requests와 beautifulsoup이다. requests는 이름 그대로 HTTP 요청을 간단하게 할 수 있는 라이브러리이다. HTTP 요청은 GET, POST, DELETE 등으로 다양한데, 웹스크레이핑을 할 때는 GET을 사용하여 웹페이지를 HTML 소스 형태로 불러온다. 그리고 beautifulsoup는 requests로 불러온 HTML 소스를 분석(parsing)하고,.. 2021. 11. 29. 파이썬을 이용해 한글 문서의 자간을 자동으로 조정하는 방법(win32com, 한글매크로) 소개 한글 카테고리에 올린 이전 포스팅에서 한글매크로를 소개하면서 자간 조정을 좀더 편하게 하는 매크로를 예제로 들었다. 필자는 개인적으로 매우 유용하게 사용하고 있는 방법이지만, 키보드를 누르는 횟수만 좀 줄어들었을 뿐 여전히 한줄씩 조정하는 작업이 성가시게 느껴질 것이다. 문서 작성 중에는 자간을 맞추지 않고 그냥 두었다가 전체 문서의 자간을 한번에 맞추고 싶은 분들을 위해 필자가 만들어 사용 중인 스크립트를 공유한다. 처음엔 서너 줄로 시작했다가 여러 경우의 수를 하나씩 추가하다보니 세련되게 보이지는 않으나, 실제로 유용하게 활용하고 있고, 100페이지가 넘는 문서도 클릭 한번이면 알아서 편집해주는 기특한 녀석이다. 자간 조정 스크립트 전체 스크립트는 아래와 같고, 간단한 설명은 뒤에서 덧붙이겠다... 2021. 11. 25. 한글매크로를 파이썬에서 실행하는 방법(win32com) 서론 앞서 올린 글에서 파이썬에서 아래아한글을 실행하는 방법을 소개했다. 파이썬에서 아래아한글을 실행하는 것까지는 배웠는데, 실제로 사용하자니 구체적인 명령어(메소드)를 몰라 난감할 것이다. 한글 API의 명령어들은 한글과컴퓨터에서 홈페이지에 공개한 자료에서 찾을 수가 있긴 한데, 초심자가 접근하기에는 조금 복잡하고, 공부할 시간에 그냥 수작업을 하는 게 낫겠다는 생각마저 들게 한다. 그런데 필자가 소개한 한글매크로를 사용하는 방법을 본 사람이라면, 스크립트 매크로의 코드를 편집해본 기억이 있을 것이다. 왠지 스크립트 매크로를 가져다가 파이썬에서 쓸 수도 있지 않을까 싶은데, 역시나 그렇게 할 수 있는 방법이 있다. 본론 구체적인 내용을 설명하기에 앞서, 이 게시글의 내용은 티스토리 블로그 "회사원코딩".. 2021. 11. 25. 파이썬으로 아래아한글을 사용하는 방법(win32com) 서론 아래아한글을 이용한 문서 작업의 자동화에 대해 알아보다 보면 가장 먼저 접하게 되는 것은 한글매크로(스크립트 매크로)이다. 한글매크로 소개 포스팅 하나의 한글 문서 안에서의 편집 자동화는 한글매크로만 활용하여도 충분히 가능하며, 충분히 편리하다. 그런데 다수의 한글 파일을 다루는 작업이나, 혹은 엑셀 파일이나 웹에서 긁어온 데이터 등 한글 외부의 데이터를 가져다가 문서를 작성해야 하는 경우 등 조금 더 복잡한 작업은 한글매크로로는 불가능하다. (적어도 필자가 아는 한은 그렇다. 잘못 알고 있는 것이라면 알려주기 바란다.) 그렇다면 파이썬을 활용해서 아래아한글을 직접 컨트롤 할 수 있는 방법이 있는지 궁금해지는데, 역시나 이것도 가능하다. 본론 1. pywin32와 win32com 파이썬을 활용하여 .. 2021. 11. 24. 파이썬으로 파일 자동 분류하는 방법(PC, 스마트폰 모두 가능) 이 글에서는 파이썬을 이용해 대량의 파일을 일정한 기준에 따라 폴더별로 분류하는 방법을 소개한다. 외장하드에 아무렇게나 백업해둔 사진 파일들, 안드로이드 스마트폰 사용자라면 수없이 쌓여 있을 통화 자동 녹음 파일들, 다운로드 폴더에 정신없이 쌓여 있는 다양한 유형의 파일 등을 몇초 안에 정리할 수 있다. 분류의 기준은 파일명의 일부나 파일의 확장자, 파일의 생성이나 수정 시점 등으로 다양하게 적용할 수 있다. 또한 이 블로그에 소개했던 파이드로이드 앱을 이용하면 PC에서뿐만 아니라 폰에서도 직접 실행할 수 있다. 우선은 확장자별로 분류하는 버전을 먼저 소개한 뒤에, 좀 더 다양한 기준으로 분류할 수 있도록 만들어 실제로 사용 중인 스크립트를 소개하겠다. 1. 확장자로 분류하는 간단한 스크립트 우선 필요한.. 2021. 11. 23. 이전 1 2 다음 반응형
