파이썬 HTML 태그 크롤링 프로젝트, 유튜브 동영상 태그 가져오기 (1)

프로젝트 요약

파이썬으로 작성된 스크립트를 사용하여, YouTube에 업로드된 동영상의 제목, 상세내용, 태그, 해시태그 가져오기

1. 파이썬 스크립트를 실행할때 태그를 얻고오고 싶은 동영상의 링크를 매개변수로 전달한다.
2. 파이썬 스크립트에서 웹 HTML 크롤링을 하여 YouTube 정보를 가져온다.
3. 콘솔에 동영상의 제목, 상세내용, 태그, 해시테크를 출력한다.

해당 글 요약

1. 파이썬 프로젝트를 진행하기 위해서 환경구축 정도?
2. 아무것도 모르는사람이 따라했을때 구축할 수 있을 수준의 메모정도?

개발 환경

HW

• MacBook Pro (Apple M1 Pro, macOS Ventura)

SW

• Visual Studio Code 1.89.1
• Homebrew 4.2.20
• python 3.12.3 [Clang 15.0.0 (clang-1500.1.0.2.5)]
• pip 24.0
• github

Library & Module

• requests
• beautifulsoup

---

Visual Studio Code 설치

따로 메모하거나 알려줄게 없을정도로 설치가 매우 쉽다. Visual Studio Code 공식 홈페이지에 들어가서 다운로드하고 설치하자.

Homebrew 설치

Apple(또는 Linux 시스템)에서 제공하지 않는 유용한 패키지 관리자를 설치하기 위해서 Homebrew를 설치해야 한다.

아래의 Homebrew 설치 과정이외에 더 자세한 내용은 공식 홈페이지에 자세하게 나와있으니 그쪽을 참고하여 설치하자.

/bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)"

Python3.x 설치

Python을 설치하고 버전을 확인해보자

// Python3 설치
brew install python3

// Python3 버전 확인
python3 -V

// 버전확인 출력결과 : Python 3.12.3

pip 설치

pip는 파이썬(python)으로 작성된 패키지 소프트웨어를 설치 · 관리하는 패키지 관리 시스템이다. 파이썬3 버전이 기본으로 지원 및 포함하고 있다. Python3를 정상적으로 설치했다면 아마도 기본으로 포함되어 있으니, 버전을 확인해보자.

// pip 버전 확인
pip3 -V

// 버전확인 출력결과 : pip 24.0 from /opt/homebrew/lib/python3.12/site-packages/pip (python 3.12)

requests Module 설치

requests 모듈은 간편한 인터페이스와 다양한 기능을 제공하며, HTTP 요청을 보내고 응답을 받을 수 있다. 이를 통해 웹 서버와 통신하는데 필요한 GET, POST, PUT, DELETE 요청 등을 쉽게 구현할 수 있다. 설치방법만 다룰 예정이며 사용방법은 나중에 따로 작성할 수도. 그러므로, 이 모듈의 자세한 내용은 requests 공식 홈페이지를 참고하자.

pip install requests

beautifulsoup Module 설치

beautifulSoup 모듈을 사용하면 웹 페이지의 HTML 구조를 분석하고, 특정 요소를 선택하여 원하는 데이터를 추출할 수 있다. 

이 모듈또한 설치방법만 다룰 예정이며 사용방법은 나중에 따로 작성할 수도. 그러므로, 이 모듈의 자세한 내용은 beautifulSoup 공식 홈페이지를 참고하자.

pip install beautifulsoup4

Python Module 정상적인 설치 확인

정상적으로 설치되었는지 확인하려면 버전을 확인하자.

pip list 명령어는 현재 환경에 설치된 python module들을 확인할 수 있다.

// 현재 환경에 설치되어진 python module 확인
pip list

// module list 출려 결과
Package             Version
------------------- ---------
appnope             0.1.3
asttokens           2.2.1
backcall            0.2.0
beautifulsoup4      4.12.3
certifi             2024.2.2
charset-normalizer  3.3.2
comm                0.1.3
contourpy           1.1.0
cycler              0.11.0
debugpy             1.6.7
decorator           5.1.1
executing           1.2.0
fonttools           4.40.0
idna                3.7
imageio             2.31.1
importlib-metadata  6.7.0
importlib-resources 5.12.0
ipykernel           6.23.2
ipython             8.14.0
jedi                0.18.2
jupyter_client      8.2.0
jupyter_core        5.3.1
kiwisolver          1.4.4
lazy_loader         0.2
matplotlib          3.7.1
matplotlib-inline   0.1.6
nest-asyncio        1.5.6
networkx            3.1
numpy               1.25.0
opencv-python       4.7.0.72
packaging           23.1
parso               0.8.3
pexpect             4.8.0
pickleshare         0.7.5
Pillow              9.5.0
pip                 23.1.2
platformdirs        3.6.0
prompt-toolkit      3.0.38
psutil              5.9.5
ptyprocess          0.7.0
pure-eval           0.2.2
Pygments            2.15.1
pyparsing           3.1.0
pyserial            3.5
python-dateutil     2.8.2
PyWavelets          1.4.1
pyzmq               25.1.0
requests            2.31.0
scikit-image        0.21.0
scipy               1.10.1
setuptools          62.3.2
six                 1.16.0
soupsieve           2.5
stack-data          0.6.2
tifffile            2023.4.12
tornado             6.3.2
traitlets           5.9.0
typing_extensions   4.6.3
urllib3             2.2.1
wcwidth             0.2.6
wheel               0.37.1
zipp                3.15.0