[Web Crawler] 웹과 크롬 개발자 도구

인터넷 (Internet)

 

 

인터넷 (Internet)은 인터넷 프로토콜 스위트 (TCP/IP)를 기반으로 하여 전 세계적으로 연결되어있는 컴퓨터 네트워크 통신망을 일컫는 말이다. 1969년 미국 국방부 산하의 고등연구계획국에서 아르파넷 (ARPANET)을 구축했다. 1983년 다양한 목적으로 사용하고자 하는 목적 때문에 군사용 네트워크 기능을 분리했으며, 역할이 다양해지며 프로토콜 (통신규약)의 재정비가 필요해 TCP/IP를 도입했다.

 

World Wide Web (WWW)

 

 

World Wide Web (WWW)은 인터넷에 연결된 컴퓨터를 통해 사람들이 정보를 공유할 수 있는 전 세계적인 정보 공간을 말한다. 간단히 웹이라 부르는 경우가 많다. 인터넷을 프로그램끼리 통신이나 메일 전송 정도로 제한적으로 사용했다. 팀버너스리 박사는 문서 속에 연결된 특정 항목이 또 다른 문서로 연결되는 정보 검색 시스템을 제시했다. WWW라는 세계적인 정보 공유 공간 및 하이퍼텍스트 (서로 연결된 문서), 웹 사이트 제작 언어인 HTML (Hyper Text Markup Language) 개념이 등장했다. WWW는 1991년 8월 6일 처음으로 서비스 시작했다. 1993년 그래픽 기반 웹 브라우저 모자이크가 등장했다.

 

웹의 기본 구조

 

 

HTTP (Hyper Text Transfer Protocol)는 W3 상에서 정보를 주고받을 수 있는 프로토콜이다 (웹 브라우져와 웹 서버 사이의 전송 규약).

 

동적 웹 구조 (Dynamic Web)

 

 

동적 웹은 클라이언트의 요청에 따라 다양한 화면을 제공해 준다. 웹 서버에서 단순히 HTML, CSS, JAVASCRIPT 파일만 제공해주는 게 아니라 웹 어플리케이션 서버와 직접 통신을 한다.

 

비동기 (Async) 통신

 

 

클라이언트와 서버 사이의 통신을 통해 JSON, XML, HTML 그리고 일반 텍스트 형식 등을 포함한 다양한 포맷을 주고 받을 수 있다. Ajax의 특징으로는 페이지 전체를 리프레쉬하지 않고서도 수행 되는 "비동기성"이다.

 

웹 페이지 구조

 

웹 페이지는 주로 HTML, CSS, Javascript로 이루어져 있다.

 

HTML	주로 문서의 구조를 담당
CSS	문서를 꾸며주는 역할 (폰트 크기, 요소의 위치 등)
Javascript	문서 내의 동작, 기능

 

크롬 개발자 도구

 

Elements	화면에 보이는 HTML 문서의 구조
Console	자바스크립트 결과 출력
Sources	웹 페이지에 사용된 소스 코드
Performance	웹 페이지 성능 체크
Network	웹 페이지를 표시하는데 다운로드된 파일 및 요청한 서비스
Memory	웹 페이지 메모리 사용률
Application	웹 페이지에서 사용하는 브라우져 스토리지 정보 (storage, web DB, cookies 등)