[Web Crawler] Requests 모듈

Requests

 

 

requests는 Python으로 HTTP 통신이 필요한 프로그램을 작성할 때 가장 많이 사용되는 라이브러리이다. 특히, 원격에 있는 API를 호출할 때 유용하게 사용된다.

 

#  HTTP 요청을 보내는 모듈 (웹사이트 접속)
import requests

URL='http://httpbin.org/get'

response=requests.get(URL)

print(response.status_code)
print(response.text)

200
{
  "args": {}, 
  "headers": {
    "Accept": "*/*", 
    "Accept-Encoding": "gzip, deflate", 
    "Host": "httpbin.org", 
    "User-Agent": "python-requests/2.23.0", 
    "X-Amzn-Trace-Id": "Root=1-63a90ef9-58484b3b6975c47d5ad9405f"
  }, 
  "origin": "34.73.61.242", 
  "url": "http://httpbin.org/get"
}

requests.get("http://httpbin.org/get")
requests.post("http://httpbin.org/post")
requests.put("http://httpbin.org/put")
requests.delete("http://httpbin.org/delete")

 

Params

 

import requests

URL='http://httpbin.org/get'

params={'data1':'data1','data2':'data2'}
response=requests.get(URL,params=params)

print(response.status_code)
print(response.text)

200
{
  "args": {
    "data1": "data1", 
    "data2": "data2"
  }, 
  "headers": {
    "Accept": "*/*", 
    "Accept-Encoding": "gzip, deflate", 
    "Host": "httpbin.org", 
    "User-Agent": "python-requests/2.23.0", 
    "X-Amzn-Trace-Id": "Root=1-63a90fba-12ca0ea039c231b30f07236d"
  }, 
  "origin": "34.73.61.242", 
  "url": "http://httpbin.org/get?data1=data1&data2=data2"
}

 

Header

 

import requests

URL='http://httpbin.org/get'

headers={'Content-Type':'application/json;charset=utf-8'}
response=requests.get(URL,headers=headers)

print(response.status_code)
print(response.text)

200
{
  "args": {}, 
  "headers": {
    "Accept": "*/*", 
    "Accept-Encoding": "gzip, deflate", 
    "Content-Type": "application/json;charset=utf-8", 
    "Host": "httpbin.org", 
    "User-Agent": "python-requests/2.23.0", 
    "X-Amzn-Trace-Id": "Root=1-63a90ff1-0a5b9d2a4266d52e3d16d88f"
  }, 
  "origin": "34.73.61.242", 
  "url": "http://httpbin.org/get"
}

 

Body

 

import requests

URL='http://httpbin.org/get'

data={'data1':'data1','data2':'data2'}
response=requests.get(URL,data=data)

print(response.status_code)
print(response.text)

200
{
  "args": {}, 
  "headers": {
    "Accept": "*/*", 
    "Accept-Encoding": "gzip, deflate", 
    "Content-Length": "23", 
    "Content-Type": "application/x-www-form-urlencoded", 
    "Host": "httpbin.org", 
    "User-Agent": "python-requests/2.23.0", 
    "X-Amzn-Trace-Id": "Root=1-63a91019-167f8c24593ae7872c1a0cc2"
  }, 
  "origin": "34.73.61.242", 
  "url": "http://httpbin.org/get"
}