[Cloud Computing] 구글 클라우드 플랫폼 (Google Cloud Platform) (1)

구글 클라우드 플랫폼 (Google Cloud Platform)

 

https://ko.wikipedia.org/wiki/%EA%B5%AC%EA%B8%80_%ED%81%B4%EB%9D%BC%EC%9A%B0%EB%93%9C_%ED%94%8C%EB%9E%AB%ED%8F%BC

 

구글 클라우드 플랫폼 (Google Cloud Platform, GCP)은 구글 검색과 유튜브와 같은 최종 사용자 제품을 위해 내부적으로 구글이 사용하는, 동일한 지원 인프라스트럭처 위에서 호스팅을 제공하는 구글의 클라우드 컴퓨팅 서비스이다. 클라우드 플랫폼 제공자들은 단순 웹사이트에서부터 복잡한 애플리케이션에 이르는 일련의 프로그램들을 빌드하기 위한 개발자 제품들을 제공한다.

 

# Java 설치 및 JAVA_HOME 설정
sudo yum install -y java

# 한글인 경우 
alternatives --display java | grep '현재 /'| sed "s/현재 //" | sed 's|/bin/java로 링크되어 있습니다||'
export JAVA_HOME=$(alternatives --display java | grep '현재 /'| sed "s/현재 //" | sed 's|/bin/java로 링크되어 있습니다||')

# 영문인 경우
alternatives --display java | grep current | sed 's/link currently points to //' | sed 's|/bin/java||' | sed 's/^ //g'
export JAVA_HOME=$(alternatives --display java | grep current | sed 's/link currently points to //' | sed 's|/bin/java||' | sed 's/^ //g')

echo "export JAVA_HOME=$JAVA_HOME"
source ~/.bash_profile
java -version

# 외부 링크 설치
sudo yum install -y wget git

 

Install

 

cd ~
mkdir apps
cd apps
wget https://artifacts.elastic.co/downloads/logstash/logstash-6.4.2.tar.gz
tar xvf logstash-6.4.2.tar.gz
cd logstash-6.4.2

 

사용자의 input을 입력으로 받아서 화면에 출력

 

cd ~/apps/logstash-6.4.2
bin/logstash -e 'input { stdin { } } output { stdout {} }'
hi google

# ctrl + c 메시지 입력 나가기

# 출력
{
		"@timestamp" => 2022-09-24T05:28:17.906Z,
        "host" => "demo",
        "message" => "hi google",
        "@version" => "1"
}

 

message parsing using grok filter (apache web server log를 대상)

 

cd ~/apps/logstash-6.4.2

# config 파일 생성
vi logstash-filter.conf

input { stdin { } }
filter {
  grok {
    match => { "message" => "%{COMBINEDAPACHELOG}" }
  }
  date {
    match => [ "timestamp" , "dd/MMM/yyyy:HH:mm:ss Z" ]
  }
}
output {
  stdout { codec => rubydebug }
}

 

vi 편집기 명령어

 

vi 명령어	동작
w [파일명]	입력한 파일명으로 파일 저장. (저장만 함 꺼지지는 않음)
		q	vi 종료 (저장되지 않음)
q!	vi 강제 종료 ( ! 가 붙으면 강제로 수행)
wq	저장 후 종료

 

bin/logstash -f logstash-filter.conf

127.0.0.1 - - [11/Dec/2013:00:01:45 -0800] "GET /xampp/status.php HTTP/1.1" 200 3891 "http://cadenza/xampp/navi.php" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10.9; rv:25.0) Gecko/20100101 Firefox/25.0"

# 출력
{
      "@version" => "1",
     "timestamp" => "11/Dec/2013:00:01:45 -0800",
          "verb" => "GET",
       "message" => "127.0.0.1 - - [11/Dec/2013:00:01:45 -0800] \"GET /xampp/status.php HTTP/1.1\" 200 3891 \"http://cadenza/xampp/navi.php\" \"Mozilla/5.0 (Macintosh; Intel Mac OS X 10.9; rv:25.0) Gecko/20100101 Firefox/25.0\"",
         "ident" => "-",
          "host" => "kafka-test",
      "response" => "200",
      "clientip" => "127.0.0.1",
          "auth" => "-",
    "@timestamp" => 2013-12-11T08:01:45.000Z,
         "bytes" => "3891",
   "httpversion" => "1.1",
         "agent" => "\"Mozilla/5.0 (Macintosh; Intel Mac OS X 10.9; rv:25.0) Gecko/20100101 Firefox/25.0\"",
       "request" => "/xampp/status.php",
      "referrer" => "\"http://cadenza/xampp/navi.php\""
}