자연어 처리 (NLP)

자연어 처리 (NLP)

 

자연어 처리 (⾃然語處理) 또는 자연 언어 처리 (⾃然⾔語處理)는 인간의 언어 현상을 컴퓨터와 같은 기계를 이용해서 모사할 수 있도록 연구하고 이를 구현하는 인공지능의 주요 분야 중 하나다. 정보 검색, QA 시스템, 문서 자동 분류, 신문 기사 클러스터링, 대화형 Agent 등 다양한 응용이 이루어지고 있다.

 

전통적인 프로그래밍 언어	자연어 처리
기계 (혹은 컴퓨터)를 실행하기 위해서 기계가 이해할 수 있는 프로그래밍 언어로 명령을 내리고 그 결과를 사용자에게 전달	인간의 언어 (자연 언어)로 명령을 내리면 기계가 자연어 처리 (NLP)를통해 이해하여 처리하고그 결과를 사용자에게 전달

 

비정형 데이터

 

인터넷과 모바일의 발달로 온라인 매체에 대한 데이터가 급격하게 증가 전 세계에서 생성되는 데이터 70 ~ 80%가 비정형 데이터 (뉴스, SNS, 블로그, 기타 문서 등) 의사 결정을 내림에 있어 비정형 데이터 분석은 필수적임

 

온라인 데이터

 

포브스 (Forbes)지에 따르면 "97%의 기업이 온라인 평판 관리 (ORM,OnlineReputation Management)가 매우 중요" 온라인 평판은 비정형 데이터 (뉴스, SNS, 블로그 등)를 분석하여 평가 가능 분석 대상과 관련된 비정형 데이터를 수집하고 자연어 처리를 통해서 문서 내 인사이트 도출 가능 (ex. 제품에 대한 시장의 반응 (긍정, 부정, 중립)

 

소통 패러다임의 변화

 

인간과 기계의 소통 패러다임 변화. 대화형 인터페이스로 변화 인터페이스가 점차 인간처럼 자연스러운 방법으로 개선되어 감 예) 인공지능 스피커, 인공지능 챗봇 등

 

언어의 모호성 : 동음이의어

 

	동형이의어	동음이형어
의미	철자와 발음이 모두 같은 동음이의어	철자는 다르나 발음이 같은 동음이의어
예	Turn right (부사 : 오른쪽) That's right (형용사 : 옳은)	Sea (명사 : 바다), See (동사 : 보다)
비고	품사 및 의미 파악 어려움	음성 인식 어려움

 

언어의 모호성 : 다의어

 

하나의 단어가 여러 개의 의미를 가질수 있다. 예를 들어, Bolt (수나사, 전압)

 

응용 분야

 

검색 엔진	과거 검색 엔진은 연산자 (and, or 등)를 통한 검색이 가능했다. 최근 검색 엔진은 검색 창에 자연어 질의를 입력하면 적합한 답변을 제공한다.
스팸 메일 분류	온라인 메일 서비스를 사용하면서 따로 스팸 메일 설정을 하지 않음에도 스팸 가능성이 있는 메일은 자동으로 분류
인공지능 비서	시리 (Siri), 알렉사 (Alexa)등 음성 기반의 인공지능 비서. 음성으로 요청을 하면 문자로 변환하여 자연어 처리 엔진이 질의를 이해하여 처리하고 답변
인공지능 챗봇	음성 기반 인공지능 비서와 다르게 질의를 텍스트로 입력한다. 텍스트를 입력하면 자연어 처리를 통해서 질의를 검색하여 텍스트 형태로 응답한다.
SNS 인지도 분석	온라인 미디어 (뉴스, 블로그, SNS, 리뷰 등) 데이터를 수집하여 버즈량 및 감성 분석을 하고자 하는 대상의 시장 반응 (긍정, 부정, 중립) 여부를 판단하여 전략 수립