728x90 반응형 SMALL Linguistic Intelligence/NLP7 [NLP] 허깅페이스 (Hugging Face) 허깅페이스 (Hugging Face) 기계 학습을 사용하여 애플리케이션을 구축하기 위한 도구를 개발하는 미국 회사이다. 자연어 처리 애플리케이션용으로 구축된 변환기 라이브러리와 사용자가 기계 학습 모델 및 데이터 세트를 공유할 수 있는 플랫폼으로 가장 유명하다. https://huggingface.co/ Hugging Face – The AI community building the future. The AI community building the future. Build, train and deploy state of the art models powered by the reference open source in machine learning. huggingface.co 2023. 5. 9. 자연어 처리 (NLP) 자연어 처리 (NLP) 자연어 처리 (⾃然語處理) 또는 자연 언어 처리 (⾃然⾔語處理)는 인간의 언어 현상을 컴퓨터와 같은 기계를 이용해서 모사할 수 있도록 연구하고 이를 구현하는 인공지능의 주요 분야 중 하나다. 정보 검색, QA 시스템, 문서 자동 분류, 신문 기사 클러스터링, 대화형 Agent 등 다양한 응용이 이루어지고 있다. 전통적인 프로그래밍 언어 자연어 처리 기계 (혹은 컴퓨터)를 실행하기 위해서 기계가 이해할 수 있는 프로그래밍 언어로 명령을 내리고 그 결과를 사용자에게 전달 인간의 언어 (자연 언어)로 명령을 내리면 기계가 자연어 처리 (NLP)를통해 이해하여 처리하고그 결과를 사용자에게 전달 비정형 데이터 인터넷과 모바일의 발달로 온라인 매체에 대한 데이터가 급격하게 증가 전 세계에서 .. 2023. 1. 5. [NLP] No JVM shared library file (jvm.dll) found. Try setting up the JAVA_HOME environment variable properly. 오라클 JDK 다운로드 사이트에서 본인 os에 맞는 jdk를 설치한다. 그 다음 _jvmfinder.py 파일을 찾는다. _get_from_java_home의 def 부분의 java_home 변수를 수정한다. java_home = "jdk 설치 경로" 2022. 4. 22. [NLP] 정제 (Cleaning) / 정규화 (Normalization) corpus에서 용도에 맞게 token을 분류하는 작업을 tokenization라고 하며, tokenization 작업 전, 후에는 텍스트 데이터를 용도에 맞게 정제 (cleaning) 및 정규화(normalization)하는 일이 항상 함께 한다. 정제 (Cleaning) 갖고 있는 corpus로부터 noise 데이터를 제거한다. 정규화 (normalization) 표현 방법이 다른 단어들을 통합시켜서 같은 단어로 만들어준다. cleaning 작업은 tokenization 작업에 방해가 되는 부분들을 배제시키고 tokenization 작업을 수행하기 위해서 tokenization 작업보다 앞서 이루어지기도 하지만, tokenization 작업 이후에도 여전히 남아있는 noise들을 제거하기 위해 지속적.. 2021. 12. 14. [NLP] 토큰화 (Tokenization) 텍스트 전처리(Text preprocessing) 용도에 맞게 텍스트를 사전에 처리하는 작업 토큰화 (Tokenization) NLP에서 크롤링 등으로 얻어낸 코퍼스 데이터가 필요에 맞게 전처리되지 않은 상태라면, 해당 데이터를 사용하고자하는 용도에 맞게 토큰화 (tokenization) & 정제 (cleaning) & 정규화 (normalization)하는 일을 하게 된다. 주어진 코퍼스(corpus)에서 토큰(token)이라 불리는 단위로 나누는 작업을 토큰화(tokenization)라고 부른다. 토큰의 단위가 상황에 따라 다르지만, 보통 의미있는 단위로 토큰을 정의한다. 단어 토큰화 (Word Tokenization) token의 기준을 단어 (word)로 하는 경우, 단어 토큰화 (word tok.. 2021. 12. 14. [NLP] 설명가능한 인공지능 (Explainable AI, XAI) 설명가능한 인공지능 (XAI) 언어 데이터를 대상으로 한 딥러닝 알고리즘의 예측결과에 대해 인간에게 설명할 수 있는 AI모델 딥러닝의 한계 : 'black box' algorithm, 예측결과가 그렇게 나왔는지 설명 불가능 ML은 기계가 인간 사용자에게 자신의 결정과 조치를 설명할 수 없다는 점에서 제한된다. 따라서 보다 지능적이고 자율적이며 공생적인 시스템을 요구하는 과제에 직면해 있다. 차세대 인공 지능 기계 파트너를 이해하고 적절하게 신뢰하고 효과적으로 관리하려면 설명 가능한 AI, 특히 설명 가능한 기계 학습이 필수적이다. ◦ 높은 수준의 학습 성능(예측 정확도)을 유지하면서 더 설명 가능한 모델 생성 ◦ 인간 사용자가 차세대 인공 지능 파트너를 이해하고 적절하게 신뢰하며 효과적으로 관리할 수 있.. 2021. 12. 14. NLP (Natural Language Processing)란? NLP (Natural Language Processing) 자연어(natural language)란 우리가 일상 생활에서 사용하는 언어를 말한다. 자연어 처리 (natural language processing)란 이러한 자연어의 의미를 분석하여 컴퓨터가 처리할 수 있도록 하는 일을 말한다. 인공지능과 전산언어학이 접목된 분야로서, 컴퓨터가 인간의 언어로 쓰여진 데이터를 이해하고 정보를 추출하여 처리하는 분야이다. NLP는 음성 인식, 내용 요약, 번역, 사용자의 감성 분석, 텍스트 분류 작업(스팸 메일 분류, 뉴스 기사 카테고리 분류), 질의 응답 시스템, 챗봇과 같은 곳에서 사용되는 분야이다. AI가 IT 분야에서 중요 키워드로 떠오르고 있다. NLP는 기계에게 인간의 언어를 이해시킨다는 점에서 인.. 2021. 12. 13. 이전 1 다음 728x90 반응형 LIST
