728x90 반응형 SMALL LLM7 [Speech Recognition] wav2vec2 모델을 이용하여 음성 인식 프로젝트 허깅페이스 로그인 from huggingface_hub import loginlogin(token="hf_") 라이브러리 및 모델 로드 import torchimport librosaimport numpy as npfrom scipy.io import wavfilefrom IPython.display import Audiofrom transformers import Wav2Vec2ForCTC, Wav2Vec2Tokenizertokenizer = Wav2Vec2Tokenizer.from_pretrained("facebook/wav2vec2-base-960h")model = Wav2Vec2ForCTC.from_pretrained("facebook/wav2vec2-base-960h")# 오디오 파일 로드fi.. 2024. 8. 6. [LLM] PaliGemma Inference PaliGemma PaliGemma는 PaLI-3에서 영감을 받아 SigLIP 비전 모델 및 Gemma 언어 모델과 같은 개방형 구성 요소를 기반으로 하는 다재다능하고 가벼운 비전 언어 모델 (vision-language model, VLM)이다. 이미지와 텍스트를 모두 입력으로 받고 텍스트를 출력으로 생성하여 여러 언어를 지원한다. 이미지 및 짧은 비디오 캡션, 시각적 질문 답변, 텍스트 읽기, 객체 감지 및 객체 분할과 같은 광범위한 비전 언어 작업에서 동급 최고의 미세 조정 성능을 위해 설계되었다. Transformers PaliGemma 모델의 3B 가중치는 224*224 입력 이미지와 128 토큰 입력/출력 텍스트 시퀀스로 사전 학습되었다. 이 모델은 미세 조정을 위해 float32, bfloa.. 2024. 7. 30. [LLM] Llama 3 모델 Llama 3 Meta는 8 및 70B 크기의 사전 학습 및 instruction 튜닝된 생성 텍스트 모델 모음인 Meta Llama 3 대규모 언어 모델 (LLM) 제품군을 개발하여 출시했다. instruction 튜닝된 Llama 3 모델은 대화 사용 사례에 최적화되어 있으며 일반적인 업계 벤치마크에서 사용 가능한 많은 오픈 소스 채팅 모델보다 성능이 뛰어나다. 입력 모델은 텍스트만 입력하고, 출력 모델은 텍스트와 코드만 생성한다. Llama 3는 최적화된 트랜스포머 아키텍처를 사용하는 자동 회귀 언어 모델이다. 튜닝된 버전은 감독 미세 조정 (supervised fine-tuning, SFT)과 인간 피드백을 통한 강화 학습 (reinforcement learning with human feedba.. 2024. 7. 29. [Prompt Engineering] Langchain Langchain LangChain은 LLM을 활용한 애플리케이션 개발을 단순화하기 위해 설계된 오픈 소스 프레임워크이다. 다양한 LLM과 상호 작용하고, 여러 모델을 연결하여 복잡한 AI 어플리케이션을 구축하는 데 도움을 주는 도구이다. 주로 LLM 자체를 개발하는 것보다는 만들어진 LLM을 사용하여 여러 텍스트 분석 기능, 챗봇 개발 등에 사용된다. 개발 환경 설치 pip install langchain langchain-google-genai langchain-community langchainhub langchain-chroma bs4 API 설정 API 키는 https://aistudio.google.com/app/apikey에서 발급받는다. 다만, 5월 2일부터 유료화 예정이다. import .. 2024. 4. 16. [LLM] Instruction Tuning In-context learning (Prompt learning) In-context learning 또는 prompt learning은 말 그대로 prompt 내의 맥락적인 의미 (in-context)를 모델이 알아차리고 (learning), 이런 형식에 맞도록 출력을 생성하는 것을 의미한다. 쉽게 말하면, 모델을 업데이트 하지 않고 질문을 잘 만들어서 우리가 원하는 출력을 만드는 접근법이다. Zero-shot learning예시 없이 task를 수행One-shot learning하나의 예시를 주고 task를 수행하는 경우Few-shot learning몇 개의 예시를 주고 task를 수행 Instruction Tuning Instruction Tuning은 In-Context learning과 파인.. 2023. 6. 15. 프롬프트 엔지니어링 (Prompt Engineering) 프롬프트 엔지니어링 (Prompt Engineering) 프롬프트 (prompt)는 ChatGPT에게 질문이나 지시를 주는 문장이나 단어이다. ChatGPT가 생성해 내는 응답의 품질은 주어진 프롬프트에 따라 크게 달라진다. 프롬프트 엔지니어링은 언어 모델이 특정 목표나 목적에 맞는 글을 생성하도록 안내하는 프롬프트 또는 프롬프트 세트를 설계하는 프로세스를 말한다. 이는 ChatGPT와 같은 인공지능 모델을 더 효과적으로 활용하기 위해 굉장히 중요하다. 모델은 입력된 프롬프트를 기반으로 텍스트를 생성하기 때문에, 명확하고 구체적인 프롬프트를 제공하는 것이 원하는 결과물을 얻는 핵심이다. 다시 말해, 프롬프트 엔지니어링은 AI, 그 중에서도 NLP 분야의 개념으로, AI가 생성하는 결과물의 품질을 높일 수.. 2023. 5. 4. ChatGPT ChatGPT 챗GPT는 OpenAI에서 개발한 대규모 언어 모델로, 대화형 AI 챗봇 분야에서 사용된다. 이 모델은 GPT-3.5 기반의 대형 언어 모델(large language model, LLM) 챗봇을 뜻한다. 챗GPT는 대화 형태로 상호작용을 하며 놀라울 정도로 인간과 대화하는 것과 같은 반응을 제공하는 능력을 가지고 있다. 지도학습과 강화학습을 모두 사용해 파인 튜닝되었다. ChatGPT는 Generative Pre-trained Transformer (GPT)와 Chat의 합성어이다. ChatGPT는 2022년 11월 프로토타입으로 시작되었으며, 다양한 지식 분야에서 상세한 응답과 정교한 답변으로 인해 집중 받았다. 다만, 정보의 정확도는 중요한 결점으로 지적되고 있다. https://ko.. 2023. 5. 4. 이전 1 다음 728x90 반응형 LIST
