728x90 반응형 SMALL Zero-shot learning2 [LLM] Instruction Tuning In-context learning (Prompt learning) In-context learning 또는 prompt learning은 말 그대로 prompt 내의 맥락적인 의미 (in-context)를 모델이 알아차리고 (learning), 이런 형식에 맞도록 출력을 생성하는 것을 의미한다. 쉽게 말하면, 모델을 업데이트 하지 않고 질문을 잘 만들어서 우리가 원하는 출력을 만드는 접근법이다. Zero-shot learning예시 없이 task를 수행One-shot learning하나의 예시를 주고 task를 수행하는 경우Few-shot learning몇 개의 예시를 주고 task를 수행 Instruction Tuning Instruction Tuning은 In-Context learning과 파인.. 2023. 6. 15. [Deep Learning] 전이 학습 (Transfer Learning) (4) 심층 전이 학습의 유형 도메인 적응 (Domain Adaptation) 도메인 적응은 소스 도메인과 대상 도메인이 서로 다른 기능 공간과 분포를 갖는 전이 학습 시나리오이다. 도메인 적응은 목표 학습자의 성능을 향상시키기 위해 정보를 전달하기 위해 하나 이상의 소스 도메인을 조정하는 프로세스이다. 이 프로세스는 소스의 배포를 대상의 배포에 더 가깝게 만들기 위해 소스 도메인을 변경하려고 시도한다. 도메인 혼란 (Domain Confusion) 신경망에서 서로 다른 계층은 기능의 서로 다른 복잡성을 식별한다. 완벽한 시나리오에서 우리는 이 기능 도메인을 불변으로 만들고 도메인 간 전송성을 향상시키는 알고리즘을 개발할 것이다. 소스 도메인과 대상 도메인 간의 기능 표현은 이러한 컨텍스트에서 가능한 한 유사해.. 2022. 6. 21. 이전 1 다음 728x90 반응형 LIST
