728x90 반응형 SMALL 패딩3 Tokenizers Tokenizers 토큰화는 문장을 토큰이라는 조각으로 잘게 자르는 작업이며, 동시에 구두점과 같은 특정 문자를 버릴 수도 있다. Hugging Face에는 이러한 문장을 단어와 하위 단어로 나눌 수 있는 토큰화 도구가 포함되어 있다. 영어와 일부 다른 언어는 공통된 단어 부분으로 구성되어 있기 때문에 하위 단어를 토큰화한다. 예를 들어, "sleeping"과 같은 동명사 단어는 "sleep"과 "##ing"으로 토큰화된다. 먼저, 허깅 페이스 토큰화 도구를 생성한다. 허깅 페이스 허브에서 여러 가지 토큰화 도구를 사용할 수 있다. 이 토큰화 도구는 BERT를 기반으로 하며 대소문자를 구분하지 않는 영어 텍스트를 가정한다. from transformers import AutoTokenizer model .. 2024. 1. 10. [Android Studio] 레이아웃 (3) 레이아웃 위치 뷰의 도형은 직사각형이다. 뷰에는 위치가 있으며, 이는 한 쌍의 왼쪽 및 상단 좌표, 그리고 두 개의 치수가 너비와 높이를 나타내는 형식으로 표현된다. 위치와 치수의 단위는 픽셀이다. 뷰의 위치를 검색할 수 있다. getLeft() 및 getTop() 메서드를 호출하면 된다. 전자는 뷰를 나타내는 직사각형의 왼쪽, 즉 X 좌표를 반환합니다. 후자는 뷰를 나타내는 직사각형의 상단, 즉 Y 좌표를 반환한다. 이들 메서드는 둘 다 뷰의 상위 요소에 상대적인 뷰의 위치를 반환한다. 예를 들어, getLeft()가 20을 반환하는 경우 이는 뷰가 그 뷰의 직접적인 상위 요소의 왼쪽 가장자리에서 오른쪽으로 20픽셀 떨어진 곳에 있다는 뜻이다. 그 외에도 불필요한 계산을 피하기 위해 여러 가지 편의 메.. 2022. 8. 4. [ANN] CNN (Convolutional Neural Network) CNN (Convolutional Neural Network) CNN은 convolution과 pooling, dense (또는 fully connected)라는 세 가지의 layer을 통해 만들어진다. Convolution layer 0이 검은색, 1이 흰색으로 구성된 0과 1 흑백 5X5 pixel 사진이 있다. 다음으로 임의의 0과 1로 채워진 3X3 행렬이 있다. 이 행렬은 이미지의 하위 집합과 행렬곱을 할 수 있다. 이 곱은 3X3 행렬이 모든 pixel을 반복해서 이동함에 따라 새로운 행렬에 기록된다. ◦ DNN에 비해 파라미터 개수가 현저히 적다. DNN보다 overfitting 문제를 덜 발생시킨다. ◦ filter 함수를 사용해 이미지에서 부분적인 feature를 추출한다. 이때 filt.. 2021. 12. 10. 이전 1 다음 728x90 반응형 LIST
