728x90 반응형 SMALL 전체 글1632 [Deep Learning] 트랜스포머 (Transformer) 트랜스포머 (Transformer) 트랜스포머 (Transformer)는 2017년 구글이 발표한 논문인 "Attention is all you need"에서 나온 모델로 기존의 seq2seq의 구조인 인코더-디코더를 따르면서도, 논문의 이름처럼 어텐션 (Attention)만으로 구현한 모델이다. 이 모델은 RNN을 사용하지 않고, 인코더-디코더 구조를 설계하였음에도 번역 성능에서도 RNN보다 우수한 성능을 보여주었다. 트랜스포머의 가장 큰 특징은 Convolution, Recurrence를 사용하지 않는다. seq2seq 모델의 한계 기존의 seq2seq 모델은 인코더-디코더 구조로 구성되어져 있다. 여기서 인코더는 입력 시퀀스를 하나의 벡터 표현으로 압축하고, 디코더는 이 벡터 표현을 통해서 출력 시.. 2023. 12. 28. [Deep Learning] Attention Mechanism Attention Seq2Seq는 인코더 마지막 히든 스테이트 (hidden state)에 모든 인코더 정보를 우겨넣게 된다. 그리고 LSTM을 통해 Long-term dependency 문제를 해결했지만, 뒤 타임 스텝에서 앞쪽의 정보를 잘 저장하지 못하는 현상이 발생하기도 했다. 이 문제를 보완하기 위해 attention이 등장하게 된다. 동작 원리 어텐션이란, 디코더 (Decoder)가 각 타임 스텝 (time step)에서 결과를 생성할 때에 인코더 (Encoder)의 몇번째 타임 스텝을 더 집중 (Attention)해야하는 지를 스코어 형태로 나타내는 것이다. 각 디코더의 타임 스텝마다 인코더의 히든 스테이트 백터 (hidden state vector)와의 유사도를 계산함으로써, 인코더의 몇번.. 2023. 12. 28. [Deep Learning] Seq2Seq (Sequence to Sequence) Seq2Seq (Sequence to Sequence) RNN에서 many-to-many에 해당되는 모델을 'Seq2Seq Model'이라고 하며, 그 중 입력 문장을 읽어오는 부분을 인코더 (encoder), 출력 문장을 생성하는 부분을 디코더 (decoder)라고 한다. 디코더의 첫번째 입력값 (input)은 SoS (Start of Sentence)에 들어가며 결과값을 생성하기 시작하고, EoS (End of Sentece) 토큰이 디코더의 출력값 (output)으로 나오면 생성을 멈추게 된다. Seq2Seq의 문제 입력 시퀀스의 길이에 상관없이 단일 컨텍스트 벡터로 표현하여 정보 병목 (Information Bottleneck) 현상이 발생한다. 2023. 12. 27. [Neuroimaging] MRI 좌표 (coordinate) MRI coordinates MRI 볼륨 공간에 사용되는 좌표계는 밀리미터 단위이다. X축 왼쪽에서 오른쪽 Y축 뒤에서 앞 Z축 아래에서 위 MRI 볼륨의 왼쪽-뒤-아래 모서리에 있는 첫 번째 voxel은 (1,1,1)로 인덱싱된다. 이 voxel 중심의 해당 MRI 좌표 (밀리미터 단위)는 (voxelsize_x, voxelsize_y, voxelsize_z)이다. World coordinates 원본 MRI 파일에 사용된 좌표계는 대상에 대한 참조 MRI로 로드된 것이다. 이는 MRI 파일에 직접 저장된 4x4 매트릭스로 정의된다. NIfTI .nii 파일에서는 가능한 경우 행렬 sform을 사용 하고 그렇지 않으면 행렬 qform을 사용한다. FreeSurfer .mgh/.mgz 파일에서는 vox2.. 2023. 12. 26. [Neuroimaging] 좌표계 (Coordinate System) SCS (Subject Coordinate System) 초기 registration은 SCS (주체 좌표계) 를 정의하는 세 개의 기준점 (nasion , 왼쪽 귀 , 오른쪽 귀) 을 기반으로 한다. Brainstorm의 경우 CTF 머리 좌표계를 사용한다. 모든 표면, 센서 및 추가 포인트는 Brainstorm으로 가져올 때 이 시스템으로 변환된다. 기준 Nasion (NAS), 왼쪽 귓바퀴 (LPA, left pre-auricular point) 및 오른쪽 귓바퀴 (RPA) 원점 LPA 와 RPA를 연결하는 선의 중간 지점 X축 원점에서 NAS를 정확히 통과하는 방향 Y축 원점에서 NAS, LPA 및 RPA로 정의된 평면에서 LPA 방향이며 X축과 직교 Z축 원점에서 머리 위쪽 방향 MRI에서 SC.. 2023. 12. 25. [Chronobiology] 인간의 일주기 리듬을 측정하는 방법 인간의 일주기 리듬을 측정하는 방법 인간의 일주기 리듬에 대한 과학적 연구는 호기심 많은 수면 연구자가 기발한 질문을 던지고 직접 테스트를 진행하면서 시작되었다. Nathaniel Kleitman은 1938년에 어두운 지하 동굴에서 한 달을 보내면서 "수면 중 운동성 (motility)과 직장 온도 (rectal temperature)를 결정하고 기록하는 장치"를 개발했다. 마이크로 전자 공학의 발전으로 인해 최근에야 실용화된 활동 예상 측정 기술이다. 그는 지속적으로 어두운 환경 조건에서 수면이 24시간 패턴을 유지하지 않고 매일 늦게 바뀌는 것을 분명히 보여주었다. 또한, 그는 보통의 24시간 주기가 단순히 외부 세계에 대한 반응인지 아닌지를 시험하기 위해 "28시간 하루"를 살기 위해 노력했다. ".. 2023. 12. 20. 신경영상 (Neuroimaging) 신경영상 (Neuroimaging) 신경영상 (神經映象, Neuroimaging, Brain imaging)은 다양한 기법을 사용해서 직접 또는 간접적으로 뇌의 구조, 기능, 약리학 구조를 영상화하는 것을 모두 포한다. 의학, 신경과학, 심리학 등의 학분에서 배우는 교과목이다. 뇌영상을 판독하는 데에 특별한 수련을 받은 의사들을 신경 영상의학 전공의라고 한다. 구조 영상: 뇌의 구조를 다루며 두개 내의 종양 등의 질병을 진단하는 데에 이용된다. 기능 영상: 신진대사 및 뇌의 기능과 관련된 질병을 진단하는데 사용되며, 신경학, 인지심리학 등의 분야에서는 뇌-컴퓨터 인터페이스를 만들기 위한 연구 목적으로 사용되기도 한다. https://medicine.utah.edu/psychiatry/research/la.. 2023. 12. 18. conda env : Note that strict channel priority may have removed packages required for satisfiability. Note that strict channel priority may have removed packages required for satisfiability. conda 가상 환경 구성시 에러가 발생하면 아래의 명령으로 해결할 수 있다. conda config --set channel_priority flexible # 또는 conda config --set channel_priority false 2023. 12. 12. 아핀 변환 (Affine transformation) 아핀 변환 (Affine transformation) 유클리드 기하학에서 아핀 변환 또는 affinity (연결된에서 유래)은 선과 평행성을 유지 하지만 반드시 유클리드 거리와 각도를 유지하는 기하학적 변환은 아니다. 보다 일반적으로, 아핀 변환은 아핀 공간 (유클리드 공간은 특정 아핀 공간임) 의 동형 (automorphism)이다. 즉, 모든 아핀 부분 공간의 차원을 모두 보존하면서 아핀 공간을 자신에게 매핑하는 함수이다 (즉, 점, 선과 선, 평면과 평면 및 평행선 세그먼트의 길이 비율). 결과적으로, 평행 아핀 부분 공간 집합은 아핀 변환 후에도 평행을 유지한다. 아핀 변환은 직선 위에 있는 점 사이의 거리 비율을 보존하지만 선 사이의 각도나 점 사이의 거리를 반드시 보존하지는 않는다. X가 아핀.. 2023. 12. 11. [Data Science] 불균형한 데이터 균형 조정 불균형한 데이터 균형 조정 필요한 양보다 많으면 본질적으로 좋은 것은 없다. 더 많은 양의 CO2가 지구를 따뜻하게 할 것이고, 더 많은 양의 비가 도시에 범람할 것이고, 더 많은 생각은 당신의 실행을 망칠 것이다. 이러한 것은 데이터에도 동일하게 적용된다. 한 클래스의 인스턴스 수가 많을수록 가짜 예측이 발생한다. 간단한 예를 통해 이를 이해할 수 있다. 빨간 공과 파란 공이 가득한 가방이 있다고 상상하고 어떤 색 공을 그릴지 묻는다. 환자의 암 발병 여부를 예측하는 기계 학습 모델이라고 상상했을 때, 분명히 논리적인 선택은 대부분의 환자가 암이 아니기 때문에 환자에게 암이 없다고 결론을 내리는 것이다. 실제로 모델로서 모든 사람에게 암이 없다고 표시하는 것만으로도 높은 정확도를 얻을 수 있다. 데이터.. 2023. 12. 8. 이전 1 ··· 14 15 16 17 18 19 20 ··· 164 다음 728x90 반응형 LIST
