목록으로2026년 4월 1일어텐션 (Attention)LLM#트랜스포머#NLP#딥러닝문장에서 중요한 단어에 '주의'를 두는 방식으로, 트랜스포머의 핵심 개념입니다.한 줄로 입력 토큰들이 서로 얼마나 관련 있는지 가중치로 나타내어, 문맥을 반영한 표현을 만드는 장치입니다. 조금만 더 셀프 어텐션에서는 같은 문장 안에서 단어 간 관계를 보고, 크로스 어텐션에서는 서로 다른 시퀀스(예: 질문·문서) 사이를 맞춥니다. GPT 같은 모델이 긴 문맥을 이어 읽는 데 필수입니다.
한 줄로 입력 토큰들이 서로 얼마나 관련 있는지 가중치로 나타내어, 문맥을 반영한 표현을 만드는 장치입니다. 조금만 더 셀프 어텐션에서는 같은 문장 안에서 단어 간 관계를 보고, 크로스 어텐션에서는 서로 다른 시퀀스(예: 질문·문서) 사이를 맞춥니다. GPT 같은 모델이 긴 문맥을 이어 읽는 데 필수입니다.