ChatGPT가 문장을 이어 쓰는 원리는 생각보다 단순한 연산의 반복입니다. 숫자 목록(벡터)이 의미를 담고, 내적이 관계를 재고, 소프트맥스가 주의를 나눕니다. 임베딩 공간을 직접 돌려 보고, 어텐션 행렬을 손으로 고쳐 보고, 브라우저 안에서 작은 신경망을 학습시키며 Transformer와 LLM을 바닥부터 이해하는 교과서입니다.
한 문장으로: 글자를 벡터로 바꾸고, 벡터끼리 서로를 참고하게 한 뒤, 다음 토큰의 확률을 계산한다. 이 흐름을 따라가는 것이 이 교과서의 목차입니다.
이 책의 그림은 대부분 살아 있습니다. 아래 두 개는 맛보기 — 점을 끌어 보세요. 본문에서는 훨씬 큰 버전이 기다립니다.
이 교과서를 끝내면 아래 숫자가 어디서 나오는지, 서로 어떻게 얽혀 있는지 설명할 수 있게 됩니다.
순서대로 읽어도 좋고, 관심 있는 장부터 골라 읽어도 됩니다. 각 장은 개념 → 그림 → 수식 → 시뮬레이터 → 퀴즈 순서로 구성됩니다.
배경과 목적에 따라 이렇게 읽어 보세요.