1편 마지막에 슬쩍 스치듯 지나간 문제가 하나 있었다. 문장마다 토큰 개수가 다 다른데, 이걸 어떻게 컴퓨터가 한꺼번에 처리할 수 있는 고정된 크기의 숫자 뭉치로 만들까. 지금까지는 이 질문을 미뤄뒀다. 이번 편에서 정면으로 마주한다. 사건의 발단: 컴퓨터는 들쭉날쭉한 걸 싫어한다 훈련 데이터를 아무 문장 세 개만 가져와보자. "나는 밥을...

4편에서 GPT를 처음부터 훈련시키는 과정을 봤다. 무작위 상태에서 시작해서, 손실을 줄여가며 서서히 똑똑해지는 과정. 그런데 이 훈련, 실제로는 대규모 데이터로 며칠에서 몇 주씩 걸린다. 매번 이걸 처음부터 다시 해야 한다면 아무도 LLM을 실제로 못 썼을 거다. 다행히 그럴 필요가 없다. 사건의 발단: 가중치란 결국 숫자 뭉치다 3편에서...

4편에서 확인했다. LLM은 크로스 엔트로피 손실을 채점관 삼아, “정답 토큰에 높은 확률을 주도록” 훈련된다. 그렇다면 같은 질문을 두 번 던지면 항상 같은 답이 나와야 하지 않을까. 그런데 실제로는 그렇지 않다. 어떤 때는 딱딱하게, 어떤 때는 의외의 답을 내놓는다. 확률 기계가 왜 매번 다른 선택을 하는 걸까. 사건의 발단: 모델은 답 ...