2편에서 던진 떡밥. 코잘 마스크는 지금 만드는 토큰이 미래의 토큰을 미리 훔쳐보지 못하게 가려버렸다. “시험에서 답안지를 미리 보면 안 되니까”라고 넘어갔지만, 이게 정확히 훈련 과정과 어떻게 맞물리는지는 미뤄뒀다. 이번 편에서 그 답을 완전히 회수한다. 사건의 발단: 처음의 GPT는 아무것도 모른다 3편에서 조립한 트랜스포머 블록들. 이...

지난 편에서 셀프 어텐션이라는 장치를 손에 넣었다. 문맥에 따라 벡터가 바뀌는 문제는 풀렸다. 그런데 실제 GPT 내부를 열어보면, 어텐션 하나만 덩그러니 있는 게 아니다. LayerNorm, GELU, 숏컷 연결 같은 낯선 이름의 부품들이 어텐션을 둘러싸고 있다. 이 부품들, 빼면 안 되나? 사건의 발단: 왜 부품이 이렇게 많은가 셀프 어...

Hermes Agent 후속 — 컨텍스트 벽을 넘자 나타난 새로운 벽 전편: Hermes Agent 무료(Zero-Cost) PoC 가이드 이 글은 전편의 4.3절에서 이어진다. 남겨뒀던 숙제 하나를 실제로 풀어본 기록이다. 왜 이 글을 따로 쓰는가 전편 4.3절 결론은 “qwen3:8b는 에이전틱 추론 능력 자체는 있지만, Herme...