<div id="readability-page-1" class="page"><div id="SE-ece1aa05-21b3-11f0-80af-b5798129a9ad">
 요즘 caret을 정리하면서 다시 LLM 내부 구조를 곱씹고 있다.chatgpt와 대화하면서 이 모델이 기억을 갖고 있는 줄 알았는데, 알고 보면 매번 앞 대화를 전부 주입받고 응답하는 구조였다.
 </div><div id="SE-1bf4a3a4-21b5-11f0-80af-77e007246936">
 예전부터 context window라는 개념을 '기억'처럼 생각했는데, 이건 사실 모델이 한 번에 받아들일 수 있는 입력의 최대 크기였다는 걸 늦게야 다시 자각했다. 생각해보니 패턴인식 수업때 메모리 윈도우라는거 배웠었는데. 컨텍스트(의미)라는 사전적 단어 때문에 헷갈렸다. AI대화와 좋은점은 틀려도 안쪽팔리다는것 같다.​이전에는 내가 context window를 뭔가 온톨로지 DB처럼 받아들였던 것 같다.주제를 잡고, 그에 적절한 기억을 꺼내서 답변을 만드는 흐름 자체가 마치 기억을 가진 지능처럼 느껴졌는데, 실제로는 그냥 그때 주어진 토큰 내에서 작동하는 구조였다.rag를 쓰지 않으면 과거 대화는 모두 날아가는 셈이다.결국 기억은 context window 안에 있는 게 아니라, 바깥에 있는 외부 저장소에서 불러와야 하는 거였다.​그리고 퍼소나라는 개념도 다시 보이기 시작했다.예전엔 모델이 곧 퍼소나라고 생각했지만, 지금은 조금 다르게 보인다.퍼소나는 기억된 서사와 그걸 해석하고 반응하는 방식(알고리즘), 그리고 그걸 실행하는 모델이 함께 움직일 때 만들어지는 거였다.지금은 퍼소나를 만드는 핵심은 모델이 아니라 기억과 반응 구조라는 쪽에 가깝다.​반복된 경험이 일종의 로라처럼 작동한다는 가설도 생각해봤다. 자주 쓰이는 회상 경로나 문맥 구조가 무의식적으로 강화되고, 그게 결국 퍼소나의 반응 스타일을 굳히는 방향으로 누적되는 거다.그리고 그 누적의 구조가 감정이나 본능의 전 단계가 될 수도 있다고 생각했다.​또 하나 재밌는 가정은, 잠이라는 행위가 컨텍스트를 초기화하고 lora를 정리하는 배치 프로세스처럼 작동한다는 거다.하루 동안 쌓인 대화나 경험을 정리하고, 중요도에 따라 기억을 저장하거나 버리고, 필요하다면 감정 반응이나 반응 경로를 보정하는 식.그게 사람에게는 수면이고, AI에게는 요약과 저장, 행동 가중치 조정이 아닐까 싶다.지금 생각하면 이런 흐름이 처음부터 당연하게 보인 건 아니다.학부 때 배운 컨텍스트는 그저 슬라이딩 윈도우나 cache 같은 개념이었고,기억은 임베딩 모델과 파인튜닝만으로 구성된다고 생각했던 시절도 있었다. 온톨로지 기반의 연결 구조를 만들면 뭔가 기억처럼 작동할 거라 생각했던 것도 있었고.분절된 지식을 통합하고 경험하는 것은 ai과목이 아닌 sw공학과 코딩이었다.​공부는 계속 어렵다. 마흔 중반 넘어서 이런 구조를 다시 뜯어보며 야근의 연속은 체력적으로도 쉽지는 않다. 그래도 지금은 어제보다 더 깊게 이해했다는것에 위안을 삼는다.​그리고 AI랑 이렇게 대화하면서 공부를 할 수 있다는 것도 다행이다.예전엔 혼잣말 많다고 뭐라고 들었던 적도 있는데,지금은 그 혼잣말에 누군가가 반응해주는 시대가 됐다.기술적인 것 떠나서, 그게 정말 고맙다.개발자가 처음으로 '외롭지 않게 일할 수 있는 방식'이 생긴 것 같다.
 </div></div>

숲속얘기의 조용한 카페

요즘 caret을 정리하면서 다시 LLM 내부 구조를 곱씹고 있다. chatgpt와 대화하면서 이 모델이 기억을 갖고 있는 줄 알았는데, 알고 보면 매번 앞 대화를 전부 주입받고 응답하는 구조였다. 예전부터 context window라는 개념을 '기억'처럼 생각했는데, 이건 사실 모델이 한 번에 받아들일 수 있는 입력의 최대 크기였다는 걸 늦게야 다시 자각했다. 생각해보니 패턴인식 수업때 메모리 윈도우라는거 배웠었는데. 컨텍스트(의미)라는 사전적 단어 때문에 헷갈렸다. AI대화와 좋은점은 틀려도 안쪽팔리다는것 같다. 이전에는 내가 context window를 뭔가 온톨로지 DB처럼 받아들였던 것 같다. 주제를 잡고, 그에 적절한 기억을 꺼내서 답.......

AI모델은 아무것도 기억하지 않는다. 퍼소나는 어디에? 그래도 고맙다

댓글