매달 조금씩 고치는데 왜 학원은 안 나아질까요

한 원장님의 책상 위에는 다이어리가 석 달째 빼곡했습니다. 1월엔 상담 멘트를 바꿨고, 2월엔 숙제 검사 방식을 손봤고, 3월엔 단톡방 공지 시간을 저녁으로 옮겼습니다. 매달 무언가를 조금씩 고쳤습니다. 성실한 분이었습니다. 그런데 재등록률은 석 달 내내 78퍼센트 언저리에서 꼼짝하지 않았습니다. 그분이 저에게 물었습니다. "분명히 매달 개선하고 있는데, 왜 숫자가 안 움직일까요." 저는 그날 마땅한 답을 못 드렸습니다. 답을 엉뚱한 데서 찾은 건 한참 뒤, 공학자들이 쓴 최적화 교과서를 들춰보면서였습니다.

제가 이 책을 펼친 건 학원 얘기를 들으려던 게 아니었습니다. 요즘 AI가 어떻게 스스로 더 나은 답을 찾아가는지, 그 밑바닥 원리가 궁금해서였습니다. 알파고나 딥러닝이 "학습한다"고들 하는데, 도대체 무엇을 어떻게 학습한다는 건지 손에 잡히지 않았거든요. 솔직히 첫 장을 넘기면서는 후회했습니다. 수식과 줄리아(Julia)라는 프로그래밍 언어 코드가 페이지마다 박혀 있어서, 저 같은 비전공자가 읽을 책이 아니라고 느꼈습니다. 그런데 제가 거기서 발견한 건 코드가 아니라, 제가 석 달 전에 못 답했던 그 질문이었습니다.

『Algorithms for Optimization』은 스탠퍼드의 마이클 코헨더퍼와 팀 휠러가 공학 설계 최적화 강의 5년치 노트를 묶은 책입니다. 최적화(어떤 설계가 가장 좋은가를 알고리즘으로 찾는 일)의 거의 모든 갈래를 한 권에 정리한 교과서지요. 그런데 이 책이 같은 주제의 자기계발서나 경영서와 결정적으로 다른 지점이 있습니다. 시중의 개선 책들이 "꾸준히 조금씩 나아지라"는 태도, 그러니까 마음가짐을 말한다면, 이 책은 "조금씩 나아지는 그 행동이 언제 통하고 언제 당신을 속이는가"라는 구조를 말합니다. 마음을 다그치는 책이 아니라, 개선이라는 행위 자체를 해부하는 책입니다.

저자들이 1장에서 그린 그림 한 장이 제 머리를 때렸습니다. 최적화란 결국 하나의 반복 루프입니다. 설계한다, 평가한다, 충분히 좋은가 묻는다, 아니면 고친다, 다시 평가한다. 못 좋아질 때까지, 혹은 시간과 비용이 다할 때까지 이 고리를 돈다는 겁니다. 저는 이 그림을 보면서 그 원장님의 다이어리를 떠올렸습니다. 멘트 바꾸고, 결과 보고, 또 바꾸고. 그분이 하던 게 정확히 이 루프였습니다. 그렇다면 같은 루프를 도는데 왜 알고리즘은 답을 찾고 그 원장님은 제자리였을까요.

답의 실마리는 이 책에서 제가 가장 오래 붙들고 있던 한 문장에 있었습니다. 저자들은 어떤 점에서 더 못 좋아지는 상태, 그러니까 기울기가 0이 된 상태를 곧바로 "최적"이라 부르면 안 된다고 못을 박습니다. 기울기가 0인 점은 세 종류라는 겁니다. 그릇의 바닥일 수도 있고, 언덕의 꼭대기일 수도 있고, 안장의 한가운데일 수도 있습니다. 안장점이 무섭습니다. 한 방향으로는 더 내려갈 데가 없어 보이는데, 다른 방향으로 틀면 길이 열려 있는 자리. 거기 앉은 사람은 "더 이상 좋아질 길이 없다"고 착각하기 딱 좋습니다. 더 정확히는, 그릇이 여러 개인 지형에서 작은 그릇 바닥에 빠지는 경우입니다. 그 안에선 어느 쪽으로 한 걸음을 떼도 나빠지니까, 거기가 세상의 바닥인 줄 압니다. 공학자들은 이걸 국소 최소(local minimum), 곧 동네에서만 제일 낮은 자리라고 부릅니다.

그 원장님은 국소 최소에 앉아 계셨던 겁니다. 78퍼센트라는 작은 그릇의 바닥. 멘트를 조금 바꾸면 나빠지고, 공지 시간을 조금 옮겨도 나빠지니, 모든 미세 조정이 "역시 지금이 최선"이라는 증거처럼 보였습니다. 매달의 성실한 개선이, 역설적으로 그 작은 그릇을 빠져나오지 못하게 붙드는 사슬이었던 겁니다. 여기서 원장님께 렌즈 하나를 바꿔 드리고 싶습니다. 우리는 개선을 늘 "지금보다 나은 한 걸음"이라고 정의합니다. 그런데 이 책의 눈으로 보면, 작은 그릇에 갇혔을 때 필요한 건 더 나은 한 걸음이 아니라 일부러 더 나빠지는 한 걸음입니다.

이 발상이 가장 선명하게 드러나는 대목이 8장의 시뮬레이티드 어닐링, 우리말로 담금질입니다. 대장장이가 쇠를 다룰 때 한 번 벌겋게 달궜다가 천천히 식히면, 원자들이 무작위로 흔들리면서 더 단단한 자리를 찾아 안착한다지요. 저자들은 이 야금술의 지혜를 알고리즘으로 옮깁니다. 핵심은 이겁니다. 더 나쁜 후보도 일정한 확률로 일부러 받아들인다. 왜냐고요? 작은 그릇에서 빠져나오려면 일단 그릇 벽을 넘어 잠깐 위로 올라가야 하니까요. 더 깊은 바닥으로 가려면, 먼저 얕은 바닥을 떠나 더 높은 데를 지나가는 손해를 감수해야 합니다. 여기에 '온도'라는 손잡이가 붙습니다. 처음엔 온도를 높여 자유롭게 휘젓고(탐험), 점점 식히며 한 곳으로 수렴시킵니다(안착). 너무 급히 식히면 가까운 작은 그릇에 그대로 굳어버린다는 경고까지 책은 달아둡니다.

저는 이 대목에서 그 원장님께 드렸어야 할 답을 뒤늦게 찾았습니다. 매달의 작은 손질은 '온도가 낮은' 개선입니다. 안전하고, 합리적이고, 그래서 작은 그릇을 절대 벗어나지 못합니다. 가끔은 온도를 올려야 합니다. 합리적으로 보면 손해 같은 시도, 이를테면 한 달간 신규 상담 방식을 통째로 갈아엎거나, 잘 굴러가던 시간표를 일부러 흔들어보는 일. 당장은 78퍼센트가 75퍼센트로 떨어질지 모릅니다. 그게 무섭습니다. 그런데 그 일시적 후퇴가 더 깊은 바닥, 그러니까 85퍼센트의 그릇으로 건너가는 유일한 다리일 수 있습니다. 현장에서 제가 본 진실 하나를 보태면, 망설이는 원장님일수록 이 "잠깐 나빠짐"을 못 견딥니다. 한 달 숫자가 빠지는 걸 실패의 증거로 읽고 곧장 원래대로 되돌리거든요. 그러면 영원히 작은 그릇입니다.

여기서 오해는 풀어드리고 싶습니다. 일부러 나빠지는 한 걸음은 아무 때나, 무한정 하는 게 아닙니다. 담금질의 핵심은 '온도를 점점 낮춘다'는 데 있습니다. 실험은 초반에 과감하게, 시간이 갈수록 좁혀 한 곳에 안착시킨다는 뜻이지요. 늘 모든 걸 뒤엎으라는 말이 아니라, 갇혔다는 신호가 보일 때 의도적으로 온도를 한 번 올리라는 겁니다. 좋아하는 것을 지키려고 방식을 바꾸는 게 포기가 아니듯, 더 나아지려고 잠깐 물러서는 것도 후퇴가 아닙니다.

물론 이 책을 모든 원장님께 권하지는 않겠습니다. 이건 분명히 공학도와 연구자를 위한 교과서입니다. 수식과 코드를 건너뛸 각오가 없다면 200쪽을 넘기기 전에 덮게 됩니다. 그리고 저는 이 책을 끝까지 읽지 못했습니다. 솔직히 말씀드리면 1장 전체와 2장 도입, 8장의 담금질 부분만 제대로 읽고, 나머지 열여덟 개 장은 아직 펼치지 못했습니다. 그 뒤로 경사하강이니 유전 알고리즘이니 가우시안 과정이니 하는, 이름만 들어도 묵직한 방법들이 줄지어 기다리고 있다는 것만 목차로 확인했을 뿐입니다. 그러니 이 글은 두꺼운 입문서의 앞부분만 읽고 적은 사색 노트에 가깝습니다. 그 점은 정직하게 밝혀둡니다. 다만 이 책의 매력은, 앞의 한 장만으로도 학원을 보는 눈이 바뀐다는 데 있었습니다.

저는 이 책을 덮고 나서, 개선이라는 단어를 다시 정의하게 됐습니다. 예전엔 개선을 "어제보다 나은 오늘"이라고만 생각했습니다. 지금은 개선에 두 종류가 있다고 봅니다. 작은 그릇을 더 매끈하게 다듬는 개선과, 작은 그릇을 아예 떠나는 개선. 앞의 것만 평생 반복하는 원장님이 가장 안타깝습니다. 누구보다 성실하게, 누구보다 부지런히, 같은 자리를 다듬고 계시거든요. 그러니 매달 숫자가 안 움직인다면, 더 열심히 고치기 전에 한 번 의심해볼 만합니다. 나는 지금 바닥에 닿은 걸까, 아니면 안장 위에 앉아 있는 걸까.

"기울기가 0이라고 바닥에 닿은 게 아닙니다. 안장 위에 앉아 있을 수도 있습니다."