형제를 똑같이 대하는데 왜 한 아이만 주눅이 들까요

한 어머니가 형제를 같은 반에 넣어 달라고 했습니다. 형이 다니던 반에 동생을 그대로 넣었습니다. 같은 선생님, 같은 교재, 같은 시간. 저는 그게 공평하다고 믿었습니다. 그런데 두 달 뒤, 동생이 학원을 그만두겠다고 했습니다. 차별받은 게 하나도 없었습니다. 정말로요. 그런데 동생은 매주 "형은 여기서 1등이었대"라는 말을 선생님과 친구들에게서 들으며 앉아 있었습니다. 똑같이 대한 게 똑같은 출발선을 만들어 주지는 않았던 겁니다. 저는 그때 제가 뭘 잘못했는지 정확히 말로 옮기지 못했습니다. 그 말을, 엉뚱하게도 AI 공정성을 다룬 두꺼운 교과서의 첫 장에서 주웠습니다.

제가 이 책을 펼친 건 학원 얘기를 들으려던 게 아니었습니다. 요즘 AI가 사람을 대신해 채용을 거르고, 대출을 승인하고, 보석 여부까지 점수로 매긴다고 합니다. 그게 "편견 없이 객관적으로" 한다기에, 정말 그런가 싶어 집었습니다. 솔직히 기대한 건 "AI도 데이터가 편향되면 차별한다, 그러니 데이터를 잘 골라라" 정도의 경고였습니다. 그런데 1장에서 저자들이 깨부순 건 훨씬 아래에 있는 제 직관 자체였습니다. 바로 "집단을 안 보면 공정하다"는 그 직관 말입니다.

『Fairness and Machine Learning』은 한 사람의 의견서가 아니라, 이 분야를 일군 세 연구자가 함께 정리한 표준 교과서입니다. 솔론 바로카스, 모리츠 하르트, 아르빈드 나라야난 세 사람의 공동 저작이고, 책 전체를 fairmlbook.org에서 무료로 공개하고 있습니다. 먼저 정직하게 적어 둡니다. 이 책은 294쪽, 아홉 개 장으로 된 대형 교과서인데, 저는 이번에 서문과 1장(서론)만 끝까지 읽었습니다. 통계적 공정성 기준을 수식으로 다루는 3장, 인과를 다루는 5장, 미국 차별금지법을 다루는 6장 같은 묵직한 장들은 목차로만 그 자리를 확인했습니다. 그러니 이 글은 두꺼운 교과서의 첫 장을 붙들고 적은 사색 노트에 가깝습니다. 다만 이 책의 매력은, 그 첫 장 하나만으로도 사람을 판정하는 자리에 앉은 어른의 눈이 바뀐다는 데 있었습니다.

이 책이 흔한 'AI 윤리 책'과 갈리는 지점이 서문부터 나옵니다. 보통의 윤리 책이 "AI는 위험하니 규제하자" 또는 "AI가 인간보다 공정하다"는 한쪽 깃발을 드는 데 비해, 저자들은 가장 인기 없는 자리를 일부러 택합니다. 전면 옹호도 전면 규탄도 아닌 **균형(balance)**입니다. 저자들의 표현을 그대로 옮기면, 이 책은 당장 쓸 공정성 처방전이 아니라 앞으로 수천 개의 구체적 사례에서 벌어질 논쟁의 "지적 토대"를 "오래 갈(for the long haul)" 만큼 튼튼히 하려는 책입니다. 정답을 주는 책이 아니라, 정답을 다툴 때 흔들리지 않을 바닥을 깔아 주는 책이라는 뜻입니다.

그 바닥에 깔린 첫 통찰이 저를 때렸습니다. 저자들은 채용을 예측하는 아주 단순한 장난감 문제를 듭니다. 지원자를 삼각형 집단과 사각형 집단으로 나누고, GPA와 면접 점수만으로 누가 좋은 직원이 될지 맞히는 모델을 짭니다. 여기서 "공정하게 하자"며 집단 정보(삼각형인지 사각형인지)를 모델에서 아예 빼 버립니다. 우리 직관으로는 이게 가장 공정해 보입니다. 보지 않으면 차별할 수 없을 테니까요. 그런데 저자들이 보여 주는 결과는 정반대입니다. '정답' 라벨, 그러니까 과거의 직무 평가 자체가 집단별로 체계적으로 다르면, 집단을 안 봐도 한 집단이 덜 뽑힙니다. 모델은 집단을 안 보고도 차별합니다. 과거가 이미 기울어 있었으니까요.

더 약 오르는 대목이 이어집니다. 성별 같은 민감한 정보를 데이터에서 지워도 소용이 없습니다. 저자들은 이걸 **중복 인코딩(redundant encoding)**이라 부릅니다. 예를 들어 '프로그래밍을 처음 시작한 나이'가 성별과 강하게 얽혀 있으면, 성별을 지워도 모델은 그 나이를 통해 성별을 되살려 냅니다. 직접 묻지 않아도 옆구리로 다 알아내는 겁니다. 그래서 저자들이 못 박습니다. 데이터에서 집단을 지우는 눈가림(fairness-as-blindness)은 차별을 없애는 게 아니라, 차별이 어디서 새는지 우리가 못 보게 가릴 뿐이라고요.

저는 이 대목에서 그 형제가 다시 떠올랐습니다. 저는 동생에게서 집단 표시(형의 동생이라는 사실)를 떼지 않았습니다. 오히려 그 반에서는 모두가 알고 있었습니다. 하지만 더 중요한 건, 제가 "똑같이 대했다"고 안심하는 동안 동생이 받던 '정답 라벨'이 이미 기울어 있었다는 점입니다. 형이라는 비교 기준이 그 반의 공기 속에 깔려 있었고, 저는 그걸 안 봤습니다. 안 봤기 때문에 손쓸 자리도 못 찾았습니다. 똑같은 교재를 준 게 차별이 아니었습니다. 차별이 어디 숨었는지 보려고도 하지 않은 게 진짜 문제였습니다.

여기서 저자들이 한 겹 더 깊이 들어갑니다. 측정 자체가 차별의 출발점이라는 겁니다. 우리는 측정이 카메라처럼 객관적이라 믿지만, 저자들은 카메라조차 한때 밝은 피부를 더 잘 담도록 맞춰져 있었다고 짚습니다. 1970년대에 가구 회사와 초콜릿 회사가 "갈색이 제대로 안 나온다"고 항의하고 나서야 필름이 바뀌기 시작했습니다. 그러니 무엇을 어떻게 잴지를 정하는 그 순간에 이미 누군가의 편이 들어간다는 겁니다. 특히 저자들이 가장 까다롭다고 본 건 목표변수(target variable)의 정의입니다. '좋은 직원', '신용도' 같은 건 사람이 본래 지닌 속성이 아니라, 우리가 문제를 풀려고 만들어 낸 구성개념입니다. 범죄를 '체포 건수'로, 직무 능력을 '매출'로 대신 재는 순간, 그 대리 지표에 묻은 왜곡까지 함께 학습됩니다.

이게 추상적인 경고가 아니라는 걸 보여 주는 사례가 PredPol입니다. 범죄를 예측해 경찰을 더 보내는 시스템인데, 한 연구(Lum과 Isaac, 2016)에서 흑인 거주 구역이 약 두 배로 표적이 됐습니다. 그런데 실제 약물 사용률은 집단 간에 거의 같았습니다. 무슨 일이 벌어졌을까요. 그 구역에 경찰을 더 보내니 체포가 늘고, 늘어난 체포 기록이 다시 "여기가 위험하다"는 예측을 만들고, 그 예측이 또 경찰을 부릅니다. 예측이 스스로를 맞게 만드는 자기충족 고리입니다. 저자들은 머신러닝 전체를 이렇게 닫힌 고리로 봅니다. 측정하고, 학습하고, 행동하고, 그 행동이 세상을 바꿔 다시 측정 대상이 되는. 한 바퀴 돌 때마다 처음의 작은 기울기가 증폭됩니다.

여기서 원장님께 렌즈 하나를 바꿔 끼워 드리고 싶습니다. 우리는 공정을 거의 '똑같이 대하기'로 이해합니다. 같은 반, 같은 시험, 같은 잣대. 그게 차별을 안 하는 길이라 믿습니다. 그런데 이 책의 눈으로 보면, 학원이라는 곳은 하루 종일 사람을 분류하고 판정하는 기계입니다. 레벨 테스트로 반을 가르고, 우열반을 나누고, 형제를 비교하고, 장학금을 누구에게 줄지 정합니다. 그 판정의 '정답 라벨'이 이미 기울어 있을 수 있다는 것, 그게 이 책이 주는 재구성입니다. 더 일찍 사교육을 받은 아이가 레벨 테스트에서 높게 나오는 건 그 아이가 더 영리해서가 아니라 출발선이 달랐기 때문일 수 있습니다. 그 점수를 '객관적'이라 믿고 반을 가르는 순간, 우리는 과거의 격차를 그대로 베껴 미래로 옮겨 적고 있는 겁니다. 눈을 가린 채로요.

현장에서 1000명 가까운 학생을 들여다보며 본 진실 하나를 보태겠습니다. 우열반을 나눌 때 가장 흔히 듣는 정당화가 "점수로 객관적으로 나눴습니다"입니다. 그런데 그 점수가 어떻게 만들어졌는지를 거슬러 올라가 보면, 거의 늘 집안의 관심·이전 학원의 질·시작 시기 같은, 아이가 고른 적 없는 조건이 섞여 있습니다. 더 무서운 건 그다음입니다. '하위반'에 배정된 아이는 선생님의 기대도, 진도의 속도도, 친구들의 분위기도 한 단계 낮은 곳에서 한 학기를 보냅니다. 그러면 다음 테스트에서 또 하위에 머뭅니다. PredPol에서 경찰을 더 보낸 구역의 체포가 늘었듯이, 우리가 '아래'라 표시한 아이는 우리 손으로 만든 환경 때문에 정말로 '아래'가 됩니다. 예측이 스스로를 맞게 만드는 그 고리가, 학원 안에서도 똑같이 돕니다.

오해는 풀어 드리고 싶습니다. 집단을 보라는 말이 "형제를 차별하라"거나 "출신을 따져 잣대를 다르게 들이대라"는 뜻은 결코 아닙니다. 저자들의 핵심은 정반대입니다. 안 보는 것은 공정이 아니라 회피라는 것, 차별이 어디서 새는지 똑바로 보아야 비로소 손쓸 자리가 생긴다는 것입니다. 저자들이 1장 끝에서 던지는 더 묵직한 말이 있습니다. 공정한 결정만으로는 부족하다는 겁니다. 기울어진 조건 위에서 아무리 공정하게 점수를 매겨도 그 아이의 삶은 별로 나아지지 않습니다. 절차만 손볼 게 아니라 결정이 내려지는 조건 자체, 그러니까 그 동생이 매주 형 이야기를 듣고 앉아 있어야 했던 그 반의 공기 같은 것을 바꿔야 할 때가 있다는 뜻입니다. 저는 그때 동생을 다른 반으로 옮겨야 했습니다. 같은 반에 둔 게 공평이 아니었습니다.

이 책을 모든 원장님께 권하지는 않겠습니다. 분명히 연구자와 정책 담당자를 위한 교과서이고, 뒤로 갈수록 확률과 통계, 인과 그래프, 법리가 쏟아집니다. 그리고 저는 그 뒷장들을 아직 읽지 못했습니다. 통계적으로 차별이 없다는 게 정확히 무슨 뜻인지를 수식으로 따지는 3장, 그 기준들이 서로 양립할 수 없다는 4장의 논증은 이 책의 수학적 심장인데, 저는 그 문 앞에서 멈췄습니다. 그러니 그 부분에 대해서는 아무것도 단정하지 않겠습니다. 다만 첫 장 하나만으로도, 사람을 매일 분류하고 판정하는 제 자리가 얼마나 무거운 자리인지는 충분히 배웠습니다.

저는 이 책을 덮고 나서, '공정'이라는 말을 다시 정의하게 됐습니다. 예전엔 공정을 "모두에게 똑같이"라고만 봤습니다. 지금은 공정의 첫걸음이 똑같이 대하기가 아니라 똑바로 보기라고 생각합니다. 누가 어떤 출발선에서 시작했는지, 우리가 매긴 점수 아래에 무엇이 깔려 있는지, 우리가 '아래'라 표시한 아이를 우리 손으로 더 아래에 가두고 있지는 않은지. 그러니 다음에 두 아이의 점수가 같아 보일 때, 또는 형제를 한 반에 묶어 달라는 부탁을 받을 때, "똑같이 대하면 되겠지" 하고 안심하기 전에 한 번 물어보셔도 좋겠습니다. 이 똑같음이 정말 똑같은 출발선 위에 서 있는가. 아니면 나는 지금 눈을 가린 채 공평하다고 믿고 있는가.

"집단을 안 본다고 공정해지는 게 아닙니다. 안 보면, 차별이 어디 숨었는지도 같이 안 보일 뿐입니다."