신경망은 정말 이해 불가능한 '매듭'인가?
수년간 AI 업계의 표준 견해는 모델이 블랙박스라는 것이었습니다. 질문을 던지고 답변을 읽을 수는 있지만, 왜 그런 답변이 나왔는지는 알 수 없다는 전제였죠. 2026년 10월, AI 연구소 Good Fire가 발표한 에세이 『신경망은 이미 깔끔하다』는 이 전제에 정면으로 도전합니다. 발표 첫 이틀 만에 약 400만 회 조회를 기록한 이 글의 핵심 주장은 명확합니다. 야심 찬 해석 가능성(interpretability) 문제가 가장 필요할 때 해결될 수 있다는 것입니다. 🔬
이 글은 단순한 낙관론이 아닙니다. 2019년 신경망의 '엉킴'을 입증하는 핵심 사례를 찾는 데 기여했던 연구자가, 이제 자신의 과거 해석이 틀렸다고 말하는 자기 반박의 기록이기 때문입니다.
AI의 블랙박스를 열다 — 신경망 해석 가능성의 최전선을 담은 필독서 AI시대에 인문학은 무엇인가 (김형석교수)
다의성 뉴런이라는 오해의 기원
Inception V1의 고양이-자동차 뉴런
문제의 출발점은 다의성(polysemanticity) 입니다. 하나의 뉴런이 여러 무관한 일을 담당하는 현상이죠. 가장 유명한 사례는 2014년 이미지 모델 Inception V1에서 발견되었습니다. 특정 뉴런이 고양이 얼굴에 반응하면서 동시에 자동차 앞부분에도 반응한 것입니다. 당시 학계는 이를 중첩(superposition) 이론으로 설명했습니다. 네트워크가 뉴런이 부족해지면 거의 함께 등장하지 않는 개념들을 같은 뉴런에 밀어 넣는다는 아이디어였습니다.
우회로로서의 희소 오토인코더
이 가설이 사실이라면 네트워크는 뒤엉킨 매듭과 같아 직접 연구가 불가능합니다. 그래서 연구자들은 희소 오토인코더(sparse autoencoder) 라는 두 번째 모델을 학습시켜 첫 번째 모델을 대신 연구하는 우회로를 택했습니다. 그러나 최신 분석에 따르면, 그 고양이-자동차 뉴런이 실제로 탐지하던 것은 V자형 이었습니다. 고양이 얼굴과 자동차 앞부분 모두 뾰족한 형태이기 때문입니다. 해당 뉴런은 V자 모양 불꽃, 소방정 물줄기, 여우 얼굴과도 강하게 연결되었으며, 음수 방향은 O자 형태에 반응했습니다. 즉 다의성이 아니라 오독이었던 셈입니다.
이러한 재해석 방법론은 AI 노트북 성능 비교 가이드에서 다루는 하드웨어 스펙 분석과도 맥을 같이합니다.
330억 파라미터 모델에서의 실증 데이터
재귀적 일반화와 극(pole) 분석
연구팀은 약 330억 개 파라미터를 가진 Qwen 3 32B 모델을 대상으로 감사를 진행했습니다. 뉴런에는 두 개의 극이 존재하는데, 하나는 뉴런을 강하게 활성화하고 다른 하나는 강하게 음수로 밀어냅니다. V자 뉴런의 경우 두 극은 V와 O입니다. 예비 감사 결과, Qwen 3 극의 약 90% 가 단 하나의 주된 역할을 수행하며, 7% 는 두 개의 관련 업무를, 미파악 영역은 2~4% 에 불과한 것으로 추정됩니다.
| 항목 | 측정 결과 | 비고 |
|---|---|---|
| 단일 역할 극 비율 | 약 90% | Qwen 3 32B 기준 |
| 이중 역할 극 비율 | 약 7% | 관련 업무 조합 |
| 미파악 영역 | 2~4% | 추가 감사 필요 |
| 설명 검증 활성화 확률 | 76% | 에이전트 생성 예시 |
| 무관 주제 오활성화 확률 | 약 1% | 대조군 |
설명의 신뢰성을 검증하는 방법
단순히 그럴듯한 이야기인지 검증하기 위해, AI 에이전트가 뉴런 설명만 읽고 해당 뉴런을 활성화할 것으로 예상되는 새로운 예시를 작성하는 실험을 진행했습니다. 그 결과 76% 확률로 뉴런이 강하게 활성화되었습니다. 반면 가장 무관한 주제로 예시를 작성했을 때는 활성화 확률이 약 1% 에 그쳤습니다. 이는 신경망이 엉킨 매듭이 아니라 고유 구역이 잘 정비된 도시에 가깝다는 것을 시사합니다. 이러한 대규모 자동화 감사 기법은 메타 SAM 3D 무료 오픈소스 AI로 2D 이미지를 즉시 3D 모델로 변환하는 방법에서 소개하는 자동화 파이프라인과도 연결됩니다.
📅 정보 기준일: 2026-10-15
서사의 전환점, 그러나 해결은 아직
남은 논쟁과 주의사항
공정하게 짚어야 할 점이 있습니다. 논문 자체는 신중하며, 저자는 이를 작업 가설로 규정하고 자신의 확신도를 약 85% 로 밝혔습니다. 수조 개 파라미터 모델은 해결과 거리가 멀고, 해당 언어 모델 결과의 바탕이 된 기술 논문도 아직 발표되지 않았습니다. 또한 뉴런 라벨링이 마음의 작동 원리를 완전히 이해하는 것과 같지 않다는 반론, AI가 감시를 피해 자신의 의도를 숨기는 법을 학습할 수 있다는 우려도 여전히 유효합니다.
결론: 블랙박스 서사의 종말
이 에세이가 해석 가능성 문제를 단번에 해결하지는 못하며, AI 정렬 문제 역시 확실히 해결하지 못합니다. 그러나 이는 분명 서사의 전환점입니다. 수년간 종말론의 큰 비중을 차지했던 것은 블랙박스 문제였습니다. 내부를 들여다볼 수 있다면 그 주장들은 훨씬 설득력을 잃게 됩니다. 신경망은 매듭이 아니라 도시이며, 자동화된 과학자들 덕분에 우리는 마침내 그 지도를 읽는 법을 배우고 있습니다. 🗺️
