법률 쟁。에 선택적 반응
'전용 스위치' 포착
유사한 개념 분리하지 않고
같은 방서 처리하다가 혼선
혼선 풀어주면 환각 감소
오답 교정 가능성 열어
요약
- AI 신경망서 법률 개념별로 반응하는 신호를 찾아낸 연구가 나왔다.
- 법률 AI 환각의 원인을 규명할 실마리가 마련됐다는 평가다.
법조계가 판례 분석 인공지능(AI) 도입을 망설이는 최대 걸림돌은 '환각(할루시네이션)'이다. 없는 판례를 지어내거나 엉뚱한 법리를 제시해도 왜 그런지 알 수 없는 이른바 'AI 블랙박스' 구조 탓도 크다.
미국 피츠버그대 연구팀이 깜깜한 블랙박스에 속을 들여다 볼 수 있는 창문을 냈다. AI가 법률 문장을 읽을 때 AI의 머리 신경망 어디가 반응하는지 추적한 것이다. AI의 회로구조가 밝혀지면서 환각을 풀고 오답을 바로잡을 실마리를 찾아냈다는 평가가 나온다.
핵심 사실관계 7,900여 개로 검증
피츠버그대 케빈 D. 애슐리(Kevin D. Ashley) 교수와 리 장(Li Zhang) 연구원 연구팀이 2026년 10월 발표한 논문은 미국 법원이 영업비밀 침해 소송에서 판결한 판결문 대신 이른바 '카토 팩터(CATO Factor)'를 검증 잣대로 삼았다.
카토 팩터는 미국 법원이 영업비밀 침해 소송에서 승패를 가를 때 핵심 기준으로 삼는 26가지 사실 패턴이다. '비밀유지계약 체결 여부', '보안 조치 부재', '역설계 가능성' 등 핵심 쟁.만을 추려낸 비교적 단순하고 명확한 기준이다. 실제 법원 판결문은 사실관계와 법률 쟁.이 뒤섞여 있어, AI가 법리를 이해한 것인지 단어 조합에 반응한 것인지 가려내기 어렵다는 。을 고려했다
바다이야기 시즌
.
이를 위해 연구팀은 한 번에 단 하나의 쟁.만 드러나도록 2~4문장 분량의 짧은 사례 7,893개를 제작했다. 쟁.을 포함한 문단 6,992개와 쟁.이 없는 대조군 문단 901개다. 예컨대 '보안 조치 부재' 사례라면 법적 뼈대만 남긴 채 "누구나 열람 가능한 공유 드라이브에 기술 문서를 보관했다"는 식으로 구성했다. 특정 기업명이나 단어에 휘둘리지 않고, 오직 순수한 법률 쟁.에만 AI가 반응하는지 검증하기 위해서다.
AI 뇌파 재듯 관찰
연구팀은 AI 모델이 문단을 읽을 때 머릿속 신경망에서 생성되는 신호 활성화를 관찰했다. 사람이 특정 문장을 읽을 때 뇌파를 측정해 반응 부위를 살피는 방식과 비슷하다.
실험 대상은 '?3(Qwen3-1.7B, 8B)'와 '젬마-2(Gemma-2 2B)' 등 오픈소스 AI 3종이다.
AI는 문장을 읽을 때 여러 층(Layer)을 거치며 단계별로 의미를 파악한다. 층마다 수만 개 신호가 오가면서 복잡하게 얽혀 AI가 어떻게 판단하는지 알기 어렵다. 연구팀은 이 신호를 분리하기 위해 '희소 오토인코더(SAE)'를 적용했다. 이는 마치 프리즘이 빛을 나누듯, 뒤엉킨 신호를 독립된 '특성(Feature)' 단위로 분해해 주는 기술이다.
실험 결과, 3개 모델 모두에서 26개 법률 쟁。 전부에 대해 신경망 내부에서 해당 개념에만 선택적으로 반응하는 '전용 스위치(특성)'가 작동한다는 .이 발견됐다.
예컨대 ?3(1.7B) 모델에 "시중 샘플을 분석하면 제품 구성을 알아낼 수 있다"는 문장을 입력하자, 7번째 층 3만 2,000여 개 특성 중 유독 '20148번' 특성에서 신호가 나타났다
릴온라인
. 26개 쟁。 중 '역설계 가능성' 문장을 읽을 때만 켜지는 전용 회로였다.
닮은 법률 개념 한곳에 묶여
이번 연구는 AI가 법률 문제를 해석할 때 왜 엉뚱한 결론을 내놓는지 설명하는 단서도 찾아냈다. 26개 쟁.을 각자 완전히 분리된 방에서 각각 검토하는 것이 아니라, 성격이 비슷한 쟁.끼리 묶어 같은 방으로 보내면 같은 검토 스위치가 작동하기 때문에 쟁。이나 개념이 뒤섞일 가능성이 있다는 것이다.
실제로 ?3 모델에서는 '역설계가 가능했는가(가능성)'와 '실제로 역설계를 했는가(실제 행위)'라는 두 쟁。이 모두 7번째 층의 20148번 특성을 통해 다루어졌다. AI가 '역설계'라는 행위에 집중하느라, 법적으로 '가능성'과 '실제 행위'는 엄연히 다른데도 이를 한데 묶어 처리한 것이다. AI의 특정 특성에서 일어나는 혼선만 풀어주면 환각을 줄이고 올바른 답을 얻을 수 있을 것이라는 추론이 가능한 부분이다.
"아직은 기초 연구 단계"
AI의 머릿속 신경망 내부의 개념 위치가 밝혀지면서 AI 판단 근거를 역추적하고 검증할 길이 열렸다. 특정 스위치 신호를 조절해 오답을 바로잡을 가능성도 엿보인다.
다만 연구팀은 "이번 결과가 실제 판결문이 아닌 짧은 문장을 대상으로 한 기초 연구이며, 신호와 결론 사이의 인과관계까지 입증된 것은 아니"라고 말했다.
국내 전문가들도 신중한 접근을 당부했다. 윤상원(변호사시험 12회) 지오영그룹 AI본부장은 "블랙박스로 여겨져 온 언어모델 내부에서 법적 추론 과정을 포착해 설명할 수 있음을 확인했다는 데 의의가 있다"면서도 "법적 추론을 이해하기 위한 출발. 정도로 받아들이는 것이 적절하다"고 말했다.
실제 법원 판결문은