AI 글이 읽기 어려운 이유, ‘정보 압축’ 학습의 흔적일 수 있다

뉴욕대(NYU)와 텍사스대 오스틴(UT Austin) 연구진이 10월 21일 arXiv에 ‘AI가 생성한 언어는 왜 이렇게 이해하기 어려운가’라는 논문을 올렸습니다. 사람이 문장을 읽을 때 처리하기 어렵다고 알려진 언어 특징을 기준으로 삼아, AI 글이 실제로 읽기 힘들게 쓰이는지 측정했습니다.

무슨 일인가

논문은 “AI가 생성한 텍스트가 최근 이해하기 더 어려워졌다는 인식이 널리 퍼져 있다”는 문장으로 시작합니다. 연구진은 이 막연한 체감을 심리언어학의 처리 난이도 지표로 바꿔 쟀습니다. 목적어 관계절, 멀리 떨어진 단어끼리 이어지는 긴 통사적 의존 관계, 빈도가 낮은 n-그램(연속된 단어 묶음) 등이 대표적입니다. 이런 특징이 많을수록 사람은 문장을 읽는 데 더 애를 먹습니다.

세부 내용

분석 대상은 LLM 14종입니다. 최신·준최신 모델 9종은 키미 K2.5, GLM 5, 클로드 소네트 5·오퍼스 5·오퍼스 5.5·페이블 5, GPT-5.6 루나·테라·솔입니다. 소형 비교군으로 올모(Olmo)와 라마(Llama) 계열을 넣었습니다. 대화·코딩·에세이 세 상황에서 답변 1,428건을 모았고, 사람 글 기준으로 영화 자막(OpenSubtitles), 스택익스체인지, 학생 에세이 말뭉치 PERSUADE 2.0을 썼습니다. AI 문장을 번역 모델 NLLB-200으로 영어→일본어→영어 왕복 번역해, 뜻은 같고 표현만 다시 쓴 문장과도 비교했습니다.

결과는 일관됐습니다. 9종 모두 사람 글보다 보통 사람이 주어일 때 쓰는 동사를 사물 주어에 붙인 문장과 저빈도 n-그램을 더 많이 썼습니다. 대부분은 대화에서 더 긴 의존 관계, 명사를 겹쳐 쌓은 표현, 축약된 목적어 관계절도 많았습니다. 왕복 번역과 비교하면 거의 모든 최신 모델에서 AI 원문 쪽이 사람 말뭉치에 없는 두 단어 조합이 많고, 다음 단어를 예측하기 어려운 정도(n-그램 퍼플렉시티)도 높았습니다.

왜 중요한가

연구진의 가설은 이렇습니다. 최근 AI 모델은 원활한 의사소통보다 수학·코드·추론 같은 영역에서 정보 밀도를 높이는 쪽으로 최적화되고 있고, 그 습관이 일상 글에도 번진다는 것입니다. 이를 확인하려고 답변 길이에 벌점을 주는 조건으로 언어 모델을 파인튜닝하자, 모델이 정보를 압축하는 경향을 배웠고 그 경향이 학습에 없던 구문으로까지 옮겨 갔습니다. ‘AI 티’를 말투나 특정 단어 문제로 보던 시각을, 학습 목표가 남긴 구조적 흔적으로 옮겨 보게 하는 연구입니다. AI 초안을 고칠 때 단어보다 문장 구조를 먼저 손봐야 하는 이유이기도 합니다. 사물을 주어로 세운 문장을 사람 주어로 바꾸고, 길게 이어진 수식어와 겹쳐 쌓은 명사를 끊어 주는 것만으로도 읽기가 한결 쉬워질 수 있습니다.

남은 쟁점

원인은 어디까지나 가설이고, 길이 벌점 실험은 개념 증명 수준입니다. 상용 모델 개발사가 학습 과정에서 실제로 어떤 보상을 주는지는 공개되지 않아 직접 검증하기 어렵습니다. 또 분석 대상은 영어 글이어서, 어순과 조사 체계가 다른 한국어에서도 같은 경향이 나타나는지는 따로 확인해야 합니다. 다만 추론 성능 경쟁이 계속되는 한 같은 압력이 더 커질 수 있으므로, 개발사들도 살펴볼 필요가 있습니다.