Siri와 Alexa가 당신의 영어를 못 알아듣는 이유 (그리고 실제로 도움 되는 것)
Siri, Alexa, 음성 입력이 비원어민 영어를 더 자주 잘못 인식하는 이유, 오류가 가장 많은 소리, 그리고 사람과 기계 모두에게 통하려면 무엇을 연습해야 하는지.
결론
음성 비서가 당신의 말을 잘못 알아듣는 것은 고장 났기 때문이 아닙니다. 대부분 원어민, 그중에서도 미국 영어로 학습되었기 때문에 억양이 있는 발화가 모델이 기대하는 소리 패턴 밖으로 벗어나는 것입니다. The Washington Post가 보도한 통제 실험에서, 구글과 아마존의 스마트 스피커는 미국식이 아닌 억양을 정확히 이해할 확률이 원어민보다 약 30% 낮았습니다.
이것이 기계에게도, 사람에게도 통하기를 포기할 이유는 아닙니다. 음성 인식 모델을 혼란스럽게 하는 소리는 대개 사람 청자가 잠시 멈추거나 다시 말해 달라고 하게 만드는 소리와 같습니다. 그 부분을 다듬으면 효과는 두 배로 돌아옵니다.
Siri와 Alexa가 억양 있는 영어를 잘못 듣는 원리
음성 인식은 Siri든, 구글 어시스턴트든, Alexa든, 휴대폰의 음성 입력 키보드든, 방대한 학습 음성에서 배운 패턴과 당신의 발화 소리를 대조해 작동합니다. 그 음성의 대부분은 원어민 영어이고, 상당 부분은 특히 미국 영어입니다. 모델은 어떤 소리가 무엇인지에 대한 일종의 내부 지도를 만듭니다. “t”가 어디서 끝나고 “d”가 어디서 시작하는지, 모음이 “길다”로 분류되려면 얼마나 지속되어야 하는지, 빠른 발화에서 단어 경계가 어떻게 들리는지.
비원어민의 발화는 그 지도에 깔끔하게 들어맞지 않습니다. 모델이 예상하는 것보다 조금 짧은 모음, 약해지거나 탈락한 어말 자음, 혀 위치가 다른 소리는 지도의 완전히 다른 영역에 떨어질 수 있습니다. 시스템이 일부러 불공정한 것이 아니라, 당신 같은 발화가 충분히 포함되지 않은 학습 데이터에서 얻은 통계를 적용하고 있을 뿐입니다.
이 원리를 가장 분명하게 보여 준 연구는 사실 비원어민 발화를 다룬 것이 아닙니다. PNAS에 실린 스탠퍼드 대학 연구는 주요 음성 인식 시스템 다섯 개를 시험해, 아프리카계 미국 영어를 쓰는 흑인 화자의 평균 단어 오류율이 약 35%, 같은 지역 백인 화자는 약 19%였다고 보고했습니다. 오류가 약 두 배이고, 두 집단 모두 영어 원어민입니다. 교훈은 “비원어민인 것이 문제”라는 게 아닙니다. 학습 음성에서 충분히 대표되지 않은 변종이라면 무엇이든 정확도가 떨어진다는 것이고, 비원어민 영어는 바로 그 대표가 적은 쪽에 있습니다.
특히 자주 깨지는 소리들
억양과 관련된 전사 오류에는 반복해서 나타나는 대조가 몇 가지 있습니다.
- think의 /θ/: think, three, through는 흔히 sink, tree, threw로 전사됩니다. /θ/는 세계 언어 중에서도 드물어 /t/, /s/, /d/로 대체되기 쉽기 때문입니다.
- 어말 자음: want의 /t/나 called의 /d/처럼 단어 끝의 소리는 많은 억양에서 약해지거나 탈락합니다. 음성 입력은 그 마지막 소리에 크게 의존해 단어를 고르기 때문에, want가 won이 되고 worked가 walk가 됩니다.
- ship의 짧은 /ɪ/와 sheep의 긴 /iː/: ship과 sheep, live와 leave의 길이 차이는 작지만 결정적입니다. 음성 모델은 이 차이로 비슷한 단어를 구분하고, 사람 청자도 마찬가지입니다. 고전적인 최소 대립쌍의 바로 그 대조입니다.
- red의 /ɹ/: 영어 음성 인식 대부분은 R을 발음하는(rhotic) 변종으로 학습됩니다. 떨림소리나 탄설음, 다른 혀 모양으로 만든 R은 다른 소리로 읽히거나 전사에서 아예 사라질 수 있습니다.
어느 것도 특이한 소리가 아닙니다. 아주 평범하고 빈도 높은 영어의 소리들이, 마침 모델이 어딘가에 그어야만 하는 판정 경계선 가까이에 있을 뿐입니다.
실패한 그 순간의 빠른 대처
음성 비서나 음성 입력이 지금 당신을 잘못 알아들었을 때, 같은 문장을 더 크게 반복하는 것보다 다음 습관이 더 도움이 됩니다.
- 틀린 단어만 떼어내기. 그 한 단어만 말한 뒤 문장을 다시 쌓아 올리세요. 빠르게 이어 붙인 구보다 또렷한 한 단어가 소프트웨어에도 사람에게도 잡기 쉽습니다.
- 어말 자음을 끝까지 내기. 핵심 단어의 마지막 소리를 살짝 길게 — want는 /t/를 터뜨리고, called는 /d/를 분명히 — 서둘러 지나가지 마세요.
- 중요한 단어 앞에 짧은 쉼을 두기. 모든 단어 앞이 아닙니다. 내부에 쉼이 없는 빠른 문장은 모델에게도 사람에게도 끊어 읽기가 어렵습니다.
- 반복하지 말고 바꿔 말하기. 특정 단어가 계속 실패한다면, 문제되는 소리를 피하는 동의어가 같은 단어와 다섯 번 싸우는 것보다 빠를 때가 많습니다.
- 느낌이 아니라 전사를 보기. 특정 단어 쌍(think/sink, ship/sheep)이 반복해서 바뀐다면, 그것은 “내 억양이 나쁘다”는 막연한 느낌이 아니라 연습 가능한 구체적 신호입니다.
좋은 소식: 같은 연습이 사람에게도 통한다
이것이 성가신 문제의 쓸모 있는 부분입니다. 위의 소리들은 기계에게만 중요한 게 아닙니다. 어말 자음, 모음 길이, /θ/는 사람 청자가 한 번에 이해하느냐 다시 물어보느냐를 가르는 바로 그런 세부입니다. 억양 자체는 문제가 아닌데도 발음을 다듬을 가치가 있는지 궁금했다면, 그건 별개의 중요한 질문입니다. 전달력 vs. 억양을 읽어 보세요.
음성 인식의 실패는 어떤 면에서 대단히 직접적이고 재현 가능한 피드백입니다. 사람은 단어가 불분명해도 맥락으로 이해할 수 있지만, 앱에는 기댈 맥락이 없어 명확함이 무너진 지점을 그대로 보여 줍니다.
더 최근의 도구는 반대로 합니다 — 당신의 억양을 이해하려는 대신, 통화 중에 실시간으로 다시 씁니다. 그게 정말 도움이 되는지는 대화 한 번을 넘기고 싶은지, 아니면 모든 대화에서 더 명료하고 싶은지에 달려 있습니다.
클라우드가 아니라 사람을 위한, 사적인 연습
이 문제에는 짚어 둘 두 번째 층이 있습니다. Siri나 Alexa, 음성 입력 키보드가 당신을 잘못 알아들을 때마다, 당신의 목소리는 대개 기기를 떠나 서버로 가서 그 답을 받아 왔습니다. 내 억양을 이해하기 힘들어하는 시스템이 이미 불편하다면, 연습할 때마다 그 목소리를 계속 보내는 건 그리 매력적인 거래가 아닙니다.
Phonema는 발음 채점을 전부 당신의 iPhone에서, 단어 단위로, 위에서 설명한 것과 같은 소리 수준의 정밀도로 수행합니다. 녹음을 어디에도 업로드하지 않습니다. 온디바이스 처리가 중요한 이유와 채점 방식인 GOP(Goodness of Pronunciation)가 측정하는 것도 함께 보세요.
마무리
Siri와 Alexa가 당신을 잘못 알아듣는 것은 당신의 영어가 나빠서가 아니라 당신의 억양이 학습 음성에서 충분히 대표되지 않았기 때문이고, 같은 공백은 원어민 변종에도 영향을 미칩니다. 전사를 가장 많이 망가뜨리는 것은 /θ/, 어말 자음, ship/sheep의 모음 길이 대조, 그리고 /ɹ/입니다. 사람 청자가 당신을 이해하는 데 쓰는 것과 똑같은 넷이므로, 기계가 듣고 있든 아니든 연습할 가치가 있습니다.