Phonemaの発音採点の仕組み

Phonemaは英語の発音を練習するiOSアプリです。このページでは採点の仕組みと、その限界がどこにあるかを説明します。発音のスコアは、それがどう作られたかを知っている分だけの価値しかないからです。

モデル

Phonemaは音声モデル wav2vec2 XLS-R を使い、speechocean762(第二言語としての英語に人手で発音アノテーションを付けた公開コーパス)で音素認識向けにファインチューニングしています。CoreMLに変換してアプリ内に同梱しています。

すべて端末上で動きます

モデルはあなたのiPhone上で動きます。録音はアップロードされず、サーバーに保存されず、何かの学習にも使われません。アカウントも音声のアップロード工程もありません——オフラインで動く理由と、プライベートである理由は同じです。オンデバイス処理が重要な理由もどうぞ。

採点は文単位ではなく音単位

英語は42のARPAbet音素で採点します。それぞれについてGOP(Goodness of Pronunciation)値を計算します。前後の文脈を踏まえたうえで、あなたが出した音がその単語の求める音であると音響モデルがどれだけ確信しているか、という値です。文全体の一つのパーセンテージは、実際にどの音が崩れたのかを隠してしまいます。だからこのアプリは音ごとに採点し、単語のレベルで返します。詳しくはGOPが測るものを。

できないこと

スコアは聞き手ではありません。あなたの文脈も、目指すアクセントも、実際の人間があなたを理解できたかどうかも分かりません。自動採点と人間による発音の判断は関係はありますが同じものではなく、研究もそれをはっきり述べています——伝わりやすさ vs. アクセントを参照してください。Phonemaは「どの単語が不明瞭だったか」を伝えるために作られています。「ネイティブに聞こえるか」ではありません。これは意図した設計であり、回避しようとしている欠点ではありません。