はじめに
Amazon Connectでは、リアルタイムの文字起こし(リアルタイムの分析)と通話後の文字起こし(通話後の分析)の2種類の機能があります。
本記事では、リアルタイムの文字起こしと通話後の文字起こしの精度を比較します。
文字認識精度について
文字起こし精度の比較を行う前に、文字認識精度について説明します。
今回の比較では、jiwerを使用してCER(エラー率)を計測します。
本記事では、Amazon Connectのリアルタイム文字起こしと通話後文字起こしのエラー率の比較を行います。
前提条件
- 音源は同一ものを使用します。
- IT関連の話、医療関連の話、関西弁の話の3種類の音声データを使用します。
- Amazon Connectの設定方法、エラー率の計測方法は本記事の範囲外です。
文字起こし結果
IT関連の話
- 音声入力
サーバーワークスはクラウドベースのマネージドコンピュートサービスの一つでインフラの管理を簡素化しアプリケーションのスケーラビリティを向上させます。自動スケーリングによりトラフィックの変動に応じてリソースを動的に調整しコスト効率を最適化します。またセキュリティやメンテナンスの負担を軽減し開発者がアプリケーション開発に専念できるようにサポートします。これによりビジネスの成長に合わせて柔軟に対応できる環境が整います。
- リアルタイム文字起こし結果
サーバーマックスはクラウドベースのマネージドコンピュータサービスの一つでインフラの管理を簡素化しアプリケーションのスケーラビリティを向上させます。起動スケーリングによりトラフィックの変動に応じてリソースを動的に調整しコスト効率を最適化します。またセキュリティやメンテナンスの負担を軽減し開発者がアプリケーション開発に専念できるようにサポートします。これによりビジネスの成長に合わせて柔軟に対応できる環境が整います。
- 通話後文字起こし結果
サーバーワークスはクラウドベースのマネーコンピューターサービスの一つでインフラの管理を簡素化しアプリケーションのスケーラビリティを向上させます。自動スケーリングによりトラフィックの変動に応じてリソースを動的に調整しコスト効率を最適化します。またセキュリティやメンテナンスの負担を軽減し開発者がアプリケーション開発に専念できるようにサポートします。これによりビジネスの成長に合わせて柔軟に対応できる環境が整います。
医療関連の話
- 音声入力
例えば糖尿病に関する話をしましょう。糖尿病はインスリンの分泌や作用が不十分なために血糖値が高くなる疾患です。主に1型糖尿病と2型糖尿病があり1型は自己免疫による膵β細胞の破壊2型はインスリン抵抗性と分泌不全が原因とされます。合併症には網膜症腎症神経障害などがあり早期発見と適切な管理が重要です。これらは医師や医療従事者の指導の下で行われます。
- リアルタイム文字起こし結果
例えば糖尿病に関する話をしましょう。糖尿病はインスリンの分泌や作用が不十分なために血糖値が高くなる疾患です。主に一型糖尿病と二型糖尿病があり一型は自己免疫による水ベート細胞の破壊二型はインスリン抵抗性と分泌不全が原因とされます。合併症には網膜症人症神経障害などがあり早期発見と適切な管理が重要です。これらは医師や医療従事者の指導のもとで行われます。
- 通話後文字起こし結果
例えば糖尿病に関する話をしましょう。糖尿病はインスリンの分泌や作用が不十分なために血糖値が高くなる疾患です。主に一型糖尿病と二型糖尿病があり一型は自己免疫による水ベと細胞の破壊二型はインスリン抵抗性と分泌不全が原因とされます。合併症には網膜症腎症神経障害などがあり早期発見と適切な管理が重要です。これらは医師や医療従事者の指導のもとで行われます。
関西弁の会話
- 音声入力
昨日友達と久しぶりに会ってお好み焼き屋さんに行ってん。あの店昔からよう行ってたんやけど変わらず美味しくてめっちゃ懐かしい気分になったわ。友達とは最近忙しくてなかなか会われへんかったから話すことが山ほどあってついつい時間を忘れて喋ってしまってん。それから食べ終わった後に近くのカフェに移動してコーヒー飲みながらさらに深い話したり昔話に花咲かせたりしてほんまに楽しい時間やった。こういう時間大事にせなあかんなって改めて思ったわ。
- リアルタイム文字起こし結果
昨日友達と久しぶりに会ってお好み焼き屋さんに行ったんやけどあの店は昔からよく行ってたところで変わらず美味しくてめっちゃ懐かしい気分になったわ。友達とは最近忙しくてなかなか会えへんかったから話すことが山ほどあってついつい時間を忘れて喋ってしまった。それから食べ終わった後に近くのカフェに移動してコーヒーを飲みながらさらに深い話をしたり昔話に花を咲かせたりしてほんまに楽しい時間やった。こういう時間を大事にせなあかんなって改めて思ったわ。
- 通話後文字起こし結果
昨日友達と久しぶりに会ってお好み焼き屋さんに行ってあの店昔からよう行ってたんやけど変わらず美味しくてめっちゃ懐かしい気分になったわ。友達とは最近忙しくてなかなか会われへんかったから話すことが山ほどあってついつい時間を忘れて喋ってしまって。それから食べ終わった後に近くのカフェに移動してコーヒー飲みながら更に深い話ししたり昔話に花咲かせたりしてほんまに楽しい時間やった。こういう時間大事にせなあかんなって改めて思ったわ。
エラー率の比較
| 分類 | リアルタイム文字起こし エラー率 | 通話後文字起こし エラー率 |
|---|---|---|
| IT関連の話 | 1.93% | 1.93% |
| 医療関連の話 | 6.43% | 5.26% |
| 関西弁の話 | 8.49% | 2.83% |
※比較のために、「、」は削除して比較を行っています。
まとめ
今回はAmazon Connectのリアルタイム文字起こしと通話後文字起こしのエラー率の比較を行いました。
下記の論文より、プロの文字起こし担当者が「特定のトピックについての議論」を文字起こしした時のエラー率は、5.9%程度であり、「日常会話」を文字起こしした時のエラー率は、11.3%程度であることがわかっています。
Achieving Human Parity in Conversational Speech Recognition
エラー率を見ると、リアルタイム文字起こしの精度が低いことがわかります。 しかし、プロの文字起こし担当者と比べても、リアルタイム文字起こしの精度は同等程度であることがわかるため、どちらを選んでも十分に利用できると考えられます。
文字起こしの精度を最優先に考える場合は、通話後文字起こしを選択することをお勧めしますが、リアルタイム文字起こしを選択することも精度としては十分に有効であると考えられます。
