自動翻訳評価とは、自動翻訳の性能を様々な評価指標で評価する機能です。
評価対象の自動翻訳で、評価の元となる翻訳データを翻訳し、その翻訳結果と翻訳データを比較することで、評価指標を算出します。
以下の評価指標が算出されます。
評価指標 |
説明 |
---|---|
BLEU |
0~1の実数値で値が大きいほど良い翻訳 |
NIST |
0~∞の実数値で値が大きいほど良い翻訳 |
RIBES |
0~1の実数値で値が大きいほど良い翻訳 |
WER |
0~1の実数値で値が小さいほど良い翻訳 |
各評価指標は以下のツールを使って、算出しています。
評価指標自動翻訳評価の登録を行います。
(1) メニューから[便利アプリ]を選択します。
(2) [自動翻訳評価]を選択します。
(3) [新規登録]ボタンを押します。
(4) フォームの各項目を入力します。
項目 |
説明 |
---|---|
名前 |
自動翻訳評価の名前 |
項目 |
説明 |
---|---|
言語方向 |
自動翻訳評価の言語方向を決定します。 |
自動翻訳 |
評価するベースとなる自動翻訳 |
項目 |
説明 |
---|---|
順言語方向 |
言語方向と同じ対訳データを選択します |
逆言語方向 |
言語方向とは逆の対訳データを選択します。 |
(5) 全て入力し終わったら[OK]を押します。
登録が成功すると、自動翻訳評価一覧に追加されます。
(1) メニューから[便利アプリ]を選択します。
(2) [自動翻訳評価]を選択します。
(3) [編集]ボタンを押します。
(4) 以降は登録時と同じ手順となります。
(1) メニューから[便利アプリ]を選択します。
(2) [自動翻訳評価]を選択します。
(3) [削除]ボタンで選択し、[一括削除]ボタンを押します。
(4) 確認ダイアログが表示されますので、[OK]ボタンを押します。
登録が成功すると、成功画面が表示されます。
登録された対訳集の評価結果をダウンロードできます。
(1) メニューから[便利アプリ]を選択します。
(2) [自動翻訳評価]を選択します。
(3) [評価結果]ボタンを押します。
(4) 自動翻訳評価結果が表示されます。
(5) [評価結果ダウンロード]ボタンを押します。
成功すると、ファイルのダウンロードが開始されます。
登録された対訳集の評価データをダウンロードきます。
(1) メニューから[便利アプリ]を選択します。
(2) [自動翻訳評価]を選択します。
(3) [評価データ]をボタンを押します。
ボタンを押すとダウンロードが開始されます。
ダウンロードしたファイルは以下のように配置されています。
列目 |
説明 |
---|---|
1列目 |
原文 |
2列目 |
訳文 |
3列目以降 |
自動翻訳結果 |