みんなの自動翻訳@TexTra®

自動翻訳評価

自動翻訳評価について

自動翻訳評価とは、自動翻訳の性能を様々な評価指標で評価する機能です。

評価対象の自動翻訳で、評価の元となる翻訳データを翻訳し、その翻訳結果と翻訳データを比較することで、評価指標を算出します。

評価指標について

以下の評価指標が算出されます。

評価指標

説明

BLEU
(Papineni et al., 2002)

0~1の実数値で値が大きいほど良い翻訳

NIST
(Doddington, 2002)

0~∞の実数値で値が大きいほど良い翻訳

RIBES
(Isozaki et al., 2010)

0~1の実数値で値が大きいほど良い翻訳

WER
(Jurafsky and Martin, 2000)

0~1の実数値で値が小さいほど良い翻訳

各評価指標は以下のツールを使って、算出しています。

評価指標

自動翻訳評価の登録

自動翻訳評価の登録を行います。

(1)メニューから[自動翻訳 > 自動翻訳評価]を選択します。

(2)[新規登録]ボタンを押します。

(3)フォームの各項目を入力します。

Step.1 基本情報を入力します。

項目

説明

名前

自動翻訳評価の名前を定義します。

Step.2 ベースとなる自動翻訳を選択します。

項目

説明

言語方向

自動翻訳評価の言語方向を決定します。

自動翻訳

評価するベースとなる自動翻訳

Step.3 対訳データの選択

項目

説明

順言語方向

言語方向と同じ対訳データを選択します

逆言語方向

言語方向とは逆の対訳データを選択します。

(4)全て入力し終わったら[OK]を押します。

自動翻訳評価の編集

(1)メニューから[自動翻訳 > 自動翻訳評価]を選択します。

(2)[編集]ボタンを押します。

(3)以降は登録時と同じ手順となります。

自動翻訳評価の削除

(1)メニューから[自動翻訳 > 自動翻訳評価]を選択します。

(2)[削除]ボタンで選択し、[一括削除]ボタンを押します。

(3)確認ダイアログが表示されますので、[OK]ボタンを押します。

登録が成功すると、成功画面が表示されます。

自動翻訳評価結果のダウンロード

登録された対訳集の評価結果をダウンロードできます。

(1)メニューから[自動翻訳 > 自動翻訳評価]を選択します。

(2)[評価結果]ボタンを押します。

(3)自動翻訳評価結果が表示されます。

(4)[評価結果ダウンロード]ボタンを押します。

成功すると、ファイルのダウンロードが開始されます。

自動翻訳評価データのダウンロード

登録された対訳集の評価データをダウンロードきます。

(1)メニューから[自動翻訳 > 自動翻訳評価]を選択します。

(2)[評価データ]をボタンを押します。

ボタンを押すとダウンロードが開始されます。

ダウンロードしたファイルは以下のように配置されています。

列目

説明

1列目

原文

2列目

訳文

3列目以降

自動翻訳結果