TR-SLT-0042 :2003.06.24

足立吉広,森島繁生,中村哲

動画翻訳におけるノンバーバル情報の制御

Abstract:近年映画等において、音声翻訳による「吹き替え」がよく行われている。これらは一般 的に人によって翻訳され、声優によって発音された音声を元の動画の音声と入れ替える手 法がとられている。この手法は映画中の俳優の口の動きと翻訳音声との間にずれが生じて いる。このような問題に対して、過去に緒方らによって動画翻訳システムが実現されてい る。この翻訳システムは音声を自動で翻訳し、かつ映画中の俳優に翻訳音声に同期した口 形を合成することにより、あたかも映画中の俳優が翻訳音声を話しているように見せるシ ステムである。しかしこのシステムは発話と密接に関係して起こる「うなずき」や「目の 周りの動き」等のノンバーバル情報について考慮されていなかった。その為、翻訳動画で は音声とノンバーバル情報の関係は崩れてしまっていた。 そこで翻訳音声とノンバーバル情報との関係を、原動画の音声とノンバーバル情報と の時間軸上の相対的な関係を保存する手法を用いて、翻訳動画におけるノンバーバル情報 の時間的位置の補正を行った。