TOPページ > 2020年11月号の記事 字幕制作システムの高度化提案

技術提案 字幕制作システムの高度化提案

感情が表現できる字幕システム
NHKテクノロジーズがDNPと共同開発

岡田俊一氏 
NHKテクノロジーズ デジタル開発技術本部 IT開発・運用センター 情報システム部 部長岡田俊一氏
NHKテクノロジーズ デジタル開発技術本部 IT開発・運用センター 情報システム部 部長

まるで棒読みのようだった字幕が感情を表現するようになる。たとえば、便利に使っている「すみません」という言葉も、状況や感情で意味が変わる。でも、今の字幕では、その違いを文字面からは読み取れない。この状況を打ち破ったのは、株式会社NHKテクノロジーズ(NT)が大日本印刷株式会社(DNP)と共同で開発した「感情表現字幕システム」だ。そのプロトタイプが「超福祉展」(9月2~8日、渋谷ヒカリエおよびオンラインで開催)で展示された。


ユニバーサルメディアを考える

 きっかけは、教育番組を手がけるNHKエデュケーショナル(NED)がテレビ番組の制作技術を多様なメディアで生かし視聴者に届けることを目的に、2015年に立ち上げた組織横断的なワークショップ「創発Café」だった。この「創発Café」に2年目より参加したのがNTの前身のNHKメディアテクノロジーで、2018年度のテーマに挙がったのが「ユニバーサルメディア」だった。

 感情表現字幕システム開発の発案者である岡田俊一氏(NT デジタル開発技術本部IT開発・運用センター 情報システム部 部長)は、当時、ニュース字幕を送出するテクニカルディレクター担当だった。「視覚や聴覚に障害のある人はテレビをどう楽しんでいるのか、そんな疑問からのスタートでした」。さっそく岡田部長らはインタビューやフィールドワークなどを行い、リードユーザーが普段どんなメディアに接し、どんな方法で楽しんでいるのかなど、日常生活を知ることから始めた。

「リードユーザーと渋谷の街を歩いたり、食事をしたり、いろいろな体験を一緒にしました。そうしたなかで、これまでの字幕のフォントには抑揚がないこと、発話者がわかりにくいこと、タイミングがずれるなどの課題があること、テロップに使われるユニークなフォントは印象深くなることを知ったのです」。ある日の深夜、テレビ番組でギターのネック付近に音色のオノマトペをテロップで表現している写真がリードユーザーからLINEで送られてきて、これがとってもわかりやすくおもしろかったという。「文字が感情を伝える大事な役
割を果たしているのではという直感が確信に変わった瞬間でした!」(岡田氏)。

ポイントは
字幕制作のオートメーション化

 とはいえ、番組に字幕を入れる作業は制作サイドにとって大きな負荷となっている。だから、できるだけオートメーション化することを考え、AIに着目したという。音声認識技術によるテキスト化、顔認識技術による感情の読み取りだ。音声認識技術はクラウドサービスの一般的なものを活用し、感情を表わすフォントはDNPが2018年に開発した「DNP感情表現フォントシステム」を活用した。  DNP感情表現フォントシステムは、文章の内容や映像内の発話者の表情から、その言葉が 持つ感情やイメージを12種類(安らぎ、穏やか、楽しい、喜び、好き、哀れ、不安、恐怖、怒り、驚き、デジタル=ネットスラング、ニュートラル=中立)に分類し、それに最も適したフォントを自動で判別して変換する。さらに、映像内の発話者を特定し、その口元近くに字幕を自動的に表示することができる。

 こうして出来上がったプロトタイプが超福祉展でお披露目された。岡田氏は次のステージを見据えてこういう。「感情表現字幕システムはテレビ番組だけにとどまらず、アニメや映画など、さまざまな分野での活用が期待できます。また、AIの精度を上げることで生放送やインターネット同時配信サービスの字幕展開も可能です」。  最後にこうも話す。「あらゆるメディアの字幕を、ただ付加するという範囲を越え、誰もがもっと楽しめるものにしていきたい」

写真 展示状況

@月刊ニューメディア2020年11月号掲載

新刊

HDR 制作解説書 Ver.3
HDRとSDRのサイマル制作HDR 制作解説書 Ver.3144ページ 定価1,500円 (税込送料別)

新刊

IP ライブ伝送制作システム解説書 Ver.3
規格の基本解説と国内導入の最新動向IP ライブ伝送制作システム解説書 Ver.3104ページ 定価1,000円 (税込送料別)

好評発売中
NEWMEDIA別冊

HDR制作の解説書
次代の映像クリエーターたちが執筆HDR制作の解説書

好評発売中
NEWMEDIA別冊

IPライブ伝送制作システムの解説書
「SDIからIPへ」何を変え、何を生み出すか 月刊ニューメディア1月号別冊
解説書 IPライブ伝送制作システム
※ニューメディアからの直接販売のみとなります。

好評発売中

HDR制作解説書Ver.2
世界の映像クリエーター、技術者による解説 月刊ニューメディア12月号別冊
解説書 HDR制作 140ページ 定価1,500円(税込/送料別)
※ニューメディアからの直接販売のみとなります。

好評発売中

IPライブ伝送制作システム解説書Ver.2 
動き始めた導入事例と国際規格の動向 月刊ニューメディア12月号別冊
解説書 HDR制作80ページ 定価1,000円(税込/送料別)
※ニューメディアからの直接販売のみとなります。

好評発売中

「一周まわってテレビ論」とローカル放送展望の解説書 月刊ニューメディア12月号別冊
解説書 HDR制作84ページ 定価1,000円(税込/送料別)
※ニューメディアからの直接販売のみとなります。

雑誌、書籍ご購入
日本画質学会
募集

・今と言えば、今すぐ対応できる人
・短時間で仕上げられる人
・たび重なる修正に耐えられる人
・安くてもOKな人
担当:渡辺・本誌編集長
TEL:03-3542-5231

完売
NM新書「創業記シリーズ」(2)
雪のサムライ
越後上越人の創業発想史
天野 昭著

252ページ 本体800円+税(送料別)画像 NM新書「創業記シリーズ」(2)
雪のサムライ
越後上越人の創業発想史
天野 昭著52ページ 本体800円+税(送料別)
完売
The FileBase Book2The File Base Book 2
『ローカル局におけるファイルベース化を考える』

 

好評発売中

鄙の逆襲
21世紀型地域情報化による過疎地域の再生 表紙 鄙の逆襲
21世紀型地域情報化による過疎地域の再生

吉崎正弘著
発行2009年5月15日
本体2,000円+税
ISBN978-4-931188-36-5
送料実費

単品注文
完売
日本初!「ファイルベース」本格テキスト本 刊行へ!!
『The File Base Book
 ~ MXFによる放送ワークフローの変革~』
好評発売中

サービス・制度・標準化動向・著作権問題を全て網羅。世界初の総合的なIPTVの解説書
IPTV 放送・通信融合サービスの大本命 表紙 IPTV 通信・放送融合サービスの大本命
本間祐次著
発行2007年6月13日
定価2,000円+税
B6判/326頁
送料実費

単品注文
完売 (2刷)

気鋭のメディア論学者による、デジタル放送論の決定版!!
デジタル化の波のなかで 表紙 完売
放送メディアの現代的展開
デジタル化の波のなかで
(改訂版発行・増刷が決まり次第、予定を掲載いたします)
音 好宏著
発行2007年1月19日
B6判/216頁

単品注文
好評発売中 (2刷)

2010年には1兆円達成も夢ではない!
若手必読の書
デジタル時代に勝つ技術戦略 表紙
ケーブルテレビ1兆円産業論
デジタル時代に勝つ技術戦略

田口和博著
発行2007年1月11日
本体2,000円+税
B6判/236頁
送料実費

単品注文
好評発売中

日本の情報通信政策畑の第一人者、12冊目の著作
u-Japan 2010年の日本 表紙 u-Japan
2010年の日本

吉崎正弘著
発行2005年1月31日
本体2,000円+税
B6判/298頁
送料実費

単品注文

 


燃料電池ビジネス

GetAdobeReader

GetFlashPlayer