今月の表紙 4K映像から特定の被写体を自動追尾して切り出し
スポーツ中継などで選手別の映像化を目指す
佐藤 誠 日本テレビ放送網(株) 技術統括局技術開発部専門部次長
林 丈樹 NTTテクノクロス(株) メディアイノベーション事業部
第一カンパニー第二システム担当(映像システム)マネージャー
杉島慎之輔 NTTテクノクロス(株) メディアイノベーション事業部
第一カンパニー第二システム担当(映像システム)アシスタントマネージャー)

「画像認識による自動追尾切り出し」のシステム。左側のPC に入っている画像認識追尾のソフトウェアが画像を自動追尾する。「4K → HD 切り出し装置」は中央下の赤い機器。右側の下の画面は、着陸する旅客機を広角撮影した4K 映像。旅客機を自動追尾して切り出した拡大映像が、上の画面に表示されている。

●文:渡辺 元・本誌編集長
●写真:木藤富士夫

 日本テレビが3月7日〜 8日に開催した放送技術の展示会「CREATIVETECHNOLOGY LAB」(旧「デジテク」)に、マルチアングルのライブ配信コンテンツを効率的に制作できる技術が展示された。日テレがNTTテクノクロス、アストロデザインと共同で展示した「画像認識による自動追尾切り出し」技術だ。この技術は、4Kなどの高解像度の映像から特定の被写体の動きを検出して、その被写体を中心にした部分をHDで切り出す。デモ展示では、空港などに設置した情報カメラの想定で、下の画面には飛行場に着陸する旅客機を捉えた広角撮影の4K映像、上の画面には広角映像から旅客機を自動追尾して拡大したHD映像を同時に流した。

 開発の発端は3年前だ。日テレとアストロデザインは、4Kで撮影した映像からHDを切り出して、映像を回転させたり、車の振動で映像が揺れないように画像処理で行える工夫をした4K-HD低遅延切り出し回転装置(GP-4020)の開発に着手していた。中継車などで撮影する際には、映像が揺れないようにカメラを防振台に設置する。開発装置では、防振台が使用できないような中継車からの撮影においても、画像処理で揺れを抑圧することが検討された。その内容は、4K映像で撮影しておき、車の揺れを検知するジャイロセンサの情報に応じて、揺れがないようにHD映像を切り出すという方法だった。

 今回はこのシステムの技術を応用した。X,Yのジャイロ情報の代わりに、画面上の被写体の動きを画像認識で検出したX,Yの座標と拡大率の情報を入力し、被写体を常に画面の中心に捉え、その部分だけ切り出して拡大表示できる。生放送で使えることを想定して、元になる映像の入力から切り出す映像の出力までの遅延をわずか1フレームまで短くした。

 今回の技術は、画面上の被写体の動きを正確に検出することが重要だ。この画像認識技術にNTTテクノクロス(旧NTTアイティなどが今年4月1日付で合併して設立された新会社)の協力を得た。NTTテクノクロスが技術協力した画像認識追尾装置は、「色相と明度と彩度から切り出したい被写体を特定し、自動的に追尾するアルゴリズムを開発しました。検出した被写体の座標情報は、4KからHDの映像を切り出す装置に入力します」(杉島慎之輔・NTTテクノクロス(株) メディアイノベーション事業部第一カンパニー第二システム担当(映像システム)アシスタントマネージャー)。開発の中心となった佐藤 誠・日本テレビ放送網(株) 技術統括局技術開発部専門部次長は、「今回の展示会では4K撮影時のイメージをお見せしましたが、すでに8Kなどの高解像度で撮影した映像から4K映像を切り出すという要望があり、技術的な流用は可能」と見通しを語る。元の画像の解像度が上がれば画像認識も容易となり、用途も広がる。

 最も期待している用途は、スポーツ中継番組だ。だが、サッカーやバレーボール、ラグビーなど選手が入り乱れて激しく動く映像から、一人一人の選手を同時に認識して追尾させるためには、技術の向上が必要になる。「今、そのための技術的な工夫に取り組んでいるところです。選手の顔やゼッケン番号を元に、各選手がどのような動きをしたか解析することを目指しています」(佐藤氏)。人工知能による学習機能が重要となる。

 これからのスポーツ中継番組では、放送の本線映像だけでなく、好きな選手の動きだけを追いかけた映像などマルチアングルのコンテンツ配信を検討するには、同時に複数のコンテンツを制作する技術が必須となる。映像の中から特定の人物を切り出す作業が、人手に頼らず画像認識によって自動的にできれば効率的だ。今回日テレなど3社が目をつけたのはそこだ。「それぞれの視聴者の好みの選手の動きを撮影した映像提供するためには、両チームの全選手の個別の映像を同時に撮影しなければいけませんが、それにコストをかけることはできません。今回の技術は低コストで実現することを目指しています」(佐藤氏)。

 この技術はすでに一般ユーザ向けの実証実験に使われた実績がある。「昨年あるスポーツの試合で、スタジアムで観戦している人に対して、特定の選手を追いかけた映像をスタジアムのWi-Fi設備を使ってライブ配信しました」(林 丈樹・NTTテクノクロス(株) メディアイノベーション事業部第一カンパニー第二システム担当(映像システム)マネージャー)。現在、スポーツ番組での利用も検討しているところだ。「今回の展示会では、社内外のクリエイターにも見てもらいました。画像認識・追尾・切り出しができれば何に利用ができるか、どんな機能を加えてほしいか、といった要望が寄せられています。現在のこの技術は完成したものではなく、これからさらに開発していくための第一歩です。視聴者が見たい絵作りを画像処理で自動的に可能にする技術の構築を目指しています」(佐藤氏)。

月刊ニューメディア アイコン