日本大学文理学部 北原研究室

安坂 文汰



Theme

動画の盛り上がり度に基づいたループシーケンサ


Abstract

今日,スマートフォンの普及により,Youtubeやニコニコ動画などの動画共有サービスが人気を博している.これらの影響によって人々が動画を編集する機会が増加し,動画編集を支援するアプリケーションも普及した.より良い動画を作成するためには,バックグラウンドミュージック(BGM)の付与は必要不可欠だろう.しかしこのようなアプリケーションを用いても,使用する楽曲は自身で探す必要がある.自動作曲のアプローチは様々なものがあり,動画を基に自動作曲を行う研究もある.動画から自動作曲では色や動きなどの動画特徴量と調やコードなどの音楽特徴量に対して適切な対応付けをすることで楽曲生成をするがこれは必ずしも簡単ではない.本稿では既存研究で触れられていなかった動画の盛り上がりと楽曲の盛り上がりの対応付けを行うことで楽曲生成を行う.まず,動画の盛り上がり度の分布を取得し,その分布からテクノミュージックの自動生成を行う.動画の盛り上がり度の分布取得では動画のフレーム間での画素の動きを特徴量として抽出する.動画の対してモーションテンプレート解析を行い,動画の躍動の度合いを求め,盛り上がり度を推定する.推定した盛り上がり度をできるだけ再現するように,隠れマルコフモデル(HMM)を用いてループシーケンサに挿入する音素材を決定する.ただし,楽曲の始まりから終わりまで同じHMMを用いると、テクノ特有の楽曲構成を再現できないため,テクノの楽曲構成を考慮してHMMのパラメータを使い分ける.以上の処理を実現したシステムの実装を行い評価実験を行ったところ,動画の対応については7段階中4.86,自然なテクノミュージック生成については7段階中4.60となり,楽曲構成を考慮しない手法と比較したところ,10種類の動画に楽曲を付与する実験を行ったところ,楽曲が動画との盛り上がりと合致しているかは7曲,自然なテクノミュージックになったか6曲において,楽曲構成を考慮しない場合に比べて高評価が得られた.

Thesis

動画の盛り上がり度に基づいたループシーケンサ


Program

プログラム


Slide

2020年2月5日実施の卒業研究発表スライド


Sample