2023/04/25
活動は研究室ホームページに記載していく方針に徐々に移行してます。
News
2023/04/25
研究室ホームページを作成しました。
2023/04/01
お茶の水女子大学に講師として着任しました！これからも皆様どうぞよろしくお願い致します！！！
2023/03/31
神戸大学を退職しました。ありがとうございました！
2023/03/13~03/16
Shonan meetingに参加しました！大変勉強になる会でした。
2023/03/08~03/10
インタラクション2023にて「ダンスパフォーマンスにおけるあがりに弱い人を支援するための動作・生体情報分析」について登壇発表しました。また、優秀賞を受賞しました。楽しく発表できました！
2023/03/04
IPSJ-ONEで「ダンス情報処理が創り出す表現の世界」について発表しました。5分で土田の研究をざっと説明しています。
2023/01/16
はこだて未来大学「センサ工学」招待講演で「ダンスを通してヒトを知る」というタイトルで最近の研究について話しました。
Research
ダンスパフォーマンスにおけるあがりに弱い人を支援するための動作・生体情報分析
土田修平（神戸大学），大西 鮎美（神戸大学），向井香瑛（早稲田大学），渡辺 謙（早稲田大学），渡邊 克巳（早稲田大学），寺田 努（神戸大学），塚本昌彦（神戸大学）
本研究では，プレッシャーによって引き起こされる「あがり」に上手く対処できない人を対象としたあがり対処支援システムの構築を目指して，プレッシャーのかかる本番環境とプレッシャーのかからない練習環境におけるダンサーの動作・生体情報を分析する．分析を通してあがりを上手く対処できる人とそうでない人との違いを明らかにし，その違いを埋められるようなあがり対処支援手法について検討する．プレッシャーのかかる本番環境を構築するために，ダンスオーディションを企画し，その審査過程における参加者のさまざまな心身の状態を計測・分析する．
ENG:
振りの理解を助けるためのダンス動画の自動分割
遠藤輝貴（東京大学）、土田修平（神戸大学）、五十嵐健夫（東京大学）
本研究ではダンス動画の振りを短時間の動きへと自動で分割する手法を提案する．提案手法では動画中のダンサーのポーズ情報から視覚特徴量を，動画中の音楽から聴覚特徴量をそれぞれ計算し，これらをTemporal Convolutional Network (TCN) に入力して，出力された分割可能性のピークを検出することで動画の分割位置を求める．本論文では提案手法の詳細や実験結果と，自動分割を応用したダンス学習支援システムについて述べる．
ダンスをマスターした自身の映像を先に見ることによるダンス学習支援
土田修平（神戸大学）, Mao Haomin（神戸大学）, 岡本 秀明（ソフトバンク株式会社）, 鈴木
裕真（ソフトバンク株式会社）, 金田 麟太郎（ソフトバンク株式会社）, 堀 隆之（ソフトバンク株式会社）, 寺田 努（神戸大学）, 塚本 昌彦（神戸大学）
本研究では，プロフェッショナルなダンサーのダンスをマスターして踊る自身の映像を見ながらダンス動作を学習する学習支援手法を提案する．理想的な動作を行う自身の映像を見ることで行動の改善を促す「ビデオセルフモデリング」は，運動技能の学習においても有効とされる．しかし，理想的な動作を行なっている自身の映像を作成するには，多くの時間を割く必要があり手間がかかる．そこで，深層学習による映像生成技術を用いて参照動画中のダンサーの動作と同じ動作を行う学習者自身の映像を自動で生成し，その映像を見ることで学習者の学習を促す．
ダンスステップ学習における分離学習の適用
土田修平（神戸大学）, 寺田 努（神戸大学）, 塚本昌彦（神戸大学）
我々の研究グループでは，身体を動かさずに情報提示を受けることに集中するフェーズと動作を実施するフェーズの二つに分割して学習を進める「分離学習」という学習方法を提案している． 本研究では，身体全体を使ったダンスステップの習得のための情報提示システムを構築し，ダンスステップの習得においても分離学習が適用可能か，また動作の習得難易度によって分離学習の有効性に影響を及ぼすかについて評価した．
ダンスレッスンの可能性を拡張する講師ー生徒サポートAIシステムの開発
柴崎加奈子, 土田修平（神戸大学）, 清水大地（東京大学）
COVID-19により、ダンスレッスンもZoom等のオンライン環境により実施されるようになった。一方で、そこでは以下の複数の課題が見受けられることが分かっている。以上の課題を解決するためのダンスレッスンのシステムを構築・提案することにより、複数の生徒に対する細やかな指導、各生徒のペースに合わせた豊かな学習、講師―生徒間のコミュニケーションを取る事も可能となると考えられる。
・生徒間、及び生徒講師間でのコミュニケーションが取りづらい
・一人一人に指導が行き届かず、従来の対面レッスンのような細やかな指導がしづらい
ダンスモーションの反復練習とその上達過程の可視化
川西真美（お茶の水女子大学）, 土田修平（神戸大学）, 伊藤貴之（お茶の水女子大学）
我々は，同一のダンスを反復的に練習した際の動作の差異や変化を可視化することで，ダンスのスキル向上に寄与する可視化システムを開発している．本手法では，同一人物による同一のダンスの練習を複数回計測する．そして各モーションに対して，動作のタイミングを揃える時間補正，ダンサーの位置や身体の向きを揃える空間補正を適用する．講師による模範動作も計測されている場合には，ダンサーと講師の間の体格差を補正する体格補正も適用する．続いて補正後の各モーションを構成する手足などのパーツに対してクラスタリングを適用し，クラスタリング結果を可視化する．ユーザはその可視化結果にもとづいて任意の複数のモーションを選んで，これらをアニメーション表示することで，ダンサーの動作の差異や変化を確認することができる．
ENG:
DanceUnisoner: グループダンスパフォーマンス動画作成インタフェース
土田修平（産業技術総合研究所）, 深山 覚（産業技術総合研究所）, 後藤真孝（産業技術総合研究所）
複数人でのダンスのイメージを振付師1人でも検討・確認・共有できるグループダンスパフォーマンス動画作成インタフェース DanceUnisoner を開発した． DanceUnisoner では，ダンサー1人が踊っているダンス動画をコピー&ペーストの要領で三次元空間に配置していくことで，グループダンスの動画を手軽に作成できる． グループダンスの人数や配置，向き，大きさ，時間ずれを一括で容易に変更できるシンプルなGUIを備える．
AIST Dance Video Database:ダンス情報処理研究のためのストリートダンス動画データベース
土田修平（産業技術総合研究所）, 深山 覚（産業技術総合研究所）, 濱崎雅弘（産業技術総合研究所）,
後藤真孝（産業技術総合研究所）
産総研ダンスビデオデータベースは、著作権をクリアした60曲の楽曲と13940本のストリートダンスビデオを含む大規模データベースです。 ダンスモーション分類やダンサー識別などのダンス情報処理の研究を促進させます。
Query-by-Dancing: 身体動作の類似性に基づくダンス楽曲検索システム
土田修平（産業技術総合研究所）, 深山 覚（産業技術総合研究所）, 後藤真孝（産業技術総合研究所）
ダンス動画データベース中を検索するためのクエリとして，ユーザのダンス動作を用いるQuery-by-Dancingを開発した． このシステムは，クエリであるダンスに含まれるポーズ（姿勢）とモーション（動作）を抽出し，それらに類似したポーズとモーションが含まれるダンス動画を検索する． 得られたダンス動画に付随する楽曲を用いることで，自分のダンスに適した楽曲を検索できる．
球体型自走ロボットを用いたダンスパフォーマンス環境の構築
土田修平（神戸大学）, 寺田 努（神戸大学）, 塚本昌彦（神戸大学）
本研究では，パフォーマが自身の動作と移動ロボットの動作の対応を考慮しつつ，インタラクティブにパフォーマンスを作成できる仕組みを構築する．具体的には球体型自走ロボットの動作と，LED の光という要素を加えたパフォーマンスを自由に作成できるシステムを開発した．システムの有効性を評価するために，3 名のパフォーマに，実際にシステムを利用してパフォーマンスの作成およびパフォーマンスの実演を行ってもらった.
ダンスパフォーマンスにおける自走型スクリーンを用いた隊形練習支援
土田修平（神戸大学）, 寺田 努（神戸大学）, 塚本昌彦（神戸大学）
本研究では，隊形練習において一部のダンサーが欠けてもスムーズに練習を行うための自走型スクリーンを用いたダンス練習支援システムを提案する． システムの提案にあたって，1 人で踊る，自走ロボットと踊る，プロジェクタ映像と踊るの3 つの隊形の練習手法のうち，どれが実際にダンサーと2 人で踊る練習手法の感覚に近いかを調査した． その結果から，プロジェクタ映像と踊る手法が最も感覚が近く，自走ロボットと踊る手法が最も移動の再現性が高いことを確認した． これら2 つの手法を組み合わせた隊形練習における一部のダンサーが欠けてもスムーズに練習を行うための自走型スクリーンを用いたダンス練習支援システムを提案した．
Works
Mimebots
Mimebotは、LEDの光を用いて、観客に球体が回転しているように錯視させることができます。
そのため、Mimebotsは現実的な球体の動きを表現できるだけでなく、物理学の法則と矛盾する動き、たとえば上り坂を転がるように見える動きも表現できます。
また、リアルな球体の動きを用いること、周囲の環境を錯視をさせることもできます。 例えば、壁に衝突したように見せることで、目に見えない壁の存在を表現できます。
PerMo
新体操、ジャグリング、マジック、フリースタイルフッ トボールやパントマイムといった古典的な身体パフォーマンスに加え、MOVEment、Moon
Beams、Metamorphose(s)、Ballons de baudruche、La danse des
ballonsといった作品で見られるように、身体表現と球体のオブジェクトを組み合わせたパフォーマンスが多くみられる。
これらパフォーマンスにおいて移動ロボットを組み合わせたものを想定し、 新たな機構を搭載した球体型移動ロボットPerMoを作成した。
