研究内容

膨大なマルチメディアデータ(テキスト文書, 画像, 動画, 音声, 3D形状)から有用なデータを抽出・検索するデータサイエンスの研究を行っています。特に、深層学習を利用した5W1Hの研究、たとえば、学名推定 (What) : 作者推定 (Who) : 場所推定 (Where) : 過去の時代推定や将来の予測 (When) : 感情推定 (How do we feel? ) : 原因推定 (Why) : これらの検索(How similar?): 自動注釈付与(How do we generate annotations?)など、マルチモーダルなデータ処理でユニークな研究、世界的なレベルの研究を目指しています。

 3Dモデル・3Dシーン検索・アノテーション自動生成の研究 

 3Dモデルならびに3Dシーンに対する形状類似検索、一部分だけ与えて、それを含むモデルやシーンを検索する部分形状類似検索、3Dモデルや3Dシーンへの自動アノテーション付加などの研究を行っています。また、言葉からの3Dモデルや3Dシーンの自動生成の研究にも着手しています。

How similar? (3D 形状類似検索システム事例)
How similar (3Dシーン検索事例)

What, Who, Where, When, Howなどに対する高精度な自動認識、検索、自動生成の研究 

 文章や画像、音声、動画、時系列データ等を与えて、それが何を表すか?誰の作品(文章)であるか?どこで撮影されたものか?いつ記録されたものか? 将来どのような傾向になりそうか?などを紐解く人工知能技術を研究しています。専門家でも間違いそうな繊細な違い(特徴)も見分けられる技術開発を目指しています。同時に、これらの技術の土台技術である「データ拡張」の技術開発も行っています。たとえば、ある「もの(ひと)」にそっくりなデータを生成し、学習データを拡張する技術なども行っています。

What ingredients? (料理と食材推定の研究事例)
How to detect objects? (自動運転に向けての低コスト・高精度な物体検出研究事例)

感情推定、原因推定、信憑性推定、質問応答システムの研究

 テキストや画像、音声、動画などから、感情推定 (What kind of emotions?)、原因推定(Why?)、信憑性推定 (How credible?)などを行う技術開発を行っています。またマルチメディア(特に画像)を与えて、それに付随する質問に対する自動回答ができるシステムの技術開発を目指しています。

Twitter中のEmojiでの感情(anger,fear,joy,sadness)推定の研究事例
Twitterの感情推定に用いたモデル例