コンテンツ科学研究室

研究内容: 単語概念の心像性推定

データから実際に抽出される情報と，人間によるその解釈との間に存在する差異は，セマンティックギャップと呼ばれます．機械にとって，人間の期待に沿った単語を適切に選択することは，しばしば困難なことです．例えば，車の画像に対して，「乗り物」という説明文を付けるのは抽象的過ぎ，一方で車の車名などを説明文とするのは具体的過ぎます．単語の視覚的な包含関係を理解することができれば，単語の抽象度を決定することができます．

本研究では，様々な単語に対して人間が受け取る印象の違いを定量化します．抽象的な単語は多様な概念を包含しているためイメージしにくく，一方で具体的な単語はより狭義的な概念を指すことが多いためイメージしやくすなると考えられます．このアイデアを利用して，様々な単語に対する特徴の多様性を計算し，単語の抽象度を推定します．

また，視覚的な特徴だけでなく，発音などの言語的な特徴も考慮し，単語に対するそれぞれの特徴と人間の知覚との関係性も分析しています．

[ソース] https://github.com/mkasu/imageabilityestimation

[データセット] https://github.com/mkasu/imageabilitycorpus

メンバー

松平 茅隼

D3

カストナー マーク アウレル

協力研究員 (広島市立大学 助教)

最新の研究成果

A multi-modal dataset for analyzing the imageability of concepts across modalities

Marc A. Kastner, Chihaya Matsuhira, Ichiro Ide, Shin’ichi Satoh
Proc. 4th IEEE Int. Conf. on Multimedia Information Processing and Retrieval (MIPR2021), pp.213-218, オンライン, September 2021.

Imageability estimation using visual and language features

Chihaya Matsuhira, Marc Aurel Kastner, Ichiro Ide, Yasutomo Kawanishi, Takatsugu Hirayama, Keisuke Doman, Daisuke Deguchi, Hiroshi Murase
Proc ACM Int. Conf. on Multimedia Retrieval (ICMR) 2020, pp.306-310, Online, October 2020.

Estimating the imageability of words by mining visual characteristics from crawled image data

Marc Aurel Kastner, Ichiro Ide, Frank Nack, Yasutomo Kawanishi, Takatsugu Hirayama, Daisuke Deguchi, Hiroshi Murase
Multimedia Tools and Applications, vol.79, no.25, pp.18167-18199, July 2020.

On the quantification of the mental image of visual concepts for multi-modal applications

Marc Aurel Kastner, Ichiro Ide, Yasutomo Kawanishi, Takatsugu Hirayama, Daisuke Deguchi, Hiroshi Murase
情報処理学会研究報告, 2020-CVIM-222-5, オンライン, May 2020.

視覚特徴と言語特徴を用いた単語の心像性推定の検討

松平茅隼, カストナーマークアウレル, 井手一郎, 川西康友, 平山高嗣, 道満恵介, 出口大輔, 村瀬洋
言語処理学会第26回年次大会, no.P1-12; pp.45-48, オンライン, March 2020.

Estimating the visual variety of concepts by referring to Web popularity

Marc Aurel Kastner, Ichiro Ide, Yasutomo Kawanishi, Takatsugu Hirayama, Daisuke Deguchi, Hiroshi Murase
Multimedia Tools and Applications, vol.78, no.7, pp.9463-9488, April 2019.

A preliminary study on estimating word imageability labels using Web image data mining

Marc Aurel Kastner, 井手一郎, 川西康友, 平山高嗣, 出口大輔, 村瀬洋
言語処理学会第25回年次大会予稿集, no.A4-7; pp.747-750, 名古屋大東山校舎, March 2019.

Web画像の分布に基づく単語概念の視覚的な多様性の推定

カストナーマークアウレル, 井手一郎, 川西康友, 平山高嗣, 出口大輔, 村瀬洋
情報処理学会研究報告, 2018-CVIM-211-4, 立命館大びわこ・くさつ校舎, March 2018.