コンテンツ科学研究室

研究内容: 心像性に基づく画像キャプショニング

画像キャプションの実際に用いられる用途に応じたキャプションの生成を目指しています．

例えば，視覚障がい者が画像内容を把握するには，できるだけ画像内容を詳細に記述したキャプションが好まれます．一方，ニュース記事中の画像に対しては，画像内容の記述よりもニュース記事の内容を盛り込んだキャプションが好まれます．このように，実社会において用いられる画像キャプションには様々な場面があり，それぞれの用途に応じて望まれる性質は異なります．それらに応じたキャプション生成を目指し，井手研究室では画像内容の説明の詳しさを自在に指定した画像キャプショニングに取り組んでいます．

そこで，単語内容のイメージしやすさを表す指標である「心像性（Imageability）」に着目し，それをキャプション文に拡張することで，意図したイメージしやすさのキャプションを生成できます．例えば，キャプショニングモデルに画像を入力し，低い値を指定した場合，簡潔なキャプションを生成し，高い値を指定した場合は画像内容を詳しく説明したキャプションを生成します．

メンバー

梅村 和紀

2020年度 博士前期課程 修了

カストナー マーク アウレル

協力研究員 (広島市立大学 助教)

最新の研究成果

Imageability- and length-controllable image captioning

Marc A. Kastner, Kazuki Umemura, Ichiro Ide, Yasutomo Kawanishi, Takatsugu Hirayama, Keisuke Doman, Daisuke Deguchi, Hiroshi Murase, Shin'ichi Satoh
IEEE Access, vol.9, pp.162951-162961, November 2021.

Tell as you imagine: Sentence imageability-aware image captioning

Kazuki Umemura, Marc A. Kastner, Ichiro Ide, Yasutomo Kawanishi, Takatsugu Hirayama, Keisuke Doman, Daisuke Deguchi, Hiroshi Murase
MultiMedia Modeling -27th Int. Conf., MMM2021, Prague, Czech Republic, June 22-24, 2021, Procs., Part II, Jakub Lokoč, Tomáš Skopal, Klaus Schoeffmann, Vasileios Mezaris, Xirong Li, Stefanos Vrochidis, Ioannis Patras eds., Lecture Notes in Computer Science, vol.12573, pp.62-73, Online, June 2021.

心像性を考慮した画像キャプショニングの検討

梅村和紀, カストナーマークアウレル, 井手一郎, 川西康友, 平山高嗣, 道満恵介, 出口大輔, 村瀬洋
画像の認識・理解シンポジウム（MIRU）2020, no.IS3-2-1, オンライン, August 2020.

心像性に基づく画像キャプショニングの検討

梅村和紀, カストナーマークアウレル, 井手一郎, 川西康友, 平山高嗣, 道満恵介, 出口大輔, 村瀬洋
電子情報通信学会メディアエクスペリエンス・バーチャル環境基礎研究会, MVE2019-69；2020年3月研究会MVE賞受賞, オンライン, March 2020.

Estimating the imageability of a sentence for image caption evaluation

Kazuki Umemura, Marc Aurel Kastner, Ichiro Ide, Yasutomo Kawanishi, Daisuke Deguchi, Hiroshi Murase
Japan-Taiwan Joint Workshop on Multimedia and HCI, 國立成功大學（臺灣，臺南）, April 2019.

画像キャプションの質的評価に向けた文の心像性推定手法の検討

梅村和紀, カストナー マークアウレル, 井手一郎, 川西康友, 平山高嗣, 道満恵介, 出口大輔, 村瀬洋
言語処理学会第25回年次大会予稿集, no.A4-9; pp.755-758, 名古屋大東山校舎, March 2019.