日本語の広告画像向けタイポグラフィ属性の生成型解析：小規模 VLM の LoRA 微調整による検証

Abstract

本研究では、日本語のバナー広告画像におけるタイポグラフィ属性解析を生成形式で定式化し、小規模 VLM の LoRA チューニングによるタイポグラフィ属性解析の性能を検証する。広告バナー風のテキストや広告の設定、それらに基づく装飾パラメタなどの擬似データを LLM で生成し、擬似データから日本語テキスト画像を合成することで学習データを作成した。合成画像を入力としてフォント種・太さ・揃え・配色・字間・行間などのタイポグラフィ属性を構造化テキストとして生成するタスクを提案した。QwenVL2.5、Phi-4-Multimodal、Gemma3 といった 7B 以下の小規模 VLM に対し、合成データで LoRA チューニングを行い、日本語広告特有のタイポグラフィ表現に対する小規模 VLM の生成出力の傾向を調査した。