DiffusionGemmaの「生成途中の揺らぎ」で概念の矛盾を測る
mediumAI 要約
DiffusionGemmaの拡散型言語モデルにおいて、最終出力ではなくデノイズ過程中のトークンの「揺らぎ」を観察し、概念間の矛盾や意味的緊張を測定しようとする実験的アプローチを紹介している。自己回帰型LLMとは異なる並列デノイズ方式を利用した新しい解釈可能性手法として注目される。研究者や解釈可能性(interpretability)に関心を持つ開発者に影響しうる。
DiffusionGemma拡散型LLM解釈可能性トークン揺らぎGoogle