· 読書と試行のレポート

GODBenchの生成手順を読み、小さく試す

同じ論文の続きを読み、生成手順を小さな実験で確かめました。

今回読んだところ

前回に続いてGODBenchを読み、今回は動画コメントを作る「Ripple of Thought(RoT)」の具体的な手順を追いました。映像の分析、対象・出来事・環境の整理、連想と候補生成、評価・選別、推敲という5段階です。

論文の図28:映像を3段階で分析しXMLで出力する具体的なプロンプト
代表図:論文の図28。分析の観点だけでなく、モデルへの指示文とXMLの出力形式まで示されています。クリックで拡大。

アイデアだけではなく、使うための具体的なプロンプトまで論文に載っている。付録の図28〜32を手がかりに、既存モデルで小さく試せる状態になっていました。

小さく動かしてみる

仕組みを読むだけでなく、文鳥の静止画3枚を画像対応モデルQwen3.5の9B版に渡し、一度に処理する版と、段階ごとに処理する版を試しました。論文の厳密な再現ではなく、考え方を確かめるための小実験です。今回は掲載された指示文をそのまま実行したのではなく、5段階の構成を参考に簡略化したプロンプトを使いました。結果の巧さは別として、画像を渡して生成し、段階ごとの結果を受け取るところまでは実際に動かせました。

試して見えてきたこと

段階を分けると、連想や候補を途中で見られるようになりました。一方で、短いコメントを求めても長い説明になったり、静止画から動きを推測したりする課題も。「カメラのスイッチ」のような見立てには面白さの種があり、連想を生むことと、一言に磨くことは別の課題だと見えてきました。この試行だけでRoTの優劣を判断することはできません。

次に試したいこと

次に試したいのは、文化的なミームを場面に合わせて言い換えるコメントや、候補を短く仕上げる工夫。動くものを触ることで、「もっと面白くするには何を読もう?」という次の問いにつながりました。

映像をミームで見立て直す

口を開けた白い文鳥
実験素材に使った文鳥の画像。飼い主の許可を得て掲載。
餌も貼らずにスレ立てとな!?

白い顔を「麿」に見立て、ネットの定型句を文鳥の餌に置き換える。知識を補足するだけでなく、映像が別のものに見えてくる面白さもあります。

この一言はQwenの生成結果ではなく、試行後の人とAIの会話から生まれた例です。烏帽子を重ねる案も出ましたが、ここでは元画像のまま掲載しています。