浦東美術館でAI解説員が登場

上海・浦東美術館でスマホのビデオ通話を展示に向けると、字節跳動のAIツール「豆包」が解説を行います。ルーブル所蔵展やピカソ展の公式ガイドを務め、撮影角度や画質、会話の文脈理解といった技術課題が指摘されています。

上海の浦東美術館では、来館者がスマホの「ビデオ通話」機能を立ち上げて展示品に向けると、AIが解説する仕組みが導入されています。人民日報海外版が伝えた報道によれば、解説は対話形式で行われ、誤った知識があれば適宜訂正する機能もあるとされています。導入されたAIは字節跳動（バイトダンス）開発のツール「豆包」で、現在開催中の特別展で公式のAI解説員を務めています。技術的には視覚推論モデルや動画理解の進展が背景にあるとされます。 報じられている点： ・利用方法はスマホでビデオ通話を開始し、展示物にカメラを向けるとAIが解説する形式であること。 ・「豆包」は字節跳動が開発したAIツールで、ルーブル所蔵のインド・イラン・オスマン帝国の作品展とピカソの展覧会で公式解説員を務めていること。 ・浦東美術館側は、解説の情報が正確であれば鑑賞体験が豊かになると述べていること。 ・撮影角度のばらつき、画像のぶれや一部隠れ、明るさの問題、話し言葉の文脈理解などが認識の難度を高める要素になっていると指摘されていること。 ・「豆包」には2025年5月に視覚推論モデルを基にしたビデオ通話機能が追加され、Seed1.8モデルを基盤にリアルタイムQ&Aやインターネット検索に対応する技術的な裏付けがあるとされること。 まとめ： 導入により来館者が個別に解説を受けられる新たな鑑賞体験が示されていますが、画像や会話の処理といった技術上の課題も指摘されています。現時点で運用方針や対応スケジュールの詳細は報道に基づく範囲で、今後の公式発表が注目されます。