言葉が生まれる瞬間。

生成AIを使って1本の動画を作りました。

▶ YouTubeで動画を見る

長いのですが、よかったらご覧いただけると、とっても嬉しいです。

なぜこちらの映像を作ったのか、
説明させてもらってもいいでしょうか。

とあるきっかけで
手話の歴史について知る機会がありました。

1878年、京都盲唖院が開校します。
日本初の盲・ろう教育機関です。

開校時の生徒数は48名。
そのうち聾生が31名、盲生が17名でした。

ろうの子どもたちは、
それぞれの家で培った、
手話を持っていたようです。

それぞれことなる手話を持つ
子どもたちが集まって、
生活の中でコミュニケーションを重ねる。

そこで生まれた言語が
今の日本手話の土台となった
とされています。

ひとクラスくらいの
子どもたちが集まって、
自分たちの言語を作る。

理由はうまく言えませんが、
すごく心を動かされました。

この感情を
再現する方法がないかなと
考えていたことが、
こちらの映像の出発点です。

生成AIで、世界を再現する

そのころ、
Xで佐藤航陽さんの投稿を見ました。

東京駅周辺のデジタル空間をつくり、
そこにAIエージェントの人間やタクシーを大量に発生させ、
人流シミュレーションを回す。

都市をつくる。
そこに群衆を発生させる。
どう動くかを見る。

「生成AIは、文章や画像を出すだけではなく、
小さな世界をつくる道具にもなる」
と知りました。

この考え方を応用すれば、
手話のお話を読んで感じた、
「言葉が生まれる瞬間」も、
シミュレーションできるのではないか。

そう思ったからです。

ローカルLLMで、子どもたちの夏を観察する

ローカルLLMとは、
ざっくり言うと、
自分のパソコンの中で動く生成AIです。

Ollama という仕組みを使い、
パソコン内にモデルを置いて、
5人の架空の子どもエージェントを設定しました。

266ステップ、38日間。

現実の時間では、
このシミュレーションが終わるまでに、
だいたい4時間くらいかかりました。

各ステップで、
子どもエージェントは

「今、どこにいるか」
「まわりに何があるか」
「誰が近くにいるか」
「自分はどう感じているか」

を読み取り、
声を出すか、動くか、黙るかを判断します。

LLMが返した短い音や身ぶりは、
Python側で抽出・整理されます。

私は台詞は書きません。
物語も作りません。

子どもたちが出した声や動きを、
あとから見返せる記録として残していく、
ということです。

誰が最初に声を出したのか。
誰がまねたのか。
言葉としての意味は揺れたのか。

それらを
ログとして残していきます。

シミュレーションとドキュメンタリーの、あいだ

コンテを書いて、
撮影して、
編集する。

いつもの映像制作の流れではなく、

まずローカルLLMの中で、
共通の言葉を持たない子どもたちの38日間をシミュレーションし、
そこで実際に起きたことを記録し、
あとから、その記録を映像へ翻訳する。

映像を選んで、並べる。

フィクションなのに、
シミュレーションを介しているので
ドキュメンタリー制作に近い感覚になってきます。

舞台と周辺にあるもの

舞台は、
海辺にある、古い林間学校の跡地です。

5人の子どもたちだけで、
7月25日から8月31日まで、
38日間、ここで暮らしします。

場所は、
いろんな出来事が起こるように
こんな感じに設定しました。

校庭 — みんなが集まる、開けた場所。
宿泊棟 — マット、毛布、眠る場所。
食堂跡 — 古い器、見つけた食べ物、順番待ち。
遊び庭 — 棒、貝殻、走り回る遊び。
森の入口 — 実、枝、虫、影のある小道。
浜辺 — ヤドカリ、波、砂。
堤防 — 高い場所から海を見る。
茂み — 茂みの音、鳥、隠れる場所。
小川 — 浅い水、滑りやすい泥、水をすくう。
小橋 — 狭い渡り場、順番、助け合い。
物置小屋 — 箱、ロープ、秘密基地。
水タンク — 雨水、コップ、順番待ち。
出口の門 — 夏の終わり、全員で出ていく場所。

天気も、シミュレーションの条件のひとつです。
晴れ、くもり、雨、風、むし暑さ、虹、にわか雨。

ちなみに、
インターフェースはこんな感じでした。

1980年代のSF映画のUIっぽくしてって言ったら怖くなりました。

毎日、
「浜辺にヤドカリがいる」「宿泊棟の雨漏れ」「小川ですべる」「茂みから鳥が飛ぶ」
といった小さな出来事がランダムに起き、
子どもたちの行動や、合図の生まれ方に影響します。

なぜ5つの言語なのか

Aoi（日本語）。
Naya（ナバホ語）。
Amir（アラビア語）。
Ane（バスク語）。
Lani（ハワイ語）。

5人の子どもたちが話す言語は、
言語的な特徴ができるだけ重なりにくいものを生成AIに選んでもらいました。
音韻、語順、意味の作り方、対人スタイルが、
できるだけ重なりにくい組み合わせにした、とのことです。
（関西弁しか話せない私には、これが正しいのかどうかはわかりませんが、
仕方がありません）

人数を5人に絞ったのは、
各子どもの感情、遊び、関係の変化、合図の受け取り方を、
追いやすくするためです。

言葉が生まれる瞬間

ひと夏のあいだに、
いくつかの「合図」が実際に生まれ、共有されていきました。

huri — Amirから。食べ物に近い音。のちに全員へ。
hau — Laniから。遊びや呼びかけ。のちに水、順番、返事へ。
hąʼ — Nayaから。危ない、下がって、に近い警戒の音。
kya-kya — Aoiから。驚きや注意。
momo — Aneから。橋の向こう、移動や誘い。

場面や身体の動きによって意味が揺らぎ、
聞き違いや組み合わせを生みながら、
ゆっくり共有されていきます。

シミュレーションのログから、
言葉が生まれる、または生まれかける瞬間を選び、
それぞれに動画生成AI
Seedance 2.0 で映像を生成するための
テキストプロンプトを考えてもらいました。

どのような場面が生成されたのか
紹介させてもらいますね。

ヤドカリを見つける

第8日 / Step 50 の場面。

作業ファイルでは、
「海辺の朝、ヤドカリと小橋」
というシーン名になっていました。

ログ上では、

子どもたちは、
潮だまりのそばに集まり、しゃがみこみ、
ヤドカリを指差し、見せ合います。

この場面で試されている音は、
momo です。

ひとりの子どもが、

橋の向こうを指しながら、
「momo」に近い音を出す。

でも、別の子は、
橋ではなくヤドカリを見ながら、
その音をまねてしまう。

つまり、
「momo」が橋の向こうを指す言葉なのか、
移動の誘いなのか、
ヤドカリのことなのか、
まだ子どもたちの間で揺れている。

意味が確定する前の、
小さな誤解の時間です。

Seedance 2.0で書き出す。

シミュレーションのログから場面を選び、
各場面に映像用プロンプトをつけたあと、
Seedance 2.0 で短いクリップを、1本ずつ書き出しました。

プロンプトには、

登場人物の見た目、
場所、カメラの動き（できるだけ作為の少ない演出で入れています）、
環境音、そして 「この場面で、言葉がどう試され、まねられ、揺れるか」
を入れています。

できたログをもとに、
30本以上のクリップを生成しました。

最後に、
できあがった素材を編集で並べ、
冒頭とエンドロールをつけ、
ひとつにまとめました。

エンディングの歌詞は、

夏休みを終えた子どもたちに、
考えてもらいました。

この歌を聴いていて
思い出したことがあります。

子どものころ、夏休みに、
徳島のおじいちゃんの家へ行くことがありました。

そこには徳島弁で話す
いとこたちがいて、
私たちは京都弁で話していました。

お互いの口調が少し珍しくて、
最初はまねして笑っていたのですが、
何日か一緒にいると、
気づけば少しずつ、うつっている。

たぶん私は、
そういう感じを再現したかったのだと思います。

おわりに

長々とすみません。
でも、生成AIを趣味でいろいろ遊んでみるなかで、
「なんか新しい使い方を見つけられたかも！」と
いちばん思ったのがこちらだったのです！

5日間、
生成AIの話ばっかりすみませんでした。
でも、インターネットができたばかりの時も、
「おもしれ〜！」みたいな
その時、その時代にしかなかった
感想があったと思うので、
記録として残させてもらいますね・・・！
（5日で、25,000字くらい書いておりました。疲れました）

バトン

次にバトンを渡すのは、
会社の大先輩で、ラジ王こと廣瀬泰三さんです。

泰三さんの名作ラジオCMを生成AIに分析してもらったところ、

「下品さの一歩手前で止める」

とまとめてくれました。

その技術、ぜひmdファイルでほしいです。

泰三さんのコラムは、7/6（月）くらいから
はじまるとのことです！

お楽しみに〜！