言葉が生まれる瞬間。

生成AIを使って1本の動画を作りました。

▶ YouTubeで動画を見る

長いのですが、
よかったらご覧いただけるととっても嬉しいです。

なぜこちらの映像を作ったのか、
説明させてもらってもいいでしょうか。

とあるきっかけで
手話の歴史について知る機会がありました。

1878年、京都盲唖院が開校します。
日本初の盲・ろう教育機関です。

開校時の生徒数は48名。
そのうち聾生が31名、盲生が17名でした。

ろうの子どもたちは、
それぞれの家で培った、
手話を持っていたようです。

それぞれことなる手話を持つ
子どもたちが集まって、
生活の中でコミュニケーションを重ねる。

そこで生まれた言語が
今の日本手話の土台となった
とされています。

ひとクラスくらいの
子どもたちが集まって、
自分たちの言語を作る。

理由はうまく言えませんが、
すごく心が動きました。

この感じを
再現する方法がないかなと
考えていたことが、
出発点です。

生成AIで、世界を再現する

そのころ、
Xで佐藤航陽さんの投稿を見ました。

東京駅周辺のデジタル空間をつくり、
そこにAIエージェントの人間やタクシーを大量に発生させ、
人流シミュレーションを回す。

都市をつくる。
そこに群衆を発生させる。
どう動くかを見る。

生成AIは、
「文章や画像を出すだけではなく、
小さな世界をつくる道具にもなる」と知りました。

この考え方を応用すれば、
手話のお話を読んで感じた、
「言葉が生まれる瞬間」も、
シミュレーションできるのではないでしょうか。

ローカルLLMで、子どもたちの夏を観察する

ローカルLLMとは、
ざっくり言うと、
自分のパソコンの中で動く生成AIです。

Ollama というツールを使い、
パソコン内に生成AIのモデルを置いて、
5人の架空の子どもエージェントを設定しました。

各ステップで
子どもエージェントは

「今、どこにいるか」
「まわりに何があるか」
「誰が近くにいるか」
「自分はどう感じているか」

を読み取り、
声を出すか、動くか、黙るかをそれぞれ判断します。

LLMが返した短い音や身ぶりは、
Python側で抽出・整理されます。

私は台詞は書きません。
物語も作りません。

子どもたちが出した声や動きを、
あとから見返せる記録として残していく、
ということです。

誰が最初に声を出したのか。
誰がまねたのか。
言葉としての意味は揺れたのか。

それらを
ログとして残していきます。

なぜ5つの言語なのか

Aoi（日本語）。
Naya（ナバホ語）。
Amir（アラビア語）。
Ane（バスク語）。
Lani（ハワイ語）。

5人の子どもたちが話す言語は、
言語的な特徴ができるだけ重なりにくいものを生成AIに選んでもらいました。
音韻、語順、意味の作り方、対人スタイルが、
できるだけ重なりにくい組み合わせにした、とのことです。
（関西弁しか話せない私には、これが正しいのかどうかはわかりません）

舞台と周辺にあるもの

舞台は、
海辺にある、古い林間学校の跡地です。

場所は、
いろんな出来事が起こるように
こんな感じに設定しました。

校庭 — みんなが集まる、開けた場所。
宿泊棟 — マット、毛布、眠る場所。
食堂跡 — 古い器、見つけた食べ物、順番待ち。
遊び庭 — 棒、貝殻、走り回る遊び。
森の入口 — 実、枝、虫、影のある小道。
浜辺 — ヤドカリ、波、砂。
堤防 — 高い場所から海を見る。
茂み — 茂みの音、鳥、隠れる場所。
小川 — 浅い水、滑りやすい泥、水をすくう。
小橋 — 狭い渡り場、順番、助け合い。
物置小屋 — 箱、ロープ、秘密基地。
水タンク — 雨水、コップ、順番待ち。
出口の門 — 夏の終わり、全員で出ていく場所。

天気も、シミュレーションの条件のひとつです。
晴れ、くもり、雨、風、むし暑さ、虹、にわか雨。

毎日、小さな出来事がランダムに起き、
子どもたちの行動や、合図の生まれ方に影響します。

ちなみに、
インターフェースはこんな感じでした。

1980年代のSF映画のUIっぽくしてって言ったら怖くなりました。

7月25日から8月31日まで、
38日間。ここで暮らしします。

266ステップ。

現実の時間では、
このシミュレーションが終わるまでに、
だいたい4時間くらいかかりました。

言葉が生まれる瞬間

ひと夏のあいだに、
いくつかの「合図」が実際に生まれ、共有されていきました。

huri — Amirから。食べ物に近い音。のちに全員へ。
hau — Laniから。遊びや呼びかけ。のちに水、順番、返事へ。
hąʼ — Nayaから。危ない、下がって、に近い警戒の音。
kya-kya — Aoiから。驚きや注意。
momo — Aneから。橋の向こう、移動や誘い。

場面や身体の動きによって意味が揺らぎ、
聞き違いや組み合わせを生みながら、
ゆっくり共有されていきます。

どのようなログがあったのか
紹介させてもらいますね。

ヤドカリを見つける

第8日 / Step 50 の場面。

作業ファイルでは、
「海辺の朝、ヤドカリと小橋」
というシーン名になっていました。

ログ上では、

子どもたちは、
潮だまりのそばに集まり、しゃがみこみ、
ヤドカリを指差し、見せ合います。

この場面で試されている音は、
momo です。

ひとりの子どもが、

橋の向こうを指しながら、
「momo」と声を出す。

でも、別の子は、
橋ではなくヤドカリを見ながら、
その音をまねてしまう。

つまり、
「momo」が橋の向こうを指す言葉なのか、
ヤドカリのことなのか、
まだ子どもたちの間で揺れているというわけです。

意味が確定する前の、
小さなゆらぎの時間です。

シミュレーションとドキュメンタリーの、あいだ

コンテを書いて、
撮影して、
編集する。

いつもの映像制作の流れではなく、

まずローカルLLMの中で、
共通の言葉を持たない子どもたちの38日間をシミュレーションし、
そこで実際に起きたことを記録し、
あとから、その記録を映像へと生成していきます。

シミュレーションのログから、
言葉が生まれる、または生まれかける瞬間を選び、
それぞれに動画生成AI
Seedance 2.0 で映像を生成するための
テキストプロンプトを考えてもらいました。

Seedance 2.0で書き出す。

シミュレーションのログから場面を選び、
各場面に映像用プロンプトをつけたあと、
Seedance 2.0 で短いクリップを、1本ずつ書き出しました。

プロンプトには、

登場人物の見た目、
場所、カメラの動き（できるだけ作為の少ない演出で入れています）、
環境音、そして 「この場面で、言葉がどう試され、まねられ、揺れるか」
を入れています。

30本以上のクリップを生成しました。

最後に、
できあがった素材を編集で並べ、
冒頭とエンドロールをつけ、
ひとつにまとめます。

編集していると、
不思議とめちゃくちゃ子どもたちに感情移入してしまいます。
フィクションなのに、ドキュメンタリー制作に近い感覚になってきます。

エンディングの歌詞は、

夏休みを終えた子どもたちに、
考えてもらいました。

この歌を聴いていて
思い出したことがあります。

子どものころ、夏休みに、
徳島の祖父の家へ行くことがありました。

そこには徳島弁で話す
いとこたちがいて、
私たちは京都弁で話していました。

お互いの口調が少し珍しくて、
最初はまねして笑っていたのですが、
何日か一緒にいると、
気づけば少しずつ、うつっている。

そういう感じを再現したかったのかもしれません。

おわりに

長々とすみません。
でも、生成AIを趣味でいろいろ遊んでみるなかで、
「なんか新しい使い方を見つけたかも！」と
いちばん思ったのがこちらだったのです！

5日間、
生成AIの話ばっかりすみませんでした。
でも、インターネットができたばかりの時も、
「おもしれ〜！」みたいな
その時、その時代にしかなかった
感想があったと思うので、
記録として残させてもらいますね・・・！

バトン

次にバトンを渡すのは、
会社の大先輩で、ラジ王こと廣瀬泰三さんです。

泰三さんの名作ラジオCMを生成AIに分析してもらったところ、

「下品さの一歩手前で止める」

とまとめてくれました。

その技術、ぜひmdファイルでほしいです。

泰三さんのコラムは、7/6（月）くらいから
はじまるとのことです！

お楽しみに〜！