2023.4.22 次回に向けて
- 前回の記事から、分野別に次回の挑戦点をまとめました
(7800文字 = 文庫本 15.5ページ相当)
主要挑戦点
- 主要挑戦点は
- 動画用画像生成手順機械化 が一番のテーマ (動画用画像とシャープ)
- それに次ぐ挑戦点
- 原画や静止画を重ね合わせi2iで作ること
- 第一原画と第二原画を分けること (第二原画で綺麗に作ること)
- 画像をさらに大きくすること
次点 (きっとやる)
- まず、0.9秒間隔の原画は作るけど0.45秒間隔の原画は前後の0.9秒間隔の原画から作る
- (とはいえ、0.9秒間隔の原画も、もちろん、0.9秒前や0.9秒後とつながるように作らないといけない)
- cf. 1秒間(0.5秒間)で行わせる動きの目安 - あおのゆいもっぷアニメ制作記
- ☆☆☆ちゃんと原画の枚数を増やして、させたい動きをさせる！ 2023/04/21 0:49
- 基本20fps
- 一部シーンで24fps以上（24と28を1つずつかな？）
- さらに、20fpsなら、動画が多少雑でもいけるか試す
- ☆ClipChampをアニメ制作に使おうとすると、90秒をひとつの動画プロジェクトでやると激重なので45秒くらいでふたつに分けるなう
- ☆記事を書いた時に使ったプロンプトも使う！(絵作り) 2023/04/20 23:07
次次点 (きっとやる)
- 尺利用計画(計算)をすることで尺不足を回避
- ◎もしかすると、尺不足のときに歌の方を遅くしたり繰り返したり伸ばしたりするかも
これらさえできてれば他のは埋めれたらいいね、くらいで 2023/04/22 2:16
--------
絵作り
大きさ
- 画像を今回の 1152x768 からさらに大きくする (前回(バスケット)は 896x512) (今回 1.2857倍になった)
加筆
- 襟と袖に青いラインを自分で引いているけれど、引いて良かったと思う (こういう雑な引き方でもちゃんと画像生成AIが描いてくれる)
- 適切な複雑さの絵を作れた 次回も必要だったらやるべきだね
- (きっと第一原画の段階でやる)
- 原画では意図してない棒や炎など、余計なものはちゃんと消しとく かなり手間なので 残ってると
- ☆1:13.73s (612gts3) ↓もっとしっかり右の人物を消せばよかったと思う
- ☆意図する絵を手で(自力で、自分で筆を取って)書くのがよいのでは きりはりでも
作り方
- ☆重ね合わせて1度作成したものをさらに重ね合わせるとさらにすごい絵になるか次回、第2原画作りでやってみる
- sg(や重ね合わせ法)の、sgだと、中間31枚切りなら、 f4～f8(～f10) くらいの重ね合わせのときに、きれいな絵が出やすいから、そういう絵ばかり集めれば きれいな映像ができるはず
- 全て、重ね合わせやsgでi2iして綺麗に作ったものを原画として使うと良いのではないかなう(2023/04/13 07:40:54) sgのf6とかf8とかが綺麗になりそう
NovelAI
パラメーター
- i2i は Step 50 指定が良いのだろうと思う(？)
- i2iじゃない場合、Step 28 が標準だけど、 36 でもいいのかも。 Scale 11
- 28 16くらいならありかも (Step, Scale) ☆36 11 は普通にいいね
- i2iで strength noise 0.63 0.15 だと厳しいね (0.52, 0.13くらいがやはりよさそう)
- ◎実写から変換のときは 0.52 0.13 じゃ弱すぎぽい。 0.7 0.2 か？ (Strength, Noise)
- 遠景なら？ i2iで StrengthとNoiseが 0.36/0.09 でもいいかも？
プロンプト
- ☆記事を書いた時に使ったプロンプトも使う！ 2023/04/20 23:07
- 良さそうなプロンプト用語みつけてきたので使ってみる
- ☆☆☆ barefoot大事！ barefoot, 2023/03/20 3:58
- ☆実は、内面の美しさを記したプロンプトを描くと、外見にも内面の美しさがにじみ出る
- 後頭部を映せるプロンプト from_behind, upper body, facing_away,looking_away, back, head_tilt と ネガティブプロンプト head_out_of_frame
描くもの
- ☆☆☆何が起こるかわからないワクワク感も出せるといいね 予測不能性
- 動きを描いてなんぼ
- 次回はまた、キャラの動きを意識してやりたい
- 金メダル持たせるのたのしい
- ストーリー性を持たせるために加筆しよう
- 遠景のときにキャラの絵を描くのがNovelAIは苦手みたいだけど、遠景の時はキャラはしっかり描かれてなくても(完成動画でも)見た目的に大丈夫っぽい
- 透けだと、基本服濡れてるから、雨の方が自然だよね 2023/04/21 8:41 (別に雨にしなくていい)
- 次次回くらいで、エフェクトをがっつり意図的にかけていっていいのかもね (この手法では、原画にエフェクトをかければ動画用画像にも適用される)
発想をAIからもらう
- 画像生成AIから発想（窓から見える夜景の手前にゆいもっぷを立たせる構図）をもらって、自分でその発想をブラッシュアップする
- ☆発想をもらった結果、実写i2iにした方がよい場合はする
- 「ハードル」の乗り物とかもAIからもらった発想
実写利用
- ☆もっと背景実写使った方が良いと思った (基本i2iにした方がNovelAIはきれいな絵になることもあり)
- 最低でも一箇所はやりたい 静止画のところで使うのもいいね できれば複数箇所でやりたい(慣れたいということもあり) 2023/04/21 8:38
- ☆ open door, outdoors, と適切なプロンプトにするだけで、実写系背景がだいぶ明確に出てきた 2023/02/25 0:56 とのこと
- photo background というプロンプトが役立ったみたい
- 夜景の静止画も背景、自分でとった写真からのi2iにすれば良かった
原画関係
原画の重要性
- 指定した原画を必ず含ませられるので、迫力のある原画を入れるのがとても大事かなと (そこが2Dアニメの真骨頂かも)
- 原画の綺麗さが映像の綺麗さに直結
構図
- 多分、被写体センターキープした方が見た目いい動画になったのだろうなあ、と思った
原画間隔
- ☆☆☆i2iなしで原画を作るのは 0.9秒間隔にして、それを2倍にして0.45秒間隔にするのは、(今回の「くるくる」の400fのように)重ね合わせ法やSGを使って、前後の原画から作った方が、なめらかな一貫性のある動画になりそうですね
枚数
- しっかり原画をきれば、本当に走り出させることができたのだろうな、とも思う (アニメは原画が7.5割)
- より時間をかけて原画を作らないといけないね。 ちゃんと走らせるためにはもっと原画が必要だったのだろう
- ☆☆☆ちゃんと原画の枚数を増やして、させたい動きをさせる！ 2023/04/21 0:49
- 最後に落ちていく原画も入れられたら良かったと思う (カットした)
- (尺利用計画や尺伸ばし作戦が大事)
第２原画 (と第１原画)
- ☆第２原画は 重ね合わせのi2i でつくる
- 特に、SGの 31枚補間で f4?-f10? がよい
- 構図や色指定とかを完璧にした第一原画と、それを使って、重ね合わせとかで美麗な画像にした第ニ原画にする
- 次は、sin_kouho が 1gen (第一原画)、 その右に 2gen (第ニ原画)ができる予定 (アニメは原画が7.5割)
原画作りのポイント
- 原画作りのポイントは引き続きやる(これが抜けると致命的)
整合性
- ◎この原画2枚の間の動画を作ったらどうなるか想像しよう
- 肌や髪や目や服の色が同じようになるといいね
- ☆髪の長さを揃える (揃えないと途中で伸び縮みする)
- ◎ 突き出した棒(意図せず発生した細い棒)は結局明滅してしまうので、最初から原画から消しておくのがよい
- あと、炎とかも、意図しないものは持たせても良い効果は産まない 2023/03/21 1:57 意図してたら別 (プロンプトにもかくので画像生成AIにちゃんと描いてもらえる(はず))
- 画風も揃うといいね
- ☆というより、原画作りの時に頑張って、できるだけ 精細な画風の原画に しておくと動画全体がよくなる (アニメは原画が7.5割)
- 服装も揃えよう
- 背景も同じテーマに揃えるとよさそう
構図の整合性
- ☆カメラの動きが揃うように被写体の位置をズラす
- さもないと、カメラの動きがギザギザになります
- ズラしてるので、↓に出てくる原画も背景に継ぎ目が見えます
- この原画自体を動画に使っても、一瞬で全然わからないし、キャラに注目が行ってるので全然OK
- ズラしてるので、↓に出てくる原画も背景に継ぎ目が見えます
- さもないと、カメラの動きがギザギザになります
- 被写体の位置をなめらかに移動させるだけでなく、 ズームアウトインになるのも 落ち着かないのでよくないね
- ズームインアウトが方向行ったり来たりも良くない
- 原画を見て、カメラの流れを想像できるようにならないと行けない
- 同じ構図の原画が複数あるとまずい (単なるモーフィングになってしまう)
流れの整合性
- ↑↓間動画9枚 1:12.64s (550gs3) 乗り物から飛び降りるところも描けてて素晴らしい原画セット (このあと繋がりがなくなって悪くなる
- 原画のつながりが大事 2023/04/21 8:11
- この「ハードル」シーンの前半はまだキャラの動きの連続性を考えて原画を作っててつながってるけど(特に乗り物に乗る前後はちゃんと飛び降りてるところを原画で描けてる
- 前後の原画同士でやってることが同じじゃないと当然やってることがバラバラになる
- 原画で動きのつながりを描こう
静止画
- というか、静止画も、第２原画同様、 f4-f10とかの重ね合わせできれいにつくる 2023/04/20 22:48
動画
fps
- 基本20fps
- 20fps以上も、今回(尺不足で)早回しになってしまったので、次回試してみたい
- 次は、しっかり動くシーンでは20fpsで作ろうかな (というのも、20fpsでもそこまで労力が増えないはずなので)
- もしかしたら全部20じゃないのかも でもまぁ ☆今回だけは全部20、ところにより24以上とかでもいいかな 実験的に 2023/04/20 23:56
- 次次回は動きが少ない(アップだけ)のところは 11fpsくらいでもいけそう (労力削減)
- 14fps前後でも、結構カクカクですね。 (結構動き(ここではカメラモーション)が大きいからだろうと思う)
- 人体が同じ構図で大きく身振りするよりも、カメラの構図が大きく変わったときの方が、画の差分は大きくなりますね。(= カメラを被写体に対して大きく動かすときは高fpsが必要)
- 14fps前後でも、結構カクカクですね。 (結構動き(ここではカメラモーション)が大きいからだろうと思う)
- 歩くだけみたいな普通のシーン(特に力を入れないシーン)なら10fpsでも大丈夫っぽい (量産には低労力化が大事)
- でもまぁ、次回だけはとりま20fps かな。あまりに労力がかかりすぎだったら10fpsとかにもするけど 2023/04/20 23:52
- TVアニメの1コマは 41.67ミリ秒
- 短くて2コマ 83ミリ秒、
- 普通は3コマ 124ミリ秒
- うちは(今度は基本20fpsなので) 基本 50ミリ秒
高fpsなら雑でもいけるかテスト
- ☆20fpsなら、服に余計なものがついても気にならないかもなので、試してみる (作ってみて、気になったら動画用画像から消す)
- 20fpsだったら、1コマ1コマをそこまでしっかり修正しなくていいかもしれない)
NovelAI
- ◎ Strength と Noise を 0.52 0.13を0.40 0.10くらいまで下げればさらに服とか髪の乱れ下がるのでは？なう(2023/03/23 02:23:54) 1度やってみたい
構成
- 尺利用計画をする
- 前半で尺がなくなり気味になって、後半、原画を何枚か無くしたことも後半いまいちな理由かもしれない (尺利用計画が大事)
- ◎もしかすると、尺不足のときに歌の方を遅くするかも 2023/04/21 0:43
- 口パク(できれば)
- 地味に後半「ファンファーレ」という歌詞に口を合わせてたりして楽しいかも
- 音に合わせるのにはやっぱり便利
- 口パクをあわせるのにも
制作手法
- ☆☆☆SmoothGraphic (31枚補間)で大体、 4,8,12,16,20,24,28 の7枚について作成することがわかったので、それらの7枚の補間画像(i2i入力用画像)について、3枚ずつ、画像生成AIに画像を生成させるスクリプトを用意させれば、時短になる (何秒時短できそうかは、今回のこの記事の後で計算する)
- ☆待ち時間がなくなるなら、1コマにつき、4枚5枚生成して良さそう
- ☆☆☆シャープを一括させてかける
- シャープは技術開発したからもちろんかけるだろうけど、かけようね 2023/04/20 22:38
SmoothGraphic
- ☆カメラ動くシーンで、太陽にもsgの制御点つけて、太陽もなめらかに動いていくようにできればよかった (くるくる)
制作体制
- ☆ClipChampをアニメ制作に使おうとすると、90秒をひとつの動画プロジェクトでやると激重なので45秒くらいでふたつに分けるなう
- 仕上げ段階では、顔だけに着目とか、動画内の一部分を集中して見ると、直したいポイントが見つかりやすい -とはいえ、基本顔しか着目されないので、顔の色を合わせたり微修正するのが大事
被写体
描くひと
- 犬キャラは耳の動きで感情表せれるので、そこまでできるとすごい
- 1シーンは wavy hair を Undesired Content で作って見ようと思う (推測より計測)
- ゆいもっぷさんにはアホ毛がある
- 3Dモデルによっては無い時がある がイラストでは必ずついてる2023/04/21 8:47
- なので、アホ毛があってOK (というよりあった方がよい)
服装
- 水着跡日焼け
- 光沢とか、透け以外の服装効果を考え出して、それぞれ(次回)挑戦してみたいなあ
- 服装を(今回よりは)少し複雑にしたい
- できれば、Vカツのときの服装を描きたい
制作統制
- 原画関係と原画以外のチャレンジ項目をわけて、何割が原画かみるぞ 2023/04/21 0:49 ツイートもする
- 主要は 原画3 vs 動画4 なので、動画の方が多かった (最主要点も動画)
- でもまぁ、動画は一度してしまえばあとはずっと慣性で自然にそのままできるもの。原画は意識集中が要る(人力)
- 記事用に使えるいい動画(や原画？)をまとめておく 2023/04/22 1:54
- 次の記事は このはてなブログにもリンク記事を作りますが、Qiita に
--------
その他懸念
- 原画って今度100枚とか以上になるよね そこが大変そう
- 1枚 10分とすると それだけで 17時間！
- まぁ、5分なら 8.3時間だが…？
- まぁ、今回のテーマは「時間がかかっても原画をきれいにする」だから、
- 原画17時間、動画10時間とかかけて、5/20頃投稿でも仕方ないね 2023/04/21 8:05
- ☆原画は 重ね合わせi2i (や新しいプロンプト)できれいに作るし、動きをちゃんと描くために細かく切る
- しかし、 0.9秒間隔を0.45秒間隔にするのは、前後の原画からの重ね合わせ(またはsg)からのi2iである (ので、しっかり時間がいるのは半分に…とはいえ、0.45秒間隔の方の原画も、もちろん第２原画を綺麗に仕上げないといけない)
- f4-f8(～f10) を原画に作ると、原画の動きがそれだけズレそうだけど、まぁ、一旦作ってみようね 2023/04/21 8:07
- sg 4 8 12 16 20 24 28 だと、動きが一瞬で行われてしまうから、もっと前半重視にした方がいいかも
- 暗算を間違えると、大ピンチ
長期的に今からやっていく話
- 表現したいかわいさもAIからもらえばいい 過去の生成してよかった画像見るとか(後から参照できるようにしておく、つまりメモしていく)
- ☆☆☆☆メモしておくのも大事
- ◎◎◎本人のよかった言動のアニメ化もよいね
忘れそうなちょっとしたテク
- 目分量で1コマあけるときは大きめがよい 2023/03/11 10:02
- 1コマ分あけるときは、時間の数値よりも見た目を重視した方が揃う
- ギリギリかけるラインがきれい なのでプロンプトいい感じに埋めた方がよさそう 2023/02/25 11:40
- ie 100->200(150) sg 端っこでは(特に四隅)キャラの同じ部分ではなく、その角がどこから伸びてほしいかで 四辺上を指定することもある 2023/02/25 10:45
- 地味に、家からの出方が平行移動ではなく、回転だと気づいたのでSGできた、みたいな記録がある
- 900->950みたいな単純なズームこそ、 sgだと端っこが引き伸ばしになってしまうため、重ね合わせ法がいる
