アドビ主催の世界最大規模のクリエイティビティ・カンファレンス「Adobe MAX 2021」（オンライン開催）。2日目の10月28日は「スニークス」と題してアドビの研究中の技術が発表されました。スニークスはAdobe MAXで最大の盛り上がりをみせる恒例の人気セッションです。
現時点では製品に未搭載であるものの、将来的に製品に組み込まれるかもしれない技術が紹介されます。スニークスで発表された技術はCreative Cloudの製品に組み込まれたものがあります。今年はコメディアンのキーナン・トンプソンが司会進行のもと、アドビのエンジニア9名が先進技術を発表しました。
絵画風の映像を作る技術
「Project Artful Frames」は絵画を参考画像として、動画の映像をそのタッチに仕上げる技術です。
左側の水彩画の画像をもとに、右側の動画に適用します。
すると、水彩画と同じタッチの動画が仕上がりました。
同じように、左側の鉛筆のスケッチを参考にして、右側の動画に適用。
線画タッチの映像が仕上がりました。
この技術はゴッホなどの巨匠の絵画や、雷の写真など、さまざまなソースを使うことで、新しい表現手法ができると紹介されました。
実写映像のコンテンツを理解
画像から、コンテンツをAdobe Senseiが理解し、ベクター化できる画像技術「Make It Pop」。
まずは素材写真を使います。
Adobe Senseiの技術が画像のコンテンツを識別し、写真から自動的にベクター画像を生成します。人物の足や腕、スケートボードをAdobe Senseiが理解しているので、それぞれが独立した形でパス化されています。
背景とオブジェクトの違いを識別するので、オブジェクトの図形を動かすと、手前と奥が表現されます。マスク処理で表現しようとすると手間ですが、この技術を使えば簡単に実現できます。
シェイプは元の参考用画像の情報を記憶しているので、イラストを別のポーズに再配置できます。破綻無くレイアウトされ、渦の模様もポーズにあわせて変形しています。
画像の構造や奥行きを理解しているので、遠近感を考慮してイラストを配置できます。この技術は動画にも適用できます。
新しいポーズの写真を作り出す技術
異なるポーズの合成写真を作り出す技術「Project Strike A Pose」。
左側が入力画像で、中央が参考画像。右側のGeneratedの写真は生成された新しい写真です。もともと存在しなかった写真ですが、人物の顔や、服装などを保ったまま、新しいポーズの写真が生成されています。
後ろ向きの写真も作ることもできます（頭の後ろ側はどうやって推測したのでしょうか）。
モデルの写真をもとに、複数のポーズを生成できます。ポスターなどのグラフィックを制作するときに、手元にないポーズの素材を作り出すのに役立つでしょう。
ストックフォトだけではなく、個人的な写真でも利用できると紹介されていました。
新しい画像検索の方法
写真からポーズのボーン（骨格）を分析し、ボーン情報をもとに画像検索する技術「Project On Point」。人物のイラストをアップロードすると、ポーズがボーン情報として表示されます（左側）。このボーン情報をもとに、右側の検索一覧では、ストックフォトの中から同じポーズの写真がピックアップされています。
検索クエリのボーンは腕の角度を調整でき、再検索できます。発表ではマウスのドラッグ操作でボーンの角度を調整していました。
Adobe Stockにはさまざまな検索機能が提供されていますが、大量の画像素材があるので、コンセプトにあった素材写真を探すのに時間がかかります。Project On Pointを使うと素材を探す時間を短縮できるようになるでしょう。
イラストの着色が効率的に
ベクターアートに色と光を加える技術「Project Sunshine」。イラストに対するさまざまな機能を提供しています。
手書きで描いたスケッチを題材に解説がはじまりました。
Project Sunshineは、メニューバーから機能を呼び出すだけで、シャープなベクターアウトラインに変換します。
さらにイラストに適した配色を提案してくれます。キャラクターの歯や舌など調和を崩さないように着色しています。これもAdobe Senseiの技術とのこと。
キャラクターのイラストを解析して、自動的に影を加えることができます。「影」は自動生成で、影の角度を変更できます。コミック全体のイラストにまとめて適用もできます。
影はパス情報であり、影だけでなくハイライト表現も加えることができます。
従来のイラスト制作では、光や影の表現を作るのに時間を要するうえに、再編集が大変でした。Project Sunshineが搭載されれば、効率良く着色作業ができるようになるでしょう。
一発でオシャレなタイポグラフィー
フォントのアウトラインを分析し、自動的に線を探して文字を装飾する技術「Project Stylish Strokes」。
ヒゲの特徴的なフォントを題材に説明。ソフトはIllustratorのように見えます。
機能を呼び出すと、一発でフォントにタイポグラフィーが適用されました。フランスをテーマに、「Paris」という文字が三色旗の色になっています。
Project Stylish Strokesはすべての文字から似ている線を探します。類似する線は同じアートワークに置き換えます。次のグラフィティーでは、斜め方向のアウトラインが矢印で表現されています。
アニメーションにも応用できます。
2次元でかしこい影を実現
Photoshopのドロップシャドウだと、現実の影と「向き」や「強さ」が違っているので不自然になりがちです。「Shadow Drop」は自然な影を生成する新しい技術です。
観葉植物の素材をキャンバスに配置し、わずかな操作をするだけで、葉の形に適した影を生成するデモが披露されました。驚くのは、これが3Dでなく、2Dレイヤーで実現されていることです。
床だけでなく壁にも自然な影を落とすこともできます。実写素材だけでなくイラストにも適用でき、さらにはアニメーションにも利用できます。イラストの変化にも影が追従していることがわかります。
実写版の自動アニメーション
静止写真から、アニメーションを作成する技術「Project In-Between」。2枚のソース画像を選択すると、その間の映像を作り出しています。画像間にある映像は、もともと存在しなかったもので、Adobe Senseiが生成した映像です。
2枚の写真は異なる表情ですが、表情がなめらかに変化しています。
生成した映像クリップはGIFとしてSNSへ投稿する、といった使い道が提案されました。
人物だけでなく犬でもこの技術を利用可能です。3枚の画像から、96枚の中間画像を生成しているとのことです。
動画版のニューラルフィルター
ビデオ内の人物を笑顔に加工する技術「Project Morpheus」。現行のPhotoshopのニューラルフィルターには人物写真を笑顔にしたり、ひげを生やす機能があります。Sneaksではこの機能の動画版の技術が発表されました。
左側の素材動画をもとに、右側の映像が作り出されていました。表情は笑顔になり、ひげが生えています。
現行のPhotoshopのニューラルフィルターは静止画にしか適用できないので、映像に適用するには一枚一枚作業するしかなく、膨大な時間がかかります。Project Morpheusを使えば、正確で一貫性がある映像が得られると利点を紹介していました。
まとめ
Adobe Senseiが発表されたのは5年前の2016年。当時から「Adobe Senseiは人間の仕事を奪うものではない、助けるもの」とアドビは方針を紹介していました。クリエイティブな判断は自分自身で行い、面倒な作業はマシンに任せる時代がやってくるでしょう。はやくCreative Cloudの製品に搭載されてほしいですね。
