米Adobe Systemsが主催の世界最大のクリエイティビティ・カンファレンス「Adobe MAX 2016」（カリフォルニア州サンディエゴ）。二日目は「スニークス」というAdobeが研究中の技術を発表する恒例の講演が行われました。ここで発表されたものは現時点では製品に搭載されていないものの将来的に製品に組み込まれるかもしれない技術。未来のCreative Cloudの新機能を一足先に知ることができます。本記事では発表された11のテクノロジーを、イベントに参加したスタッフがレポートします。
▲11月3日（米国時間）の目玉プログラム「スニークス」。観客の注目度は高い
1. 紙に手書きして、3Dオブジェクトを着色するペイント技術
冒頭を飾ったのは未来のペイント技術「Stylit」。マーカー付きの紙に塗り絵を描くと、3Dオブジェクトに着色されるというもの。デモでは、紙に円を描くことで、3Dモデルとして用意された恐竜が着色されていきました。
マーカー付きの紙に円を描き出すと（右）、3Dオブジェクトの恐竜の境界線に色がリアルタイムで反映されていきます（左）。
円の内部を描くと、3Dオブジェクトの恐竜の胴体が塗られていきました。
恐竜の陰影と地面に落ちる影まで含めて同期され3Dオブジェクトに反映されていきます。
背景や地面まで塗りが反映され、3Dオブジェクトへの着色が完成しました。
他の3Dオブジェクトでも同様の効果が得られることを紹介。
▲まったく別の塗りを適用しても、即座に塗りが適用される。クレヨンだけでなく絵の具の塗りも認識して、そのテイストで塗られる
これは静止画だけでなく、アニメーション動画にも適用が可能。1万人がいる会場で拍手喝采に。Stylitは http://stylit.org から試すことができます。ぜひ皆さんもこの技術の凄さを体験しましょう。
▲動画でもこのエフェクトがリアルタイムで適用される
Adobeの公式チャンネルでスニークスの一部の発表がYouTubeで公開されています。この技術は動画でみたほうが凄みを感じられるので、次の動画の1分40秒のところをご覧ください。2分55秒には3Dオブジェクトへの着色が完成し拍手喝采になります。
2. サウンド解析で切り替わりを分析、映像編集に役立つ技術
音楽を高・中・低音に分離することで切り替わりポイントを解析し、音楽を映像クリップを同期させる技術「Sync Master」。音域ごとに分解された「イベント」のポイントを自動的に生成することで、映像クリップの編集をサポートします。
映像編集のタイムラインでドラッグすると、サウンドイベント（音楽の切り替わりのポイント）にスナップできます。
音楽のビートにあわせて画面中央のロゴ画像がスケールアニメーションをするデモを紹介。動画編集の際、映像が音楽に自動的にシンクロするため、動画編集がしやすくなります。
3. テーマカラーにあわせて自動的に写真の色調を整える技術
テーマカラーに写真の色調を最適化する技術「Color Chameleon」。グラフィックデザインにおいて、従来のワークフローではテーマカラーにあわせPhotoshopで写真を一枚ずつ補正するのは大変な作業でした。この機能をつかえばボタンひとつで、写真の色調をテーマカラーに合わせ、統一感のあるデザインに仕上げられます。
▲自動的にマッチングするカラーを判別
▲ 写真素材を配置しただけの状態。写真の色調に統一感がない
▲ ポスターのテーマカラーにあわせて写真の色調が統一される
4. 滑らかな映像ループを生成する技術
動画が矛盾なくループするように自動的に調整してくれる技術「Loop Welder」。映像素材がループするときに発生する「ガクッ」という始点と終点のずれを滑らかに補正できます。Webコンテンツ、SNS、プロの作品、動画の尺伸ばし等さまざまな場面で使えます。
▲レコードが回る動画を使って、滑らかにループ可能な映像素材に変換
▲DJの動画を使って、これも滑らかにループ可能な映像素材に変換
短いクリップ中のループできるポイントをみつけて、2秒の映像クリップを1分の尺を自然に延ばすことも可能。尺を伸ばした映像クリップをPremiere Proに取り込んで紹介していました。
▲映像クリップのループ可能な箇所を分析
▲尺を伸ばした映像クリップをPremiere Proに取り込む
5. レイアウトとキーワードから画像を検索する技術
Photoshopで大きさとキーワードを指定すると、その指定に即した画像が検索される機能「Concept Canvas」。たとえば下図の「person」と書かれている部分に、人物の写真を挿入するケースを想定しましょう。
Photoshop上で矩形のシェイプを配置するだけ。「レイアウトとして向かって左側に人物が写った写真」がAdobe Stock（ストックフォトサービス）検索され、条件にマッチした写真がリストアップされます。
この機能を使ってカンプから瞬時に目的のデザインを作成。
画面左側に「Person」という文字と長方形、右側に「Dog」という文字を配置するだけで、このレイアウトに適した画像が検索されます。
「Water」「Umbrella」「Person」という文字と作成したい構図を長方形でレイアウトすれば、背景に水があり傘を持った人の構図の写真が検索されます。
6. ベクターをトレースする新技術
撮影した写真を解析しベクタートレースする技術「Inter Vector」。デモでは、登壇者の豚のぬいぐるみを撮影し、Illustratorに合成するまでの手順を紹介されました。
まず、豚のぬいぐるみの写真を撮影します。
取り込まれた画像がベクター化されます。
必要に応じてディテールを調整することも可能。ベクターデータができあがりました。
作成したベクターデータをIllustratorのポスター画像に合成。ポスター画像のトーンに合わせ、自動的に作成データのトーンも調整されます。
7. 油絵の凹凸表現が可能な新しいペイント技術
従来のデジタルペイントで難しかった油絵的な表現（独特の凹凸、テカリ）を可能にする技術「Wet Brush」。ペンタブレットのペンの傾きがパソコンにシミュレートされ、本物の油絵の質感を表現できます。
WetBrushを用いてパソコンで描画された作品を紹介。油絵の質感が表現されています。
塗りには3Dの情報が保持されているので、光源の位置を変更すると光のあたり具合が変わります。デモでは、作品を3D回転させ、光のあたる位置が変わる様子が実演されました。
また、ワンクリックでマテリアルを変更したり、塗り直しをすることも手軽。このあたりはデジタルデータの強みだと言えます。
できあがったデータは、最終的に3Dプリントで出力。凹凸もプリントされています。
8. レイアウトを自動的に調整するデザイン技術
レイアウトに合わせて、配置した画像を自動的にレイアウトする技術「Quick Layout」。次の画面の中央の青枠で囲まれた画像に注目ください。
画像を1枚追加すると、自動で2カラムのレイアウトとなり、2枚の画像が等幅で並びます。
▲もう一枚追加すれば、3カラムのレイアウトに
▲タイル画像の横幅・縦幅を変更した場合も、残りの画像が自動的に拡縮したり、トリミングされ、適切なタイルレイアウトに
タイルレイアウトはデザインでは頻出するものの、調整には工数がかかります。QuickLayoutを用いると短時間でタイルレイアウトが可能になります。
9. 写真の空の部分をいい感じに置き換える技術
記念写真を撮影したとしても、空の映りがイマイチであれば写真は台無しです。「Sky Replace」を用いると、異なる写真の空の部分だけを解析し差し替えることが可能です。
次の写真を撮影したとします。空のハイライトが飛んでいます。
空の部分を差し替えるため、空の別の画像を準備します。デモではAdobe Stockから画像を持ってきていました。
元画像の空部分をクリックするだけで、空の部分が解析され、指定の空画像に差し替わります。単に空が差し替わるだけでなく、空の光に合わせて全体のトーンやコントラスト・色温度も調整されます。
この技術があれば、曇り空での撮影も問題ありません。たとえば次のような写真があったとします。
SkyReplaceにより、青空はもちろん、夕焼けも適用できます。建物の壁部分を見るとわかりますが、空のトーンに合わせて建物の壁の光の反射具合も変わっています。
10. 音声を切り貼りで合成する技術
マシンラーニングによって音声合成を可能にする技術「VoCo」。音声解析によって文字列化された文章は、単語の順番をコピペで変えることでその順番で滑らかに発話されます。
20分の会話音声を提供していれば、その人が話していないワードまで読み上げることが可能。タイピングした文章を、その人の声で発話できるデモを紹介。会場の聴衆は驚き拍手喝采に。
この発表はYouTubeでも公式に公開されています。2分5秒から説明をご覧ください。5分時点では観客から「Amazing」と狂喜乱舞の状態になっています。
登壇者は「まるでPhotoshopで画像を編集するように、音声を編集できる」という表現をしていました。その人が発話していないワードまで喋らせることができるので、「故人の声を聴くことができる夢の技術」であるとか、「政治に悪用されたら困る、音声情報にウォーターマークが必要ではないか」と参加者で話題になりました。
11. HMD内で映像編集するVR技術
現在VR映像はトレンドとして需要は高まっていますが、VR映像の編集のソリューションは十分に整っていません。映像編集するときにはヘッドマウントディスプレイ（以下、HMD）を着脱しながら最終出力結果を確認する必要がありました。この問題を解決するのが「Clover VR」。HMDをつけたまま、VRビデオを編集が可能です。
▲ CloverVRによりHMDを外すことなくVR映像を編集している様子
会場では、HMDをつけたまま複数のVR動画を編集する様子を実演。編集と同時に出力結果である360度映像を確認できるので、効率的にVR映像を作成できます。
▲ 編集中のVR映像。2種類のVR動画を、適切なタイミングで入れ替えようとしている。
こちらの発表もYouTubeで公開されています。3分の時点で、視点編集の様子が紹介されています。
まとめ〜製品に搭載され我々クリエイターが使える技術になるかもしれない
Adobeの真骨頂ともいえる「Adobe Magic」。画像加工技術・映像/音声解析技術の強みを中心にAdobeの底力が発表されました。ここで紹介されたものは、実験的な技術なので必ずしも将来製品に実装されるかはわかりません。しかし、筆者は6回Adobe MAXに参加しスニークスを見てきましたが、ここでで紹介された技術の多くが製品に搭載されていることを確認しています。
Adobeの真価が披露されたSneaks。そのとてつもない技術は、スキルと熟練を要するクリエイティブの作業を誰もが享受できるようにしたいというAdobeの意思を感じます。クリエイティブの未来を垣間見ることができたAdobe MAX。これからAdobeはどのようなクリエイティブな革命を起こしていくのでしょうか。目が離せません。
