フォト グラ メトリ。 フォトグラメトリの精度とは

フォトグラメトリと 3D スキャンの違い

フォト グラ メトリ

レスパスビジョン株式会社は多数の一眼レフカメラから写真測量法(フォトグラメトリー)を用いて高品質な3Dモデルデータを生成する を2017年6月より弊社地下2階のスタジオにオープンしました。 おかげさまで好評稼働中です。 開発・運用は弊社のクリエイティブチーム が担当しました。 スタジオにはモデラー兼VFXジェネラリスト4名が常駐しており作品によって最適なアプローチを提案可能な体勢になっています。 フォトグラメトリーとは 【フォトグラメトリー】は大量の画像から「3Dモデル」と「3Dモデル用のテクスチャ」を得る事ができる非接触な3D測量手法の1つです。 大量の画像の中の「共通の特徴点」を検知し、その特徴点の視差から3D座標を計算し、「点群」を算出します。 その点群を「面」に変換し3Dモデルと3Dテクスチャを生成します。 比較的低コストからシステム構築可能な写真測量法(フォトグラメトリー)はレーザー測定器(FAROなど)による3Dモデル作成と並び製造・建築・土木の業界でも定番となっています。 またレーザー測定器を用いた手法では高精細な画像は得られず基本的には頂点座標と頂点カラーのみのポイントクラウドデータしか得られないため、精度の高い画像を得られるフォトグラメトリーと併用したり、組み合わせることも可能となっています。 フォトグラメトリーのメリット 従来リアルな3Dモデルは資料画像を撮影しモデリング担当者が手作業で経験に基づき作業していました。 正面図・側面図だけの画像からでは本物と瓜二つに造形することはかなりの難易度になります。 (勢いでなんとなく似せるモデリングは比較的容易です) フォトグラメトリーでは人間のように物体の「陰影」から立体感を推測するのでは無く、見た目にとらわれない測量技術をベースにしています。 そのため正確かつ微妙な凹凸を再現可能です。 タイトなスケジュールの中で多くのVFXこなさなければならない場合、CGIアセット制作だけに多くの時間をさけるわけではありません。 フォトグラメトリーにより造形の基礎となる正確な3D形状を半自動で得られるだけでも作業効率は大きく向上します。 また作業担当者の熟練度が「中」程度でもワークフローを構築すれば問題なく高品質な3Dモデルを作成することが出来ます。 実際に弊社の2年目のキャリアのモデラーが多くの作業をこなしました。 少数でVFX制作を行っている弊社のCG部でこの高い精度・生産性はとても助かっています。 スキャンデータの活用 デジタルダブル(CGスタント) VFXを多用する映画・ドラマにおいてスタントマンの担当範囲を超える演出の場合は演者をCGに置き換えることになります。 全身だけではなく、複雑な3Dエフェクトを施すために手や顔などの各部位の置き換えなども多くあります。 実写素材・CG・演者とが絡む複雑なシーンなども超フォトリアルな3Dモデルを活用することによってグリーンバック撮影やCG作業、ポストプロダクション作業全行程で劇的に作業効率が上がります。 特に人物はほぼ動かないがカメラがダイナミックに動く合成シーンの場合は人物を3Dスキャンしてしまえばグリーンバック撮影、モーションコントロール撮影が不要になる可能性があります。 地形・空間・小物等のリアルな造形の再現(CGIアセット) 自由なカメラワークを演出するためには演者だけではなくセット美術、小物全てをCGで置き換えるフルCG(CGI)でシーンを構築しなければなりません。 膨大な数の物体を正確に手作業でモデリングすることは制作期間と作業人数を鑑みてしばしば見送られてきました。 フォトグラメトリーを活用することによってフルCGのシーン構築がかなり現実的になりました。 <約300枚の写真を撮影現場で撮影> <フォトグラメトリーにより形状の精度は荒いものの、正確な採寸と高品質なテクスチャ画像が得られる> insta360 Xなどの高画質な360度カメラが普及し、一昔に比べて効率的に環境を3Dスキャンできるようになってきました。 3Dスキャン スタジオ『iris』 セットや建物、固定物に関しては現場収録しか撮影方法はありませんが、人物や小物を精密に3Dスキャンするにはやはり専用のシステムが必要です。 一般的には撮影枚数が多いほど高精度なスキャン結果が得られるため、目的に合わせてスキャンのシステムを使い分けます。 3Dスキャンスタジオ『iris』には以下の3つのシステムを被写体によって使い分けています。 3Dスキャンスタジオ『iris』にはアプローチの異なるの3つのシステムが存在します。 <フォトグラメトリーのワークフロー プロジェクトに応じて柔軟に対応可能です。 > 人体用のスキャンシステム 人体は完全に静止することはできず、ターンテーブル等で撮影したものを使用すると形状に著しい破綻が起きます。 その為、人体のスキャンでは多数のカメラを同期させ一瞬で撮影することが不可欠です。 本システムではNikon一眼レフカメラ164台で構成。 全てのカメラのシャッターとストロボを同期させて撮影を行います。 映画マトリックスで有名になったCGIベースの「バレットタイムFX」などに便利です。 ストロボは比較的大光量のまま閃光時間を短くできるbroncolorのストロボSiros800S 800W を10灯で構築しました。 他社製品も検討しましたが閃光時間を短くすると出力も落ちていってしまうことからbroncolorの採用になりました。 収録はバックアップとしてカメラ内臓のSDカードにも収録しますが、基本的にはUSB接続によるテザー収録を行い直接PCへ保存されます。 主に十分な品質を担保できるJPEGを主に使用しています。 全身スキャンのポリゴン精度は約2000万ポリゴン、ジオメトリ精度は約2mm、テクスチャは約1mmの精度。 テクスチャのサイズは最大16Kでスキャンすることが可能です。 <現在はカメラ164台で3Dモデルを生成している。 資料撮影としても有効に活用可能> <映画「マトリックス」で有名になったアクションの一瞬を捉えるエフェクト、バレットタイムFX用のスキャンも可能です> ジャンプした瞬間でもスキャン可能です。 スポーツ系のゲーム用スキャンの実績もあります。 物撮り専用システム 物撮り専用のターンテーブルを用いたシステム。 カメラ台数は1台だが被写体を回転させ何枚でも撮影可能。 形状にもよりますが200枚-500枚の撮影を行います。 ストロボの使用も考えましたが膨大な撮影枚数になるため定常光を採用。 ストロボの紫外線の問題や作業者の頭痛の原因になるため控えました。 最小では1cm、最大で70cmの幅の物体をスキャンすることが可能です。 得られるポリゴンは最大1億ポリゴン。 ポリゴン解像度は1mm、テクスチャ解像度は0. 3mm。 テクスチャは最大16Kで出力可能です。 布地スキャンシステム 「Photometric Stereo」という手法で3Dスキャンでは不可能な細かい布地などのディティールをスキャン可能なシステム。 3mm以下の解像度があります。 凹凸の表現を立体ではなく画像により表現可能です。 少ないポリゴンで繊細なテクスチャ表現が可能です。 硬貨のレリーフなどの繊細な凹凸をNormal Mapとして得られます。 ハンディスキャン 1cmから4mまでの小物を3Dスキャン可能なハンディースキャナー ジオメトリ精度約1mm・テクスチャ精度は約0. 3mm。 最大テクスチャサイズは 2K。 ロケ先などでの3Dスキャンが可能です。 カラーマネジメント フォトグラメトリ処理後のテクスチャ(AdobeRGBカラースペース)は精度の良いカラーマトリクス変換でNUKEでキャリブレーションされ、色域を「ACEScg」で統一することにより様々なシネカメラの色域に合わせて柔軟に対応することが可能になりました。 フォトグラメトリーで精度が低下する原因 フォトグラメトリーは画像が全てですから画像が悪ければそのままスキャン精度の低下へとつながります。 可能な限り画質低下に対して対応・工夫しています。 ・カメラのブレ 画ブレはそのまま品質の低下につながるためこのシステムではストロボの高速閃光により微細な揺れをカバーしています。 物撮りの場合はF20付近まで絞り込むので感度をギリギリまであげて対応しています。 ・ピントずれ フォトグラメトリー手法のピントずれは極めて大きな破綻につながります。 限界までF18付近まで絞り込んでピントズレのリスクを回避しています。 人体の場合は姿勢・体勢が予測不可能な場合も多く164台全てをマニュアルフォーカスで調整しています。 ・物体の鏡面反射(ハイライト) フォトグラメトリーの破綻を大きくさせる要因の一つに物体に生じる「ハイライト」があります。 ハイライトは被写体そのものの色ではなく光源そのものが写り込んだものです。 物体色では無いため共通の特徴点にはならず不正な形状の原因になってしまいます。 解決方法としては360度全てを使った壁バウンス光源にし、光源の切れ目をなくす手法。 あるいは偏光フィルター2つを使ったcross-polarizationを用います。 どちらにもメリット・デメリットがありますが弊社のスタジオでは全てのシステムにcross-polarization手法を採用しました。 ストロボ側とカメラレンズのフィルターどちらにも偏光フィルターを用いるのですが、3STOP以上の光量低下が発生するのがデメリットになります。 この手法で得られる画像はハイライトが無くなり、まるで水中で撮ったようなフラットなルックになります。 このハイライト成分を除去した画像は3D CG上で照明を設定するにあたり非常にうまく機能します。 ハイライトを除去しない場合は現実世界と3D CGの2箇所で2重にハイライト成分が発生してしまうからです。 フォトリアルなCGI作業においてテクスチャから光源の影響(ハイライトと陰影)を除去することは重要です。 cross-polarization手法を用いることによって大幅にハイライト成分を除去出来ますので効率的で高品質な3Dテクスチャを作り出すことが可能です。 弊社の環境の場合、164枚の画像では2時間、500枚では約6時間計算時間が必要になります。 得られる3Dデータは最大で1億ポリゴンにもなります。 計算直後の3Dデータはノイズ成分が多くそのままではまず使用できません。 その後1000万~2000万ポリゴンにまで減らしZbrushという造形ソフトで3Dモデラーによるレタッチ工程があります。 後処理の膨大な計算時間と作り出される巨大なポリゴンデータの効率の良い扱い方はまだまだ研究の余地があります。 フォトグラメトリーの課題 予算の都合もありまだまだ足りない部分がありますが都度都度カスタマイズし拡張可能なのもフォトグラメトリーシステムの良いところです。 カメラ台数はさらなる精度確保のため順次増設していきたいところです。 海外のシステムが200台以上で組まれているのは精度を考えると納得です モデルがリアルになれば付随して産毛や髪の毛等の体毛の表現、現実味のある皮膚の表現なども共に高い品質が必要になります。 この点も研究テーマとして欠かせません。 アニメーションに関しては外部のモーションキャプチャースタジオなどと連携し様々な用途向けにサービス提供可能です。 詳しくは以下のWEBフォームからお問い合わせ下さい。 この記事は「映画テレビ技術」 2017年9月号 向けに寄稿したものを再編集しています。

次の

他人のGPUでフォトグラメトリしたい!!

フォト グラ メトリ

前回3DZ Zephyr Liteの体験版みたいなのを使ってフォトグラメトリしました。 3DZ Zephyrは多分体験版は1か月ぐらいしか使えないので、今回はのmeshroomというのを使ってフォトグラメトリします。 meshroom からダウンロード 私の時の最新版は2019. 2だった。 ちゃんと今も開発されてるんだな Meshroom. exeで起動。 こんな感じの画面 左側に写真をドラッグ。 昔取ってすごくうまくいったやつをそのまま入れた。 そしてstartを押すだけ。 全自動! 保存する場所を聞かれたような気がする。 あとファイル名。 しばらくしたらなんか終わってたぽい。 画面上は点群データみたいになってるけどできてる。 obj Unityにフォルダごと入れたらちゃんと見れた! 若干品質は下がっている気がする。 あと3DZ Zephyr はフォトグラメトル範囲をあらかじめ設定できるけど、そういうのはあるのかな?たぶんありそうだけど 下のノードで各工程の設定ができるらしいけど、よくわからん 最後に すごい手軽だし、一応ちゃんとできるし、無料でよさそう。 まだあまりやってないから分からないけど あとそんなに使っている人いないのかな? よく使われている3DZ Zephyrは今21000円もするよ! RealityCaptureは月額3980円。 こちらにいろいろなソフトがまとまっている 参考記事 bibinbaleo.

次の

広域フォトグラメトリによる建築デジタルアーカイブ|銭洗弁天VRが出来るまで【第1回:撮影編】

フォト グラ メトリ

概要 本記事はフォトグラメトリを初めてやる人を対象にしています。 無料の範囲で簡単に始められるような内容になっています。 フォトグラメトリを使ってリアルのオブジェクトをバーチャルに持っていきましょう! フォトグラメトリとは? 複数の画像から3Dデータを作成する技術です。 手のひらサイズの小さなものから、建造物や都市等といった大きなものまで作成可能です。 特殊な機材は必要なく、画像さえ準備できればすぐに始められます。 準備するもの• PC Windows• カメラ• 3DF Zephyr 無料版 PCのスペックによって処理時間が変わります。 ゲーミングPCを持っている方は処理が早いかと思います。 通常のPCでも問題ありませんが時間がかかる場合があります。 参考として、記事の末尾に私のPCスペックを記載しておきます。 カメラはスマホカメラで十分です。 一眼レフ等を使うとより綺麗に撮れます。 今回の記事ではiPhoneXを使用しました。 3DF Zephyrは画像から3Dデータを生成するソフトです。 他の選択肢はいくつかありReality Capture等が有名です。 今回は簡単に無料でやることが目的なので3DF Zephyrを選定しました。 このソフトは50枚を元とした生成であれば無料で利用することができます。 対応OSはWindowsのみになります。 Steamが入っていない場合はURLから3DF Zephyrをダウンロードすることもできます。 ダウンロードした後はexeファイルを起動し、インストールを行って下さい。 今回の例ではわかり易さを優先するために画像でやっていますが、動画の方が手間はかかりません。 ただ、手ブレやピント等は起こりやすいので手間とのトレードオフになります。 3D化の対象選定 フォトグラメトリは 特徴点を元に生成を行います。 その為、反射するものや単色のもの、動くもの等はうまく生成できない可能性があります。 逆に模様や質感のあるものは綺麗に生成できます。 今回の例では、比較的生成しやすい木を使用します。 撮影 撮影対象は色々な角度から満遍なく撮りましょう。 位置や角度等を変えて抜け目のない様に撮ると良いでしょう。 撮影に関するコツは3DF Zephyrのチュートリアル動画が参考になります。 一眼レフの場合はレンズの設定を調節することで精度を高めることができます。 今回は撮影のコツについての詳細は省略します。 生成完了まではの5つステップに分かれています。 順に説明していきます。 1 低密度点群生成• 2 高密度点群生成• 3 メッシュ生成• 4 テクスチャ付きメッシュ生成• 5 3Dデータのエクスポート 1 低密度点群生成(参考時間:5分程度) 起動したら、撮影した50枚までの画像を全てドラッグアンドドロップします。 基本的にはデフォルトの設定で次へを押していれば問題ありませんが"カメラの方向"の画面のみカテゴリーを確認して下さい。 4つの中から適切なものを選択します。 今回は近接範囲を選択します。 プリセットはデフォルトにしておきます。 また、右上の設定からアドバンスドやカスタムを選択すると詳細設定をすることができます。 クオリティを高めたい場合はそちらを見てみると良いでしょう。 実行を押すとモデルの生成が始まります。 処理が終了すると結果が表示されます。 ここが綺麗に生成できるかの分かれ道です。 このYESと表記された画像がモデルの生成に使用できたという意味になります。 つまり、このYESが多いほど綺麗に生成できるということになります。 対象に特徴点が少なかったり、使用した画像がぶれていたりするとYESの数が減ってしまいます。 この数が少なすぎるとそもそもモデルを生成できなかったりします。 うまくいかなかった場合は、撮影方法などを工夫するか対象を検討し直しましょう。 問題なければOKを押して高密度点群生成に進みましょう。 2 高密度点群生成(参考時間:8分程度) どうでしょう。 画面にぼやっと生成されたモデルが見えるでしょうか? 問題なさそうであれば左上のワークフロータブから高密度点群作成を選択してください。 この後の設定も基本的にはデフォルトのままで問題ありませんが高密度点群生成の画面では、先程のステップ同様にカテゴリーを選択しましょう。 クオリティを上げたい場合は高精細を選択すると良いでしょう。 今回の例ではデフォルトを選択しています。 処理が終了したら、完了を押しましょう。 3 メッシュ生成(参考時間:8分程度) 高密度点群生成が完了したら、ワークフロータブからメッシュ抽出を選択してください。 4 テクスチャ付きメッシュ生成(参考時間:10分程度) メッシュ生成が完了したら、ワークフロータブからテクスチャ付きメッシュ作成を選択してください。 テクスチャ付きメッシュ生成ウィザードでは、最大頂点数を変更します。 デフォルト設定だと頂点数が多すぎるので、1万〜10万ポリゴン程度に設定します。 テクスチャサイズも同様にモデルを軽くしたい場合は減らすと良いでしょう。 ここの設定はモデルの生成後に使ってみて問題があれば調節しましょう。 5 3Dデータのエクスポート ここまででモデルの生成は終わりました。 後はデータをエクスポートすれば完了です。 左上の出力タブからをテクスチャ付きメッシュ生成選択してください。 (Unityであればこれで問題ありません) 他出力したい形式があればそれを選択しましょう。 その後、ローカル表示基準システムにチェックを入れます。 フォルダを作成して、そこにフォルダを選択し、保存すれば終了です! 生成されたデータはUnityやBlender等のソフトにインポートして利用することができます。 最後に 今回は生成までの一連の流れの説明のみでしたが以下の点を工夫することでクオリティを上げることが可能です。 撮影方法• 撮影環境• 撮影対象• 撮影機材• 出力の詳細設定 ぜひクオリティを突き詰めて色々を試してみて下さい! フォトグラメトリの世界は奥が深いです。 またフォトグラメトリに関する情報は私のTwitterアカウントでも発信しています。 【】 この記事が参考になったなと思って頂けたら是非フォローお願いいたします! 質問などありましたらお気軽に聞いて下さい😊 参考にさせて頂いたURL 【紹介】私もかなり参考にさせて頂いているSTYLYさんでフォトグラメトリのアワードが開催されるみたいです! 是非作品を作った方は応募してみましょー!(締切は6月30日まで) 今回使用したPCスペック• CPU:AMD Ryzen 5 1600 Six-Core• メモリ:8. 00GB• グラフィックボード:NVIDIA GeForce GTX 1060 3GB.

次の