Get best of the week

ITMO Research_ポッドキャストスタゞアム党䜓の芏暡でのショヌずARコンテンツの同期化にアプロヌチする方法

これは、私たちのプログラムApple Podcasts、Yandex.Musicの2番目のむンタビュヌのテキストトランスクリプトの最初の郚分です。リリヌスのゲスト-Andrey Karsakovkapc3d、Ph.D.、囜立認知開発センタヌの䞊玚研究員、デゞタル倉革孊郚の准教授。

Andreyは2012幎から科孊グルヌプの芖芚化ずコンピュヌタヌグラフィックスで働いおいたす。圌は州および囜際レベルで倧芏暡な応甚プロゞェクトに埓事しおいたす。䌚話のこの郚分では、倧芏暡なむベントのAR䌎奏に関する圌の経隓に぀いお話したす。


写真ThisisEngineering RAEngUnsplash.com


プロゞェクトのコンテキストず目的


タむムコヌドオヌディオバヌゞョン-00:41


ドミトリカバノフ私はペヌロッパ競技倧䌚のプロゞェクトから始めたいず思いたす。それはマルチコンポヌネントであり、いく぀かのチヌムが準備に参加し、スタゞアムでのむベント䞭に䜕千人もの芳客に拡匵珟実を提䟛するこずはかなり深刻な䜜業です。参加ずいう点では、そもそもこの゜フトだったんですか

kapc3dはい、私たちは゜フトりェアの郚分を䜜り、ショヌの間に䌎奏を提䟛したした。すべおをリアルタむムで監芖、監芖、起動し、テレビグルヌプず連携する必芁がありたした。このプロゞェクト党䜓を考えるず、ミンスクでの欧州倧䌚の開䌚匏ず閉䌚匏、およびカザンでのワヌルドスキルズ遞手暩の開䌚匏に぀いお話すこずができたす。それは同じ䜜業蚈画でしたが、異なる掻動でした。それらの間には2ヶ月のギャップがありたした。Sechenov.comのメンバヌず䞀緒にプロゞェクトを準備したした。Science Festで

偶然䌚った2018幎の秋に開催されたした。私たちの孊郚生は、VRのトピックに関するコヌスプロゞェクトを瀺したした。圌らは私たちに近づき、私たちの研究宀で䜕をしおいるのか尋ねたした。それは次のように芋え

たした。-では、VRを䜿甚しおいたすが、拡匵珟実を䜿甚できたすか

「そうですね、そうです」

-そのような入門的なもので、そのような仕事がありたす。それできたすか

カブを少し匕っ掻いたずころ、非珟実的なものは䜕もないようです。-

事前にすべおを調べお、解決策を芋぀けたしょう。

Dmitry圌らはメディアサポヌトだけを扱っおいたすか

アンドリュヌ完党なスタックを䜜成したす。管理ず組織の芳点から-圌らは監督、ステヌゞング、颚景の遞択、ロゞスティクス、その他の技術サポヌトに党面的に取り組んでいたす。しかし、圌らはペヌロッパ倧䌚のために特別なこずをしたかったのです。耇合珟実感などのこれらの特殊効果は、長い間テレビに䜿甚されおきたしたが、技術的な実装ずいう点では最も予算がかかりたせん。したがっお、圌らは代替案を探しおいたした。

Dmitry問題に぀いおさらに詳しく説明したしょう。圌女はどうだったか

Andrewむベントがありたす。それは1時間半続きたす。それをラむブで芳る芳客ずスタゞアムに座っおいる芳客が、サむト䞊の時間ず堎所でラむブショヌず完党に同期するこずで、拡匵珟実の効果を確実に芋るこずができるようにする必芁がありたす。

いく぀かの技術的な制限がありたした。フルスタンドではネットワヌクに過床の負荷がかかる恐れがあり、州銖垭がむベントに参加する可胜性があり、モバむルネットワヌクが混雑する可胜性があるため、むンタヌネット経由で時刻を同期するこずは䞍可胜でした。

Andrey Karsakov、ITMO倧孊の資料の写真
このプロゞェクトには2぀の重芁な芁玠がありたした。人々がモバむルデバむスを介しお䜓隓できる個人的な䜓隓ず、テレビ攟送ずスタゞアム自䜓の情報画面で起こっおいるこずです。

ある人がモバむルデバむスを介しお拡匵珟実の゚ピ゜ヌドを突然芋お、同時に画面に圓たった堎合、圌は同じ画像を芋るはずです。

時間内に完党に同期するには、2぀の実際に異なるシステムが必芁でした。しかし、そのようなショヌの特城は、それらが耇雑なむベントであり、倚数のテクニカルサヌビスが関䞎し、すべおの操䜜がタむムコヌドに埓っお実行されるこずです。タむムコヌドは、䜕かが始たる特定の時点です。光、音、人が出る、ステヌゞの花びらを開くなどです。すべおが適切なタむミングで始たるように、このシステムに適応する必芁がありたした。もう1぀の特城は、拡匵珟実のあるシヌンず゚ピ゜ヌドが颚光明媚に結び付けられおいたこずです。

ドミトリヌしかし、䞍可抗力のリスクが高いため、タむムコヌドの䜿甚をやめるこずに決めたしたか、それずも最初にいく぀かの電力特性を蚈算し、システム党䜓の負荷がかなり高くなるこずに気付きたしたか

Andrewそのようなオヌディ゚ンスのための同期サヌビスを䜜成する堎合、それはそれほど難しくありたせん。いかなる堎合でも、リク゚ストは䞀床に萜ちたせん。はい、負荷は高いですが、緊急事態ではありたせん。問題は、ネットワヌクが突然消滅した堎合に、リ゜ヌスず時間を費やす䟡倀があるかどうかです。これが起こらないかどうかはわかりたせんでした。最終的には、負荷が原因ですべおが断続的に機胜したしたが、機胜し、タむムコヌドを䜿甚しお別の方法で同期したした。これは䞖界的な課題の1぀でした。


UX実装の課題


タむムコヌドオヌディオバヌゞョン-10:42


Andrewたた、スタゞアムはクラシックなコンサヌト䌚堎ではないこずを考慮し、モバむルデバむスのスペヌス内のシステムを同期させる必芁がありたした。ですので、少し前に、゚ミネムのコンサヌトで拡匵珟実のあるストヌリヌが違反され、その埌、ロボダの事件がありたした。

写真提䟛Robert ByeUnsplash.com
しかし、これは垞にあなたの前での䜓隓です-矀衆党䜓がシヌンに盎面しおおり、同期は非垞に簡単です。スタゞアムの堎合は、仮想環境内のスペヌスにスタゞアムが配眮されるように、盞察的な䜍眮である円呚のどちら偎にいるかを理解する必芁がありたす。酞っぱい挑戊でした。圌らはさたざたな方法でそれを解決しようずしたした、そしお私たちはロボダによっお実装されたものに近いケヌスを埗たしたが、すべおではありたせんでした。

ナヌザヌがどこにいるかをナヌザヌに刀断させたす。圌らは人々がセクタヌ、列、堎所を遞んだスタゞアムのレむアりトを䜜りたした。これらすべおを4回の「クリック」で行いたす。次に、シヌンぞの方向を決定する必芁がありたした。これを行うために、ナヌザヌアングルからのシヌンがどのように芋えるかをシル゚ットで瀺したした。圌はそれを組み合わせお、タップしお、それだけです-シヌンは座っおいたした。私たちはこのプロセスをできるだけ簡略化しようずしたした。それでも、番組を芋たいず思った芖聎者の90は、拡匵珟実感を䜓隓した人ではありたせん。

Dmitryこのプロゞェクトには別のアプリケヌションがありたしたか

Andreiはい、iOSずAndroid向けのアプリケヌションです。それのために別のプロモヌションキャンペヌンがありたした。ダりンロヌド方法など詳现は前述したした。

ドミトリヌそのようなアプリケヌションを䜿甚する方法を物理的に確認および孊習する堎所が人にはないこずを理解する必芁がありたす。したがっお、聎衆を「蚓緎」するタスクは耇雑でした。

Andrewはい、そうです。 UXでは、ナヌザヌがダりンロヌド、むンストヌル、起動ずいう3回のクリックでの゚クスペリ゚ンスを望んでいるため、倚くのコヌンを捉えたした。倚くの人は、耇雑なチュヌトリアルを読んだり、トレヌニングを読んだりするのが面倒です。たた、チュヌトリアルではすべおをできるだけナヌザヌに説明しようずはしたせんでした。ここでりィンドりが開き、ここでカメラにアクセスできたす。そうしないず機胜したせん。いく぀の説明を曞いおも、どれだけ詳现に噛んでも、どんなGIFを挿入しおも、人々はこれを読みたせん。

ミンスクでは、この郚分の倧きなフィヌドバックプヌルを収集したした。たた、Kazanでのアプリケヌション甚にすでに倚くの倉曎を加えおいたす。拡匵珟実の特定の゚ピ゜ヌドに察応するレコヌドずタむムコヌドだけでなく、すべおのレコヌドずタむムコヌドを完党に取埗したした。したがっお、アプリケヌションは起動時に䜕が起こっおいるかを聞いおおり、その人がその瞬間に入らなかった堎合は、「同志、申し蚳ありたせんが、AR゚ピ゜ヌドは15分以内です。」ずいう情報を提䟛したす。


アヌキテクチャず同期のアプロヌチに぀いお少し


タむムコヌドオヌディオバヌゞョン-16: 37


ドミトリヌそれでも音による同期を行うこずに決めたしたか

Andreiはい、偶然起こりたした。私たちはオプションを敎理し、むゞェフスクのCifrasoft䌚瀟に出䌚いたした。それらは実際にはだたされおはいたせんが、サりンドによっおタむミングずサりンドを同期させるこずを可胜にするアむアンワヌキングSDKです。このシステムは、アプリケヌションで䜕かを出力したり、条件付き広告のサりンドでむンタラクティブなコンテンツを提䟛したりできるずきに、TVず連携するように配眮されおいたした。

Dmitryしかし、1぀はリビングルヌムに座っおいるこず、もう1぀は数千のスタゞアムです。録音の品質ずその埌の認識をどのように管理したしたか

アンドリュヌ倚くの恐れや疑いがありたしたが、ほずんどの堎合、すべおがうたく認識されたした。圌らは、トリッキヌなアルゎリズムを䜿っおサりンドトラックに眲名を䜜成したす-合蚈は元のオヌディオファむルよりも軜量です。マむクは、呚囲の音を聞くず、これらの機胜を芋぀けお、それらによっおトラックを認識しようずしたす。良奜な状態では、同期の粟床は0.1〜0.2秒です。それで十分でした。条件が悪い堎合、差異は最倧0.5秒でした。

倚くはデバむスに䟝存したす。倚数のデバむスで䜜業したした。 iPhoneの堎合、これらはわずか10モデルです。圌らは品質ず他の機胜の点でうたくいきたした。しかし、アンドロむドでは、動物園は私のお母さんのようなものです。どこでも音の同期が機胜するこずが刀明したわけではありたせん。別のデバむスでは、別のトラックの他に、いく぀かの機胜のために聞こえない堎合がありたした。どこか䜎い呚波数が離れ、どこか高いずころが喘鳎し始めたす。しかし、デバむスがマむクにノヌマラむザを備えおいる堎合、同期は垞に機胜したした。

Dmitryアヌキテクチャに぀いお教えおください-プロゞェクトで䜕が䜿甚されたしたか

アンドリュヌUnityでアプリケヌションを䜜成したした-マルチプラットフォヌムずグラフィックスの点で最も簡単なオプションです。 AR Foundationを䜿甚。システムを耇雑にしたくないずすぐに蚀ったので、すべおをテストする時間を確保するために、ARKitずARCoreをサポヌトする䞀連のデバむスに限定したした。 Tsifirasoft SDKのプラグむンを䜜成したした。これはGitHubにありたす。スクリプトがタむムラむンで実行されるように、コンテンツ管理システムを䜜成したした。

ナヌザヌは特定の゚ピ゜ヌドのい぀でもログむンでき、同期した瞬間からすべおを確認する必芁があるため、パヌティクルシステムを少し調敎したした。映画のように3D゚クスペリ゚ンスを前埌にスクロヌルできるように、スクリプトを時間内に明確に再生できるシステムをいじくり回したす。箱から出しお叀兞的なアニメヌションで機胜する堎合は、パヌティクルシステムをいじくり回さなければなりたせんでした。ある時点で、圌らはスポヌンし始めたす、そしおあなたがスポヌンのポむントのどこかに自分自身を芋぀けた堎合、圌らはただ生たれおいるように芋えたすが、ただ生たれおいたせん。しかし、実際には、この問題は簡単に解決されたす。

モバむル郚分のアヌキテクチャは非垞に単玔です。攟送に関しおは、すべおがより耇雑です。鉄には限界がありたした。条件は顧客から蚭定されたした。「ここには、このようなアむアンパヌクがあり、倧たかに蚀っお、すべおがそれに取り組む必芁がありたす。」私たちは、比范的䜎コストのビデオキャプチャカヌドを䜿甚するずいう事実にすぐに泚目したした。しかし、予算の問題はそれらが悪いこずを意味するものではありたせん。

ハヌドりェア、ビデオキャプチャカヌド、および劎働条件に制限がありたした。キャプチャカヌド-内郚キヌむングスキヌムに埓っお機胜するBlackmagic Design-これは、ビデオフレヌムがカメラから取埗されるずきです。カヌドには独自の凊理チップがあり、受信チップの䞊に重ねる必芁のあるフレヌムもありたす。カヌドはそれらを混合したす-私たちがそこに䜕も觊れないほど、ビデオカメラからのフレヌムに圱響を䞎えたせん。その結果、ビデオ出力を介しお、圌女はリモコンで吐き出したす。これはキャプションや他の同様のものを適甚するための良い方法ですが、レンダリングパむプラむンには倚くの制限があるため、耇合珟実効果にはあたり適しおいたせん。

Dmitryリアルタむムコンピュヌティング、オブゞェクトバむンディング、たたはその他の点で

アンドリュヌ品質ず望たしい効果の達成の面で。䜕が䞊に画像をオヌバヌレむするかわからないためです。元のストリヌムの䞊に色ず透明床の情報を提䟛するだけです。屈折、正しい透明床、そのようなスキヌムでの远加のシャドりなどの䞀郚の効果は実珟できたせん。これを行うには、すべおを䞀緒にレンダリングする必芁がありたす。たずえば、火灜や高枩のアスファルトからの空気の歪みの圱響を䞎えるこずはできたせん。屈折率を考慮した透明効果の透過率ず同じです。最初はこれらの制限に基づいおコンテンツを䜜成し、適切な効果を䜿甚するように詊みたした。


ドミトリヌペヌロッパ倧䌚の最初のプロゞェクトの内容はありたしたか

Andrewいいえ、コンテンツ開発のメむンステヌゞはSechenov.comのメンバヌでした。圌らのグラフィックアヌティストは、アニメヌションやその他のもので基本的なコンテンツを描きたした。そしお、すべおを゚ンゞンに統合し、远加の゚フェクトを远加しお、すべおが正しく機胜するように調敎したした。

パむプラむンに぀いお話すず、テレビの堎合、Unreal Engine 4ですべおを収集したした。ちょうどその時点で、圌らはツヌルに耇合珟実耇合珟実を匷制し始めたのず同じです。すべおがそれほど単玔ではないこずがわかりたした。すべおのツヌルは今でも未加工で、手䜜業でたくさん仕䞊げなければなりたせんでした。ミンスクでは、゚ンゞンのカスタムアセンブリを䜜成したした。぀たり、実際のオブゞェクトの䞊に圱を描画できるように、゚ンゞン内郚でいく぀かのこずを曞き盎したした。このバヌゞョンの゚ンゞンは、関連性があり、暙準ツヌルを䜿甚しおこれを実行できる機胜はありたせんでした。このため、私たちのスタッフは、重芁なすべおのものを提䟛するためにカスタムアセンブリを䜜成したした。


カザンのその他のニュアンスずWorldSkillsぞの適応


タむムコヌドオヌディオバヌゞョン甚-31:37


ドミトリヌしかし、これらすべおはかなり短い時間で

アンドレむ締め切りはカザンプロゞェクト、ミンスク-普通のものでした。開発には玄6か月かかりたすが、6人が関䞎したずいう事実を考慮に入れたす。同時に、圌らはモバむル郚分を䜜り、テレプロダクション甚のツヌルを開発したした。画像出力だけではありたせんでした。たずえば、光孊系を備えた远跡システムでは、独自のツヌルキットを䜜成する必芁がありたした。

ドミトリヌあるプロゞェクトから別のプロゞェクトぞの適応はありたしたか 1か月半の間、開発を利甚しお、新しいコンテンツを含むプロゞェクトを新しいサむトに転送する必芁がありたしたか

アンドリュヌはい、䞀ヶ月半でした。ミンスクプロゞェクトの埌、チヌム党䜓で2週間の䌑暇を蚈画しおいたした。しかし、閉鎖盎埌、Sechenov.comのメンバヌが珟れ、「では、カザンに任せおください」ず蚀いたす。私たちはただ少しリラックスするこずができたしたが、このプロゞェクトにすぐに切り替えたした。技術面で䜕かを完了したした。ほずんどの時間はコンテンツに費やされたした。WorldSkillsの堎合は完党にそれを行ったため、ディレクタヌのチヌムに同意しただけです。圌らの偎には台本しかありたせんでした。しかし、それはより簡単でした-远加の反埩は必芁ありたせんでした。コンテンツを自分で行うず、゚ンゞンでどのように機胜するかがすぐにわかり、すばやく線集および調敎できたす。


モバむルの郚分では、ミンスクで行ったすべおの機埮を考慮に入れたした。圌らは新しいアプリケヌションデザむンを䜜成し、アヌキテクチャを少し修正し、チュヌトリアルを远加したしたが、できるだけ短く、明確にしようずしたした。アプリケヌションの起動からコンテンツの衚瀺たでのナヌザヌステップの数を枛らしたした。 1か月半で十分なプロゞェクトを䜜成できたした。 1週間半の間、私たちはサむトに行きたした。プロゞェクトのすべおの管理は䞻催者の手に委ねられたため、そこでの䜜業はより簡単でした。他の委員䌚ず調敎する必芁はありたせんでした。カザンでの䜜業はどんどん簡単になり、時間が枛ったのはごく普通のこずでした。

Dmitryしかし、同期によるアプロヌチはそのたたにしおおくこずにしたのですか

アンドリュヌはい、私たちは音を残したした。うたくいきたした。圌らが蚀うように、それが機胜する堎合、それに觊れないでください。サりンドトラック品質の埮劙な違いを考慮しただけです。圌らが玹介をしたずき、ショヌが始たる前に人々が詊すこずができるようにトレヌニング゚ピ゜ヌドしかありたせんでした。スタゞアムでトラックを再生する瞬間に「ラむブ」の嵐の拍手があるず、システムはそのトラックでうたく同期するこずができたすが、録音された拍手がその瞬間のトラックず混合されるず、トラックはキャッチされなくなりたす。これらのニュアンスが考慮され、サりンドは非垞によく同期されたした。

PS問題の埌半では、デヌタの科孊的可芖化、他のプロゞェクトでのプロセスのモデリング、ゲヌム開発、および修士プログラム「コンピュヌタヌゲヌム開発のためのテクノロゞヌ」に぀いお話したす。」続きは以䞋の資料に掲茉しおいたす。あなたはここで私たちを聞いおサポヌトするこずができたす





PPS䞀方、Habrの英語版に぀いおは、ITMO倧孊を詳しく芋おみたしょう。

More articles:


All Articles