我々は、お客さまのビジネスを成功させるため目的に合った技術・プラットフォーム・デバイスの選定、アプリケーション開発までお手伝いしております。ここでは、その技術に関してご説明します。

■AR/MRの開発技術

AR/MRの技術は多様化・高性能化が進み、利用目的やシチュエーションにより最適な選定が必要となっています。ここでは、AR/MRの代表的な認識技術の概要・用途についてご説明します。

認識方式について

AR/MRはアプリケーションの起動後に、何かを認識することによりコンテンツが起動する仕組みとなっています。実施内容、利用するデバイス、使用するSDK(開発キット)により最適な技術を採用する必要があります。ここでは主要な認識方式をご紹介します。

【マーカー認識】幾何学的な模様や独自パターンを認識してコンテンツを表示する方式

1)AR技術の研究からエンタメ、ビジネス利用まで幅広く使用されています。QRコードそのものやメーカー独自のデザインが用いられます。
2)印刷する際は特別な認識エリアが必要になりますが、認識対象であることが利用者に分かり易い、画像認識とは異なり完全一致で認識を行うため誤認識を起こしにくという利点が有るため今でも使用されている技術です。

【画像認識】写真やイラストをイメージとして認識する方式

1)画像認識の方式として特徴点という技術が多くのSDKで採用されています。濃淡がはっきりしているエッジの部分を自動解析し、そのパターンを予めアプリケーション内部かクラウドに登録しておく方式です。
2)ページ全体、写真・イラスト単位、見えている景色などさまざまな場面で利用可能です。光の反射や印刷素材など利用するシチュエーションによって認識され難い場合がありますので、事前検証を行います。
3)認識対象がカメラに映っていない状態でもコンテンツが表示され続ける拡張トラッキングと合わせて使用することも可能です。

【立方体・円柱形状認識】 立方体・円柱形状に画像認識を組み合わせた方式

1)立方体の場合:6面それぞれを補完した認識となり、例えば商品パッケージの全面をフルに利用したコンテンツの表示が可能です。上からだけでなく下からも3DCGを見ることができます。
2)円柱形状:シリンダー認識とも呼ばれています。円柱の面全体を認識することができますので、飲料水のボトルや電柱広告などを認識対象としてARコンテンツを表示することができます。

【立体物認識】実物の自動車や機械製品そのものを認識する方式

1)展示場やシミュレーション、機器のさ操作説明などで有効的です。
2)認識方式として、特徴点を使用する方式と外観の形状をフレームとして認識する方式の2つがありますが、最近ではCADデータを認識情報として利用する方式が一般的です。
3)予めマーカーを設置しておく必要がない点がメリットとなりますが、認識できる色・形状、環境データなどに影響される点が注意点となります。

【平面認識-マーカレス】現実の机上・床面・壁・地面などを認識基準とする方式

1)AppleのARKit、AndroidのARCoreでも提供されることで認知度が上がった技術で、いわゆるマーカレスタイプARと呼ばれます。
2)アプリのカメラ画面を床面にかざし、数秒-10秒程度で準備が完了すると3DCGが配置できます。3DCGの家具やキャラクターなどを実物大に近い状態で表示し、移動や拡大が可能です。 3)白や黒一色の特徴点が殆ど取得出来ないような場所では認識性能が落ちたり、認識しない場合があるため注意が必要です。

【空間認識】部屋などの空間全体の距離を測ることで空間データを生成する方式

1)最新のAppleのデバイス+ARKitで採用されたLiDAR(Light Detection and Ranging)で注目されるようになった技術です。
2)距離を測定する性能が優れているため、平面認識では実現出来なかった空間表現が可能となります。
3)例えば、家具配置システム、展示システム、リアル空間ゲームがより効果的に表現できます。

【顔認識・身体認識】顔の認識、身体や指の動きなどを認識する方式

1)顔認識;顔であることの認識と、目、口、鼻などの位置や表情をリアルタイムで認識することができます。アバターの表情を制御したり、バーチャルメイク、アクセサリなどの試着などで利用できます。
2)身体認識;手であれば指の全関節を、身体全体の場合は骨格と関節の部分を認識することが可能です。仮想的に物を掴む、バーチャルアバターを操作する、洋服などのバーチャルフィッティングでの利用が効果的です。

【オクルージョン(Occlusion)】3DCG表示の前後関係を現実世界に合わせる方式

1)AR/MRの技術は、長い間3DCGと実物世界の前後関係を表現することができませんでした。例えば、実物のテーブルの後ろにARで椅子を配置したいのにも関わらず、テーブルの手前に表示されてしまうという状態を解決することが容易ではありませんでした。
2)オクルージョンが利用できるSDKでは、この問題を解決する事が出来るようになりました。例えば、3DCGの猫がまるで扉の陰から出てきたり、隠れたりするシーンを自然に演出することができます。

SDKについて

AR/MRアプリケーションを開発するためには、認識部分の技術を提供するSDKやAPIを使用する方法が一般的です。SDKはAppleやGoogleが提供するするもの、専門のソフトウェアメーカーが開発した無償・有償で提供されるものがあります。また、専用のデバイスであれば、そのデバイスの開発メーカーが提供しています。ここでは、ナレッジワークスが主に使用しているSDKの概要について説明します。

ARKit (Apple)

Apple社がiOS向デバイス向けに提供している無料のSDK。マーカーを使用しない床や壁の平面認識、イメージターゲットを使用したマーカー認識、骨格・顔認識など、対応可能な認識方式が増え続けています。2020年には最新デバイスで、LiDARと呼ばれる高性能な空間認識技術にも対応し、配置シミュレーションやナビゲーション、ゲームやビジネスに対しても体験価値を高めるコンテンツの提供が可能となりました。

ARCore (Google)

Google社がAndroidデバイス向けに提供している無料のSDK。マーカーを使用しない床や壁などの平面認識、イメージターゲットを使用したマーカー認識等に対応しています。Depth APIを使用したオクルージョンにも対応しており性能や認識の種類も進化を続けています。対象デバイスが少なかったこともあり、普及には遅れを感じていましたが徐々に増えています。

Vuforia Engine (PTC)

PTC社が提供する Vuforia Engine は、開発者向けには無償で開発が可能、ビジネス用途では別途ライセンス費用が発生します。高性能な認識技術や多様な認識方式を提供しており、精度や高性能な技術を必要とする際に適しています。クラウド型の高性能な画像認識技術やAIを搭載したCAD認識技術も用意されています。対象デバイスはスマートフォンだけでなく、Windows Serface、HoloLens 2、Magic Leap 1 にも対応しています。

AR Foundation (Unity)

Unityを使用したマルチプラットフォーム対応のSDK。Android上のARCoreXR、iOS上のARKitXR、Magic Leap上のMagic Leap XR、HoloLens上のWindowsXRのプラグインに対応しています。それぞれのデバイスで利用可能な実装をラッピングしているようなイメージとなっており、特にiOS向けAndroid向けのAR開発ではそれぞれのネイティブ言語での開発必要ないため生産性も向上します。

EasyAR (VisionStar)

中国のVisionStar社が提供する、コストパフォーマンスに優れたSDK。開発者向けに は無料で、商用利用ではサブスクリプションまたは買い切り方式を採用しています。画像認識、3Dオブジェクト認識、リアルタイムで3Dメッシュを生成するSpatialMap、マルチマーカー認識、クラウド認識などに対応しています。モーショントラッキングでは、VISLAM技術が採用されておりARCoreに対応していないAndoroidデバイスでも補完して動作させることが可能です。

MRTK (Microsoft)

MRTK (Mixed Reality Toolkit) は VR と AR のための Mixed Reality エクスペリエンスを構築するクロスプラットフォームのツールキットで、無料で提供されています。高度なインタラクティブなUI/UXを容易に実装するための優れた仕組みが提供されています。主にHoloLens の開発で用いられますが、Ver 2.5からは、Oculus Quest 2 にも対応し、同様のジェスチャー認識の利用が可能となりました。

8th WALL WebAR (8th Wall)

8th WALLは、スマートフォン等のブラウザで動作するWebARのプラトフォームサービスです。ワールドトラッキングと呼ばれる平面認識、顔認識によるメガネなどの試着、画像認識・円錐型認識などに対応しています。海外ではファションブランドなどでの採用が多く、日本ではエンターテインメントやイベントで利用されています。ナレッジワークスでもイベント向けに幾つかの導入支援を行った実績があります。

model-viewer - WebAR

model-viewerとはgoogleが開発するプロジェクトの1つ。Webでより簡単にインタラクティブな3Dモデルを表示するWebComponentで、AndroidではScene Viewer、iOSではAR Quick Lookという機能を用いて表示されます。AR Quick Lookで表示する場合、usdzと呼ばれる3Dモデルフォーマットか、Reality Composerで作成したrealityというフォーマットのみとなります。

Moverio SDK (EPSON)

BT-300など一部のMOVERIOデバイスでARを実現するための無料のSDK。立体物の認識方式として「オブジェクトトラッキング」、それ以外にはシングルとマルチの両方の画像認識に対応しています。表示方式としては、実物の製品に情報を重ね合わせて表示するオプティカルシースルーにも対応しています。ナレッジワークスでは幾つかの案件で提供しています。

AR/MRデバイスについて

AR/MRに対応するデバイスは高性能・低価格化が進んでおり、日々進化を続けています。個人でお持ちのデバイスでもAR/MRに対応するものが増えてきました。ここでは、AR/MRの機能に対応したデバイスの種類、選定方法などについてご説明します。

※以下に当社が独自基準で選定・分類したハードウェア/デバイスの一部を掲載します。製品画像については各メーカーの製品サイト等より無断で転載しています。

AR/MRを実現する基本的なデバイス群

スマートフォン・タブレット

・スマートフォン・タブレットを使用したARは、2010年頃より個人用から業務用まで幅広く普及してきました。
・Apple社のiPhone/iPad、GoogleがのAndroid搭載デバイスが主流となっており、デバイス搭載の高性能カメラや位置情報を使用することが中心です。 ・デバイスに搭載された様々なセンサーとの組み合わせ、スマートグラスやIoT機器など、外部デバイスとのBluetooth連携、クラウドシステムやAIデータとの連動により、その威力を発揮します。

PC

・Windows PC や MAC 本体とWebCameraを使用するARは、2008年頃から使用され始め、その時はマーカーを使用したARが中心でした。
・現在では安価でも高性能なグラフィックボードを搭載した機種が各メーカーから提供されており、開発用のみならずMRやVRを実行するための心臓部として利用されることが多くなっています。 Windows Serface では、タブレットのような利用方法でARを実現することも可能です。

身体認識センサー

・身体認識センサーには様々なタイプが用意されており、目的に応じて選定します。多くの場合はPCと接続しPCに搭載されたアプリケーションで制御して使用します。
・デバイスにより身体の認識には、多くの手法が用意されており、顔の認識、顔の表情を認識、手の指と全関節の動きを認識、体の形状と全関節とその動きを認識するものなどが有ります。それらを認識することで、仮想世界にあるオブジェクトを操作したり、洋服のバーチャルフィッティングやバーチャルメイクも行えます。

裸眼立体視ディスプレイ

・AR/MRを実現する方式としては、個々で持って使用したり装着するタイプが一般的ですが、2019年から利用し易い裸眼立体視ディスプレイも登場しました。
・全方向からのフォログラム表示ではピラミッド型の形状をした装置を使用することが多かったようですが、こらは前面方向に特化したタイプで、斜めから見た際にもまるでディスプレイの中に生物や商品が存在するように見えるというものです。 ・提供するメーカはまだ少ない状態ですが、視線を認識し適切な方向を示すタイプ、Leap Motionのようや指の認識による3DCGを操作できるものなどが用意されています。

ドローン

・ドローンには前方向と、下方向にカメラが搭載されることが多いため、このカメラを使用し、ARを実現することができます。 ・例えば、カメラに映った人の顔を認識し追跡する、畑の上から定期的に撮影しながらAIを使用した認識により健康状態をチェックするなど、クリアしなければならない問題も多々ありますが、その利用には多くの可能性を秘めています。

自立移動デバイス

・ロボットでもなく人でもないというイメージの「自立移動デバイス」、バリアフリーであれば、屋内を自由に移動することができます。国内外のイベント展示場や商品説明、事務所などで利用が始まっています。 ・簡単に説明すると、長い棒の上にタブレットが装着され、タイヤにより走行可能なデバイスです。タブレットには遠隔で操作している人の顔が映っており、その場にいる人と会話をしたり、他の自立移動デバイスと対面で会話をすることもあります。

AR・MR・VR を実現するアイウェアデバイス

ARデバイス

現実世界にデジタルコンテンツを合成したり情報を表示するため、現場で使用することに適しています。そのため小型軽量で持ち運び易い、操作し易い、堅牢性が高くバッテリーの持ちが良いことが求められます。

MRデバイス

現実空間やオブジェクトを立体的なイメージで認識し、デジタル情報を重ねせて表示したり、複数名で情報を見たり操作して共同作業を行う場合に適しています。総合的に高性能であることが求められますが、反面、軽量化が進み業務の現場でも利用される初めています。

VRデバイス

見えている世界が全てデジタルコンンツで構成されるているため、没入した世界が体験できます。現場に行かずに行える仮想世界での訓練、機器などの組み立て作業シミュレーション、仮想空間内でのバーチャルコミュニケーションに適してします。

デバイスの選定ポイント

  • 用途に合った最適なデバイスを選定する。性能が良くても最新機器が目的の業務に合致していない場合があるため、開発開始時期と実施時期を考慮し事前の情報収集と比較検討が必要。

  • 業務向けのアプリはスクラッチによる開発が必要となる場合が多いが、汎用的な遠隔支援機能などについては、直ぐに利用できるアプリが用意されていると導入時の敷居が下がる場合がある。

  • Unityや一般的な開発ツールへの対応、開発し易い仕組みが提供されていること。開発効率が向上するだけでなくメンテナンス性も向上し結果的に総合的に費用を抑えることができる。

  • 業務で長期的に利用する場合、製品本体と交換部品が安定供給されるメーカーの製品を選定する。初期導入時点でも必要台数をまとめて購入すると利用場所が増加した場合に安心することができる。

  • 先端技術の検証用に利用する場合、プロトタイプ版の開発に留まる可能性も有り、必要となる最低数を用意する。使用するSDKによって、商用利用の場合に別途ライセンスが必要となる場合があるため事前確認を行っておくと安心。