MRTK v2 - Build Window

※ 6/17現在、調子が悪いようなので使わないほうが良さそう。 具体的には、インストールしても古いコンテンツが表示される（ビルドしてバージョンインクリメントされてるが中身が古い？）、ローカルPCにインストールされる、など。

目次

TL;DR

Microsoft.MixedReality.Toolkit.Unity.Tools を導入すると使えるようになる「Build Window」について。

なお、Mixed Reality Toolkit Documentation には「Build Window」の項目はない。
MRTK Utilities Build Window is not documented · Issue #5121 やそこからリンクを辿ったりするとビルドに関して明確に記述しない方針のように見える。

検証環境

• Unity：2019.2.7f2
• MRTK：2.3.0 / 2.4.0
• VisualStudio：2019
• Device：HoloLens2

内容

Microsoft.MixedReality.Toolkit.Unity.Toolsをインポートすると、「Build Window」を使えるようになる。
[Mixed Reality Toolkit > Utilities > Build Window] からウィンドウを開く。

上段では、Unityでビルドする際の出力先ディレクトリの設定や、直接ビルド＆インストール、Player Settingsを開いたりできる。

[Unity Build Options]タブ

ビルドに含まれるシーンの一覧や、Unityビルド、ビルド結果をVisual Studioで開くなどができる。

[Appx Build Options]タブ

appxへのビルドやその設定が行える。Unity上では設定できない「視線入力」を有効にすることも可能。

ビルド結果のうち配布に必要なのは、該当するアーキテクチャの appxbundle と Dependencies フォルダ配下の該当するアーキテクチャのパッケージ。

[Deploy Options]タブ

Device Portalと同じUsername/Passwordを入力すればOK。デバイスポータルもここから開ける。
ローカル接続すると[Discover HoloLens WIFI IP]は消えるのかな？

バージョン毎のアプリのインストール/アンインストール、アプリの起動/終了、ログなども確認できる。
なお、Visual Studio からインストールしたアプリがあると上書きできないので予め消してから行うこと。

MRTK v2 - Spatial Awareness (空間認識)

目次

TL;DR

Mixed Reality Toolkit Documentation の以下の Spatial Awareness の章から要点を抜き出したページです。

• Spatial awareness
• Configuring mesh observers for device
• Configuring mesh observers for the editor
• Configuring mesh observers via code
• Creating a spatial awareness system data provider

検証環境

• Unity：2019.2.7f2
• MRTK：2.3.0 / 2.4.0
• VisualStudio：2019
• Device：HoloLens2

内容

空間認識を使用するには

詳細はこちら。

microsoft.github.io

• Clone する Profile ファミリー

  • DefaultHololens2ConfigurationProfile
  • DefaultMixedRealitySpatialAwarenessSystemProfile

• 設定

  • DefaultHololens2ConfigurationProfile をクローン
  • MixedRealityToolkit スクリプト > Spatial Awareness セクション で [Enable Spatial Awareness] を ON
  • DefaultMixedRealitySpatialAwarenessSystemProfile をクローン

Spatial Awarenessの見た目を変えるには

見た目を変える以外に、起動時の動作や更新間隔などスキャンやメッシュなどの設定が行える。
詳細はこちら。

microsoft.github.io

• Clone する Profile ファミリー

  • DefaultMixedRealitySpatialAwarenessMeshObserverProfile

• 設定

  • [WindowsMixedRealitySpatialMeshObserver] タイプのオブザーバーを展開
  • DefaultMixedRealitySpatialAwarenessMeshObserverProfile をクローン
  • [Display Settings] で表示/非表示、見た目（Material）の変更が可能

  

  • Display Option
    • Visible - Visible Material を使用してメッシュを表示する
    • Occlusion - Occlusion Material を使用してシーン内のアイテムをオクルードする
    • None - メッシュをレンダリングしない

    

Editor 上で扱うには

詳細はこちら。

microsoft.github.io

• Clone する Profile ファミリー

  • DefaultObjectMeshObserverProfile

• 設定

  • MixedRealityToolkit スクリプト > Spatial Awareness セクション で新たに [SpatialObjectMeshObserver] タイプのオブザーバーを追加
  • DefaultObjectMeshObserverProfile をクローン
  • デフォルトでサンプルの空間データが含まれている（ExampleSpatialMesh）

オリジナルの空間データを扱うには

• HoloLens をPCに接続し、DevicePortalを開く
• Views > 3D View の画面で、Spatial mapping の [Update] を実行すると現在認識している空間のメッシュが読み込まれる
• 続いて [Save] を実行すると obj形式のデータをダウンロードできる
• objファイルをUnityにImportし、先の [Spatial Object Mesh Observer] 内で、[Spatial Mesh Object] に設定する

コードから操作するには

すべてのスキャンを開始/停止したり、オブザーバー毎に開始/停止したり、Meshの取得やメッシュの表示/非表示などができる。
詳細はこちら。

microsoft.github.io

ドキュメントのサンプルコードでオブザーバーを取得しようとした所、既に2.4のコードになっている。

var observer = CoreServices.GetSpatialAwarenessSystemDataProvider<IMixedRealitySpatialAwarenessMeshObserver>();

2.3では以下のように取得可能。

var provider = CoreServices.SpatialAwarenessSystem as IMixedRealityDataProviderAccess;
var observer = provider.GetDataProvider<IMixedRealitySpatialAwarenessMeshObserver>();

カスタムオブザーバーを作成するには

microsoft.github.io

HoloLens2 リファレンス（公式）

主なページ

• Microsoft HoloLens（製品）
  • https://www.microsoft.com/ja-jp/hololens
• Microsoft HoloLens（Docs）
  • https://docs.microsoft.com/ja-jp/hololens/
• Mixed Reality
  • https://docs.microsoft.com/ja-jp/windows/mixed-reality/
• Mixed Reality Toolkit (MRTK)
  • https://microsoft.github.io/MixedRealityToolkit-Unity/README.html
• Mixed Reality Toolkit (MRTK) リポジトリ
  • https://github.com/microsoft/MixedRealityToolkit-Unity

Hololens 2（製品）

• Microsoft HoloLens
  • https://www.microsoft.com/ja-jp/hololens
  • デバイス
    • https://www.microsoft.com/ja-jp/hololens/hardware
  • 価格
    • https://www.microsoft.com/ja-jp/hololens/buy
  • ソリューション
    • https://www.microsoft.com/ja-jp/hololens/apps
    • Dynamics 365 Remote Assist
      • https://dynamics.microsoft.com/ja-jp/mixed-reality/remote-assist/
    • Dynamics 365 Guides
      • https://dynamics.microsoft.com/ja-jp/mixed-reality/guides/
  • デベロッパー
    • https://www.microsoft.com/ja-jp/hololens/developers
    • Azure Mixed Reality
      • https://azure.microsoft.com/ja-jp/topic/mixed-reality/
      • Azure Spatial Anchors
        • https://azure.microsoft.com/ja-jp/services/spatial-anchors/
      • Azure Remote Rendering
        • https://azure.microsoft.com/ja-jp/services/remote-rendering/
      • Azure Digital Twins
        • https://azure.microsoft.com/ja-jp/services/digital-twins/
    • Azure Kinect DK
      • https://azure.microsoft.com/ja-jp/services/kinect-dk/

Docs

HoloLens

• Microsoft HoloLens
  • https://docs.microsoft.com/ja-jp/hololens/

概要

• HoloLens 2
  • ハードウェア
  • 使用準備
  • セットアップ
  • 操作方法
  • リリースノート
• HoloLens 1
  • ハードウェア
  • 使用準備
  • セットアップ
  • 操作方法
  • リリースノート

管理

• 再起動、リセット、または回復する
  • https://docs.microsoft.com/ja-jp/hololens/hololens-recovery
• 更新する、以前のバージョンに戻す
  • https://docs.microsoft.com/ja-jp/hololens/hololens-update-hololens
• セキュリティに関するよく寄せられる質問
  • https://docs.microsoft.com/ja-jp/hololens/hololens-faq-security
• デバイスおよびホログラムについてよく寄せられる質問
  • https://docs.microsoft.com/ja-jp/hololens/hololens-faq
• 接続エンドポイントを管理する
  • https://docs.microsoft.com/ja-jp/hololens/hololens-offline
• アクセサリを接続する
  • https://docs.microsoft.com/ja-jp/hololens/hololens-connect-devices
• ユーザー管理
  • https://docs.microsoft.com/ja-jp/hololens/hololens-identity
• キオスクモード
  • https://docs.microsoft.com/ja-jp/hololens/hololens-kiosk
• Insider Preview
  • https://docs.microsoft.com/ja-jp/hololens/hololens-insider
• Windows Autopilot (Windows Deployment Platform)
  • https://docs.microsoft.com/ja-jp/hololens/hololens2-autopilot
  • https://docs.microsoft.com/ja-jp/windows/deployment/windows-autopilot/

商用環境

• 商用機能
  • https://docs.microsoft.com/ja-jp/hololens/hololens-commercial-features
• HoloLens を展開するための手順
  • 必要な機能を決定する
    • https://docs.microsoft.com/ja-jp/hololens/hololens-requirements
  • ライセンスを決定する
    • https://docs.microsoft.com/ja-jp/hololens/hololens-licenses-requirements
  • ネットワークを構成する
    • https://docs.microsoft.com/ja-jp/hololens/hololens-commercial-infrastructure
  • プロビジョニングパッケージを使用して HoloLens を構成する
    • https://docs.microsoft.com/ja-jp/hololens/hololens-provisioning
  • MDM （モバイルデバイス管理）を設定する
    • https://docs.microsoft.com/ja-jp/hololens/hololens-enroll-mdm
  • 更新プログラムの管理
    • https://docs.microsoft.com/ja-jp/hololens/hololens-updates
  • Bitlocker の暗号化を有効にする (HoloLens1)
    • https://docs.microsoft.com/ja-jp/hololens/hololens-encryption

操作方法

• スタート メニューと Mixed Reality ホーム
  • https://docs.microsoft.com/ja-jp/hololens/holographic-home
• 音声を使う
  • https://docs.microsoft.com/ja-jp/hololens/hololens-cortana
• ファイル操作
  • https://docs.microsoft.com/ja-jp/hololens/holographic-data
• 複合現実の写真とビデオをキャプチャして管理する
  • https://docs.microsoft.com/ja-jp/hololens/holographic-photos-and-videos

環境

• キャリブレーション
  • https://docs.microsoft.com/ja-jp/hololens/hololens-calibration
• 環境に関する考慮事項
  • https://docs.microsoft.com/ja-jp/hololens/hololens-environment-considerations
• 物理スペースのマッピング
  • https://docs.microsoft.com/ja-jp/hololens/hololens-spaces

Mixed Reality

• Mixed Reality の概要
  • https://docs.microsoft.com/ja-jp/windows/mixed-reality/
• コミュニティ
  • https://docs.microsoft.com/ja-jp/windows/mixed-reality/community

概要（古め）

• Mixed Reality の設計プロセス
  • https://docs.microsoft.com/ja-jp/windows/mixed-reality/case-study-expanding-the-design-process-for-mixed-reality
• ケーススタディ
  • https://docs.microsoft.com/ja-jp/windows/mixed-reality/case-studies-overview
• イマーシブヘッドセット
  • https://docs.microsoft.com/ja-jp/windows/mixed-reality/immersive-headset-hardware-details

設計

• 設計とプロトタイプ作成
  • https://docs.microsoft.com/ja-jp/windows/mixed-reality/design
  • エクスペリエンスの主要な概念
    • https://docs.microsoft.com/ja-jp/windows/mixed-reality/design#what-are-the-core-concepts-of-an-experience
      • ユーザーの快適さを維持する (快適さ)
      • ユーザーには世界がどのように見えるかを考える - (ホログラフィック フレーム)
      • 複合現実アプリの種類
      • ホログラムの配置 - (座標系)
      • ホログラフィック オブジェクトを現実的なものにする - (空間マッピング)
  • 操作の設計
    • https://docs.microsoft.com/ja-jp/windows/mixed-reality/design#interaction-design-factors-to-consider
      • 顧客の操作モデルを選択する
      • 手とモーション コントローラー
      • 音声入力でオブジェクトに直接コマンドを実行する
      • ユーザーの目の視線入力を利用する
      • 色、ライト、マテリアル
      • オブジェクトのスケールを示す
      • 明確で読みやすい文字体裁
      • 複合現実のための UX 要素

開発

• ツールとアーキテクチャについて学習する
  • https://docs.microsoft.com/ja-jp/windows/mixed-reality/development
  • ツールのインストール
    • https://docs.microsoft.com/ja-jp/windows/mixed-reality/install-the-tools
  • クラウドサービス
    • Azure Remote Rendering のドキュメント
    • Azure Spatial Anchors のドキュメント
  • チュートリアルとサンプル アプリ
    • https://docs.microsoft.com/ja-jp/windows/mixed-reality/tutorials
    • HoloLens 2 のチュートリアル
      • https://docs.microsoft.com/ja-jp/windows/mixed-reality/tutorials#hololens-2-tutorials
    • HoloLens 1 のチュートリアル
      • https://docs.microsoft.com/ja-jp/windows/mixed-reality/tutorials#mixed-reality-academy-tutorials
    • MR + Azure のチュートリアル
      • https://docs.microsoft.com/ja-jp/windows/mixed-reality/tutorials#mixed-reality-and-azure-services-tutorials
  • Unity 開発
    • https://docs.microsoft.com/ja-jp/windows/mixed-reality/unity-development-overview
    • 詳細は後述
  • Unreal 開発
    • https://docs.microsoft.com/ja-jp/windows/mixed-reality/unreal-development-overview
    • 詳細は後述
  • JavaScript 開発
    • https://docs.microsoft.com/ja-jp/windows/mixed-reality/javascript-development-overview
  • ネイティブ開発
    • https://docs.microsoft.com/ja-jp/windows/mixed-reality/directx-development-overview
  • プラットフォームの機能とAPI
    • コア構成要素
      • DirectX での座標系
      • DirectX でのHeadGazeとEyeGazeの入力
      • DirectX のハンドとモーションコントローラー
      • DirectX での音声入力
      • DirectX での空間マッピング
      • SceneUnderstanding SDK
      • DirectX の共有エクスペリエンス
      • DirectX でのキーボード、マウス、およびコントローラー入力
      • Holographic DirectX アプリでの XAML の使用
      • QR コードの追跡
    • 共有エクスペリエンス
      • Mixed Reality での共有エクスペリエンス
      • Azure Spatial Anchors のドキュメント
      • Spectator View
      • WebRTC リポジトリ
    • カメラ
      • 場所を特定できるカメラ
      • Mixed Reality Capture (MRC)
    • Holographic Remoting Player
      • https://docs.microsoft.com/ja-jp/windows/mixed-reality/holographic-remoting-player
    • アプリの品質とテスト
      • https://docs.microsoft.com/ja-jp/windows/mixed-reality/app-quality-criteria
      • Mixed Reality のパフォーマンス
      • Unity のパフォーマンスに関する推奨事項
      • Visual Studio を使用した配置とデバッグ
      • HoloLens でのアプリのテスト
      • HoloLens エミュレーターを使用する
      • HoloLens エミュレーターと Mixed Reality Simulator の高度な入力
      • HoloLens エミュレーターのアーカイブ
      • 認識シミュレーション
    • 調査ツール
      • Device Portal
      • Device Portal API リファレンス
  • アプリの移植
    • https://docs.microsoft.com/ja-jp/windows/mixed-reality/mrtk-porting-guide

Unity 開発

• Unity 開発の概要
  • https://docs.microsoft.com/ja-jp/windows/mixed-reality/unity-development-overview

はじめに

• MRTK バージョン 2 の概要
  • https://docs.microsoft.com/ja-jp/windows/mixed-reality/mrtk-getting-started
• Unity の推奨設定
  • https://docs.microsoft.com/ja-jp/windows/mixed-reality/recommended-settings-for-unity
• Unity と Visual Studio を使用するためのベストプラクティス
  • https://docs.microsoft.com/ja-jp/windows/mixed-reality/best-practices-for-working-with-unity-and-visual-studio
• Unity を使用したマネージデバッグ IL2CPP
  • https://docs.microsoft.com/ja-jp/windows/mixed-reality/managed-debugging-with-unity-il2cpp

コア要素開発

• MRTK を使った基本的なインタラクション
  • https://docs.microsoft.com/ja-jp/windows/mixed-reality/mrtk-101
• Unity のカメラ
  • https://docs.microsoft.com/ja-jp/windows/mixed-reality/camera-in-unity
• Unity での座標系
  • https://docs.microsoft.com/ja-jp/windows/mixed-reality/coordinate-systems-in-unity
• Unity での永続化
  • https://docs.microsoft.com/ja-jp/windows/mixed-reality/persistence-in-unity
• Unity でのHead-gaze
  • https://docs.microsoft.com/ja-jp/windows/mixed-reality/gaze-in-unity
• Unity のテキスト
  • https://docs.microsoft.com/ja-jp/windows/mixed-reality/text-in-unity
• Unity のジェスチャとモーションコントローラー
  • https://docs.microsoft.com/ja-jp/windows/mixed-reality/gestures-and-motion-controllers-in-unity
• Unity での手と視線の追跡
  • https://docs.microsoft.com/ja-jp/windows/mixed-reality/hand-eye-in-unit
• Unity での音声入力
  • https://docs.microsoft.com/ja-jp/windows/mixed-reality/voice-input-in-unity
• Unity での空間マッピング
  • https://docs.microsoft.com/ja-jp/windows/mixed-reality/spatial-mapping-in-unity
• Unity での空間サウンド
  • https://docs.microsoft.com/ja-jp/windows/mixed-reality/spatial-sound-in-unity

プラットフォーム機能とAPI

• Unity での共有エクスペリエンス
  • https://docs.microsoft.com/ja-jp/windows/mixed-reality/shared-experiences-in-unity
• Unity でのロケータブルカメラ
  • https://docs.microsoft.com/ja-jp/windows/mixed-reality/locatable-camera-in-unity
• Unity でのフォーカスポイント
  • https://docs.microsoft.com/ja-jp/windows/mixed-reality/focus-point-in-unity
• Unity でのトラッキングロス
  • https://docs.microsoft.com/ja-jp/windows/mixed-reality/tracking-loss-in-unity
• Unity でのキーボード入力
  • https://docs.microsoft.com/ja-jp/windows/mixed-reality/keyboard-input-in-unity
• Unity for HoloLens の WinRT Api
  • https://docs.microsoft.com/ja-jp/windows/mixed-reality/using-the-windows-namespace-with-unity-apps-for-hololens
• Unity での Mixed Reality ネイティブオブジェクト
  • https://docs.microsoft.com/ja-jp/windows/mixed-reality/unity-xrdevice-advanced
• Unity での Vuforia Engine の使用
  • https://docs.microsoft.com/ja-jp/windows/mixed-reality/vuforia-development-overview

Unreal 開発

• Unreal 開発の概要
  • https://docs.microsoft.com/ja-jp/windows/mixed-reality/unreal-development-overview
• Unreal でのハンドトラッキング
  • https://docs.microsoft.com/ja-jp/windows/mixed-reality/unreal-hand-tracking
• Unreal での視線入力
  • https://docs.microsoft.com/ja-jp/windows/mixed-reality/unreal-gaze-input
• Unreal での空間マッピング
  • https://docs.microsoft.com/ja-jp/windows/mixed-reality/unreal-spatial-mapping
• Unreal での空間アンカー
  • https://docs.microsoft.com/ja-jp/windows/mixed-reality/unreal-spatial-anchors
• Unreal での音声入力
  • https://docs.microsoft.com/ja-jp/windows/mixed-reality/unreal-voice-input
• Unreal での HoloLens カメラ
  • https://docs.microsoft.com/ja-jp/windows/mixed-reality/unreal-hololens-camera
• Unreal での QR コード
  • https://docs.microsoft.com/ja-jp/windows/mixed-reality/unreal-qr-codes
• Unreal のパフォーマンスに関する推奨事項
  • https://docs.microsoft.com/ja-jp/windows/mixed-reality/performance-recommendations-for-unreal

配布

• Microsoft Store にアプリを送信する
  • https://docs.microsoft.com/ja-jp/windows/mixed-reality/submitting-an-app-to-the-microsoft-store

MRTK

• Mixed Reality Toolkit (MRTK) リポジトリ
  • https://github.com/microsoft/MixedRealityToolkit-Unity
• Mixed Reality Toolkit Documentation
  • https://microsoft.github.io/MixedRealityToolkit-Unity/README.html
• Mixed Reality Toolkit Documentation（非公式日本語翻訳）
  • https://hololabinc.github.io/MixedRealityToolkit-Unity/Documentation.ja/GettingStartedWithTheMRTK.html
• Mixed Reality Toolkit Documentation（非公式日本語翻訳）Version 2.3
  • https://condescending-wilson-d1a22a.netlify.app/documentation.ja/gettingstartedwiththemrtk

HoloLens2 の 立体オーディオのチュートリアル

公式ページ。 docs.microsoft.com

目次

チュートリアル

立体音響の設計に関する推奨事項などは以下を参照。

混合現実アプリケーションでの空間サウンドの使用 - Mixed Reality | Microsoft Docs

概要と目標

明記されてないけど内容から推測する前提条件とか。（2020/5現在）

• Windows 10
• Windows 10 SDK 10.0.18362.0 以降
• HoloLens2
• Unity 2019.X
• NuGetForUnity
• Windows Mixed Reality 3.0.5 以降

Unity プロジェクトへの空間オーディオの追加

MRTK コアパッケージは、Microsoft.MixedReality.Toolkit.Foundationのこと。

手元だとボリュームアイコンからの設定は、こうなってた。

Windows Sonic For ヘッドホンについては以下のサイトあたりで。

penpen-dev.com

要約すると、2chヘッドホンで立体音響を聴くための機能で、音源自体がステレオだと効果はない。

Spatializing ボタンの相互作用サウンド

MRTKのUnity Projectの設定や、TextMesh ProのImportなどは適宜実施する。

ボリューム曲線の調整は、[Custom Rolloff]を選んで、ボリューム曲線のエンドポイントを編集からVolumeを1に設定すると楽。

Visual Studio で「MSB3073」のビルドエラーが出る場合は、プロジェクトを個別にビルドしていくと解消された（要は順番の問題）。

ビデオからオーディオを Spatializing

ストアアプリの設定はこっちのタブ。

機械翻訳が雑だけど頑張れば大丈夫。

実行時の spatialization の有効化と無効化

PressableButtonHoloLens2のOnClick() に設定するのは、QuadのSpatializeOnOff.SwapSpatialization。（機械翻訳が雑）

リバーブを使用して空間オーディオに距離を追加する

特になし。

HoloLens2 の マルチユーザー機能のチュートリアル

公式ページ。 docs.microsoft.com

目次

チュートリアル

作業を終えたらAzureとPhotonのリソースは削除すること。

概要と目標

前提条件とか。（2020/5現在）

• Windows 10
• Windows 10 SDK 10.0.18362.0 以降
• HoloLens2
• Unity 2019.2.X
• 次のセクションを完了する
  • Spatial Anchors リソースを作成する
    • Azure Portal でリソース作成して、アカウントIDとアカウントキーをコピーする

Photon Unity Networking の設定

Asset Storeが激重で[Download]ボタンがアクティブにならない場合は、ストア自体が死んでる可能性高いので諦めよう。

[PUN Wizard]を開くメニューが表示されてない場合は以下でいけるらしい。

• 空のスクリプトエラーが出てコンパイルできなくなる問題について – ユニティ・テクノロジーズ・ジャパン合同会社

複数のユーザーの接続

AppId設定していないと、HoloLensではエラーログが出る。 Editor上では実行する際にメッセージウィンドウが出る。

複数のユーザーとオブジェクトの移動を共有する

プレハブのところは多分間違ってる。

HoloLensのアプリ起動する際は、起動方向を考慮しないとEditorと同時に見たり操作したりできないので注意。

Azure Spatial Anchors の共有エクスペリエンスへの統合

最低でも2台のHoloLensが必要なので未実施。

ShareAzureAnchor(), GetAzureAnchor() が存在しないので調査必要そう。

HoloLens2 の Azure 音声認識サービス チュートリアル

公式ページ。 docs.microsoft.com

目次

チュートリアル

基本的に用意されたものを組み上げて動作を確認する内容になってる。

作業を終えたらAzureのリソースは削除すること。

概要と目標

前提条件とか。（2020/5現在）

• Windows 10
• Windows 10 SDK 10.0.18362.0 以降
• HoloLens2
• Unity 2019.2.X

音声認識と文字起こしの統合と使用

• Speech SDK を使用するため、競合しないようにMRTKの音声コマンドは[Manual Start]に変更する
  • Clone する Profile
    • DefaultHoloLens2InputSystemProfile
    • DefaultMixedRealitySpeechCommandsProfile
• Azureのリージョンは、東日本ならjapaneast、西日本ならjapanwest
• 認識するのは英語のみ

音声認識を使用したコマンドの実行

発音だけなんとかなれば。

Azure Cognitive Services の Speech Translation コンポーネントの追加

残念ながら日本語は選択肢にない。

意図と自然言語の理解の設定

LUISのAPIがv3.0でGAしており、チュートリアルで使うライブラリ(v2.0向け)と互換性が取れないため、 残念ながら最後まで行けず。

LUISの設定でEntity type に[Simple]はなかったので、[Machine learned]あたりかな？

docs.microsoft.com

HoloLens2 の Azure Spatial Anchors チュートリアル

公式ページ。 docs.microsoft.com

目次

チュートリアル

基本的に用意されたものを組み上げて動作を確認する内容になってる。

コードなどの解説は一切ないので、仕組みが気になる場合は別途コードを追うか、こちらをやってみるのが良いかと。

作業を終えたらAzureのリソースは削除すること。

概要と目標

前提条件とか。（2020/5現在）

• Windows 10
• Windows 10 SDK 10.0.18362.0 以降
• HoloLens2
• Unity 2019.2.X
• 次のセクションを完了する
  • Spatial Anchors リソースを作成する
    • Azure Portal でリソース作成して、アカウントIDとアカウントキーをコピーする

Azure Spatial Anchors をお使いになる前に

実機で謎エラーが出ちゃう場合は一時ファイルなど削除してUnity再起動してやり直すとうまく行った。 （Assets、Packages、ProjectSettings以外のフォルダは全部消してOK）

Unityでビルド時に、Reference Rewriter ～ のエラーが出てもslnファイルが出力できてれば無視して良いらしい。 Unityで実行すると、当たり前だが DllNotFoundException: AzureSpatialAnchors のエラーが出る。

アプリの操作手順。

1. Move the cube to a differenct location.
2. Start Azure session.
3. Create Azure Anchor (creates anchor at the location of the cube).
4. Stop Azure Session.
5. Remove Local Anchor (allows the user to move the cube).
6. Move the cube somewhere else.
7. Start Azure Session.
8. Find Auzre Anchor (positions the cube at the location from step3).
9. Delete Azure Anchor.
10. Stop Azure Session.

和訳

1. キューブを別の場所に移動します。
2. Azure セッションを開始します。
3. Azure アンカーを作成します (キューブの場所にアンカーを作成します)。
4. Azure セッションを停止します。
5. ローカル・アンカーの削除 (ユーザがキューブを移動できるようにする)。
6. キューブを別の場所に移動します。
7. Azure セッションを開始します。
8. Auzre アンカーを検索します (ステップ 3 からの場所にキューブを配置します)。
9. Azure アンカーを削除します。
10. Azure セッションを停止します。

Azure Spatial Anchors の保存、取得、および共有

Anchor が作成されるとMove、Rotateはできない。Scaleは可能。

Azure Spatial Anchors のフィードバックの表示

特になし。