チュートリアル2 - カスタムNLPを使って音声エクスペリエンスをアプリに追加する

1. 新しいUnityプロジェクトの空のシーンで、[Hierarchy (階層)]ウィンドウを右クリックした後、[GameObject (ゲームオブジェクト)] > [3D Objects (3Dオブジェクト)] > [Cube (立方体)]を選択します。
2. 追加した立方体を選択してインスペクターウィンドウに移動し、[Position X (位置X)]を-2.5に設定します。これにより立方体が移動して、ほかの図形のためのスペースを空けられます。
3. 上記の手順を繰り返して、球体、カプセル、円柱を追加します。それらの位置Xを、それぞれ0.75、0.75、2.5に設定します。
4. [Hierarchy(階層)]ウィンドウを右クリックし、[Create Empty(空を作成)]を選択し、その名前としてShapesを指定します。そこに先の図形をまとめます。
5. 4つの図形を選択し、Shapesゲームオブジェクトにドラッグします。
   

1. Unityで、新しいゲームオブジェクトを作成してCanvasと名付けます。
2. そのゲームオブジェクトを右クリックし、[Button - TextMeshPro (ボタン - TextMeshPro)]を選択します。ボタン要素の名前としてButtonを指定します。その[Hierarchy (階層)]ウィンドウを開き、テキストアイテムの名前をButton Labelに変更します。それを画面の下部に配置します。

1. [Assets (アセット)] > [Create (作成)] > [Voice SDK (音声SDK)] > [Add App Voice Experience to Scene (アプリ音声エクスペリエンスをシーンに追加)]をクリックし、[App Voice Experience (アプリ音声エクスペリエンス)] GameObjectを選択します。
   
2. 前に作成したWit設定ファイルを、AppVoiceExperienceコンポーネント内のスロットにドラッグします。

1. 該当Unityアプリにリンクした(wit.aiウェブサイト上の)Witアプリを開きます。
2. [Understanding (認識)]タブで、[Utterance (発話)]フィールドにmake the cube green (立方体を緑にする)と入力します。
3. [Intent(インテント)]の下にchange_colorと入力して、新しいインテントを作成します。
   
4. [Utterance (発話)]の下で、「cube (立方体)」をハイライトし、[Entity for "cube"(「cube (立方体)」のエンティティ)]フィールドにshapeを入力します。[+ Create Entity (+エンティティを作成)]をクリックします。
   
   詳しくは、Wit.aiのドキュメント⁠のどのエンティティを使用するか⁠をご覧ください。
5. green(緑)をハイライトし、新しいエンティティを作成して、その名前をcolorにします。
6. アプリをトレーニングするため、[Train and Validate (トレーニングと検証)]をクリックします。
7. ユーザーが発するかもしれないほかの語句について、ステップ4~6を繰り返します。可能性のある語句としては、Set the sphere to red(球体を赤にする)、Make the cylinder green(円柱を緑にする)などが考えられます。
   ヒント: トレーニングの後、アプリは自動でエンティティを認識し始めます。しかし、特に最初のうちは、間違えることがあります。この点が問題となる場合は、複数のフレーズをトレーニングし、その過程でNLUの間違いについて微調整してください。マッチングの対象となる語をハイライトし、正しいエンティティを設定します。次に正しくないエンティティの横のXをクリックして、そのエンティティを除去します。
8. [Entities (エンティティ)]タブで、以下のエンティティが存在していることを確認します。
   

1. [Entities (エンティティ)]タブを開き、図形エンティティを選択して、エンティティ設定ページを開きます。
2. [Lookup Strategies (検索戦略)]の下で、[Keywords (キーワード)]を選択してから、いくつかの名前や、各図形に相応しい同義語を追加します。例えば、図形の名前tubeに加えて同義語cylinderを含めることができます。これによりアプリは、ユーザーがtubeと言った場合に、インテントコールバックからテキストcylinderを返します。

1. [Meta] > [Voice SDK (音声SDK)] > [Understanding Viewer (認識ビューアー)]の順に選択します。
2. 発話として「the cube should be green (立方体は緑でなければならない)」を入力してから、[Submit (送信)]をクリックします。
3. 発話から返される応答ペイロードを参照します。応答ペイロードには、発話によるインテントの抽出値(change_color)とエンティティ(shapeとcolor)が含まれます。

1. Unityの[Hierarchy (階層)]ウィンドウで、[App Voice Experience (アプリ音声エクスペリエンス)]ゲームオブジェクトを選択します。
2. [Create Empty (空を作成)]を右クリックして、[App Voice Experience (アプリ音声エクスペリエンス)]の子ゲームオブジェクトを作成します。
3. 新しいゲームオブジェクトの名前をResponse Handlerとします。

1. [Meta] > [Voice SDK (音声SDK)] > [Understanding Viewer (認識ビューアー)]をクリックしてから、図形と色の値を表示するエンティティのフォールドアウトを選択します。
2. [entities (エンティティ)] > [color:color] > [** 0**]と移動して、[value (値)]をクリックします。
3. [Add response matcher to Color Handler (応答マッチャーを色ハンドラーに追加)]を選択します。
4. 図形エンティティの値については、entities > shape:shape > 0 > value = cubeをクリックします。ポップアップウィンドウで、[Add response matcher to Response Handler (応答マッチャーを応答ハンドラーに追加)]を選択します。
   
5. [Hierarchy(階層)]ウィンドウで、Shapesゲームオブジェクトを選択します。
6. [Inspector (インスペクター)]ウィンドウで、[Add Component (コンポーネントを追加)]をクリックします。
7. [New Script(新しいスクリプト)]を選択し、新しいスクリプトの名前としてColorChangerを指定します。
8. そのスクリプトに次のコードを追加します。

    using System;
    using UnityEngine;
   
    public class ColorChanger : MonoBehaviour
    {
        /// <summary>
        /// Sets the color of the specified transform.
        /// </summary>
        /// <param name="trans"></param>
        /// <param name="color"></param>
        private void SetColor(Transform trans, Color color)
        {
            trans.GetComponent<Renderer>().material.color = color;
        }
   
        /// <summary>
        /// Updates the color of GameObject with the names specified in the input values.
        /// </summary>
        /// <param name="values"></param>
        public void UpdateColor(string[] values)
        {
            var colorString = values[0];
            var shapeString = values[1];
   
            if (!ColorUtility.TryParseHtmlString(colorString, out var color)) return;
            if (string.IsNullOrEmpty(shapeString)) return;
   
            foreach (Transform child in transform) // iterate through all children of the gameObject.
            {
                if (child.name.IndexOf(shapeString, StringComparison.OrdinalIgnoreCase) != -1) // if the name exists
                {
                    SetColor(child, color);
                    return;
                }
            }
        }
    }
   
9. [Hierarchy (階層)]ウィンドウの[App Voice Experience (アプリ音声エクスペリエンス)]の下で、[Response Handler (応答ハンドラー)]ゲームオブジェクトを選択します。[Wit Response Matcher (Script) (Wit応答マッチャー(スクリプト))]ウィンドウを開きます。[On Multi Value Event (String[]) (複数値イベント (String[]))]の下の[+]をクリックして、[Shapes (図形)]ゲームオブジェクトをそのスロットにドラッグします。関数ドロップダウンから、ColorChanger.UpdateColor()を選択します。

1. [Play (プレイ)]を押してアプリを実行します。
2. [Meta] > [Voice SDK (音声SDK)] > [Understanding Viewer (認識ビューアー)]をクリックし、ビューアーを開きます。
3. [Activate(アクティブ化)]を選択してから、「Make the capsule red(カプセルを赤にする)」と言います。