GoogleHomeで領収書をスプレッドシートに記録するアプリを作ってみた

17596 ワード
スマートスピーカー GoogleAppsScript dialogflow AWS GoogleAssistant AWS テキストリンク

確定申告の時期です(投稿時期は3月)
私はもう終わったのですが手打ちで記録するのがまあツラくて非効率だなと感じました。

そこで音声入力だけで済むように今回のアプリを作りました。
※家計簿としても使えます。

実際の動作様子

下記クリックすると動画再生されます。
IMAGE ALT TEXT HERE

簡単な流れ
私:タクシーで3800円交通費
→一時的にスプレッドシートに記入される

Googleアシ：タクシーで3800円交通費でよろしいですか？

私:はい
→スプレッドシートに登録される

使用したサービス及びフロー図

●使用したサービス
・GoogleAppsScript
・AWS
　lambda
　API Gateway
・GoogleAssistant
・Dialogflow

こうも色々サービスを使ってるのは、そもそも
GoogleAssistant→DialogFlow→スプレッドシートはIntegrationsで設定すればできますが、GoogleAssistantへテキストを返すことができません(要は会話形式ができない)

またAWSを使ってるのははじめGASでデプロイしたエンドポイントをDialogFlowののWebhookに設定したのですが、302リダイレクトをしてできなかったので仕方なくLambdaとAPI gatewayを使いました。

●フロー図
※ google homeで子供の宿題管理をする
から拝借、一部追記

開発の流れ

Dialogflowの設定例


・失敗の例-Entityにて-

この設定だと例えば交通費と言っても"なに"と判別されるので消しました。

Dialogflow~AWS(API Gateway＆Lambda）~

手順や注意点はこちらの記事に書いてあります
GoogleAssistantからWebhookでLineの特定人物へPush通知

~GoogleAppsScript⇄スプレットシート

LambdaからWebhookで流れてきたJSONデータをGASであれこれしてます。
以下コードです(V8)

code.gs
function doPost(e) {
  try {
    let result;
    let ss = SpreadsheetApp.openById(sheetId);
    let sh = ss.getSheetByName(sheetName);

    let request = JSON.parse(e.postData.getDataAsString());
    intentName = request.queryResult.intent.displayName;

    //領収書のIntent
    if (intentName == INTENT_RECEIPT_CONTENT) {
      let where = request.queryResult.parameters.PlacePay
      let howmuch = request.queryResult.parameters.number
      let what = request.queryResult.parameters.WhatPay

      //スプレッドシートに一時保存
      sh.getRange(1, 5).setValue(where);//where
      sh.getRange(1, 6).setValue(howmuch);//howmuch
      sh.getRange(1, 7).setValue(what);//what
      let result = { "fulfillmentText": where + "で" + howmuch + "円," + what + "でよろしいでしょうか？" };
      return returnAsJSON(result);
    }

    //Yes/NOの場合
    if (intentName == INTENT_RECEIPT_YESNO) {
      let yesno = request.queryResult.parameters.YesNo
      switch (yesno) {
        case Yes:
          //一時保存から取り出す
          let temp_where = sh.getRange(1, 5).getValue();//where
          let temp_howmuch = sh.getRange(1, 6).getValue();//howmuch
          let temp_what = sh.getRange(1, 7).getValue();//what
          let lastrow = sh.getLastRow();
          sh.insertRowAfter(lastrow);
          lastrow++;

          let now = new Date();
          let date = Utilities.formatDate(now, 'Asia/Tokyo', 'yyyy-MM-dd');
          let time = Utilities.formatDate(now, 'Asia/Tokyo', 'HH:mm:ss');
          sh.getRange(lastrow, 1).setValue(date + " " + time);
          sh.getRange(lastrow, 2).setValue(temp_where);//where
          sh.getRange(lastrow, 3).setValue(temp_howmuch);//howmuch
          sh.getRange(lastrow, 4).setValue(temp_what);//what

          result = { "fulfillmentText": "登録しました" };//fulfillmentTextが大事！
          return returnAsJSON(result);

        case No:
          result = { "fulfillmentText": "キャンセルしました" };
          return returnAsJSON(result);

        default:
          return returnAsJSON({ "fulfillmentText": "もう一度最初から" });
      }
    }
    return returnAsJSON({ "fulfillmentText": "ごめんね。よくわからなかったよ" });

  } catch (ex) {
    console.log(ex)
    return returnAsJSON({ "fulfillmentText": "エラーが発生しました。ログで確認できます" });
  }
}

function returnAsJSON(obj) {
  return ContentService.createTextOutput(JSON.stringify(obj)).setMimeType(ContentService.MimeType.JSON);
}

軽く説明すると
request.queryResult.intent.displayName
の部分がDialogflowで設定したIntent名です。

また
request.queryResult.parameters.＊＊＊
の部分が各Intentで設定したパラメータ値($**)です。

※大文字の変数はDialogflowで設定したIntent名等を各々入れること

スプレッドシートへ記入

記入および一時保存をスプレッドシートで行ってます。

GASだと時間指定で実行するトリガーが簡単に設定できるので、月や年度が変わった時に新規シートへ移行とかもできます。

最後に

このアプリで信号待ちなので短い隙間時間でも領収書を登録できるようになりました。
これを応用すれば料理の注文アプリとか作れそうです。

また今回GoogleHome系ですがアレクサでも作れそうですね。

それにしてもDialogflowの便利ですね〜

参考：

GoogleAssistantからWebhookでLineの特定人物へPush通知
google homeで子供の宿題管理をする

あとDialogのIntent等の設定はこちらの本が分かりやすかった↓
やさしくはじめる スマートスピーカープログラミング