IoTセンサー値から tensorFlowで未来予測値を計算して、GoogleHomeで読み上げる

tensotFlow/機械学習の関連となります。
前の、IoTセンサーから、tensorFlowによる予測計算のアプリ側の組み込みが、少し進んだ為
全体的に見直し中ですが、メモしたいと思います。
今回は、GoogleHome(AI スピーカー)の連携部分を追加し、
問合せに対して、
指定場所のセンサー値、予測値を音声出力する機能を追加しました。

# 前の記事
IoTセンサー値から、TensorFlowの線形回帰で未来予測値を計算する。機械学習の入門編
https://qiita.com/knakaqi/items/d3699d15053e884dcac0

# 動画

---

# 予定している構成案

全体的に分散ぎみですが
IoTデバイスからのセンサー値は、管理serverにデータ送信。保存しておき
tensorFlowの機械学習サーバ機能を設置して、
定期的にセンサー値を読み込み、機械学習で線形の係数近似値を計算、
管理serverに更新。
GoogleHome=>webhook から、呼ばれた際に、必要な値をAPI経由で取り出し、
音声出力の、文章を組み立てて、ユーザーに出力。
実績更新と、予測に必要な計算も平行に実行更新する構成としています。

*)tensorFlowの機械学習処理は、重たい感じで。
低スペックPCで各センサー処理分を連続して実行すると、時間はそれなりにかかりそうです。
LAN上のボードPC(nano pi 512M)で実行しています。

---

# tensorFlow　install
nano Piに、tensorFlowをインストール時に、
通常のLinux版は、インストールできなかったため、苦戦しました。。
https://www.tensorflow.org/install/

rasPi にインストール事例はありそうなので、参考にしました。
参考: Raspberry PiとTensorFlowを使ったディープラーニングの開発環境構築
http://karaage.hatenadiary.jp/entry/2017/08/09/073000

環境:
python 2.7
tensorFlow1.1
*) 約３０分ほど、かかりましたが。
以前の、数本のpython3.5のコードも修正無しで動作できたました

---

# 前回と同じ、線形回帰による。
計算方法とし、予測値を計算しています

---

# code python2.7
webhookで、指定場所の分岐処理、実績/予測値の取得 まわりの処理
 

---

#　まとめ
今回は構成の面で、機械学習の演算処理を負荷が重いため、
通信処理は追加となりましたが独立させて、
定期更新する方法を検討しました。
予測精度の改善や課題はまだ多いので。調査を進めたいと思います

---

# tensorFlow/機械学習 関連まとめ
http://knaka0209.blogspot.jp/2018/01/tensorflow-matome.html

# 関連、IoT側はBLE使用しています
device:
http://knaka0209.blogspot.jp/2017/09/RN4020-4.html
nano Pi gateway:
http://knaka0209.blogspot.jp/2017/07/nanoPi-2.html

複数の設置場所のセンサー値を 場所指定で読み上げる。 Google Home +IoT連携(3)

前回に続いて Google Home関係となります。
複数の違う場所に置いたセンサを、個別に読み上げる機能を追加しました。
前回は全て１回にまとめて、音声出力していたのですが。

処理 (webhook 自作api)：
前回より、複雑になりますが。
dialogFlowから、webhookを呼ぶ時のリクエスト内に
Google Homeに音声入力した情報が含まれてましたので、
チェックして、設置場所を探し、対象デバイスの更新を取得できる外部APIを呼びます。
音声出力の文章の組立て方法は前回と同様。dialogFlowに出力します。

---

# 動画、　　温度センサの読み上げ
リビング
玄関
室内全部(２箇所) 平均値の計算

*) 前回と同様ショートカット機能も活用しています。( スマホ設定 )

---

# 実行時のJSONのダンプ
 homeに音声入力した内容もふくまれています。
 result 内
 action : Intents action
 resolveQuery : User Says / おそらく音声入力した文
 Entities 等、
これらをキーにして、どの音声出力パターンを出力すべきか判定。
今回は、action をつかいました。

---

# Intentsの追加、追加機能分
今回は、Entities は使いませんでしたが、動作できました。
Fulfillment の下の、Use webhook のチェックを ON　にします。

リビング：




玄関：



Integrations
追加した、Intents を　選択して追加。



Test > Update Draft
で反映できました。

---

# code --python27
webhook リクエストのチェック。分岐処理あたり。

---

# 参考の記事
GoogleHomeをスプラトゥーンアシスタントにする #2 Twitterからステージ情報の取得
https://qiita.com/kotatu_km/items/c340027914d690095b66

---

# 関連
Google Home +IoT連携 ,センサー値の読み上げ機能
http://knaka0209.blogspot.jp/2017/10/gHome-1.html

温度/湿度/気圧読み上げを追加しました。 Google Home +IoT連携(2)

前回に続いて Google Home関係となります。
複数のBLE子機と、Google Home miniの連携(拡張機能)で
温度/湿度/気圧のを含む、室内のセンサー値を読み上げています。

*) APIの配置や、通信方法は前回と同じです。
dialogFlow +自作api

---

# 動画
前回と同様で、ショートカットを登録して、
短い単語で、起動できるように設定しています。



１台目：温度/湿度/気圧
２台目：温度
を　音声出力。

---

# 追加した、BME280　搭載デバイス
プロト基板で、仮配線ですが。
電池(二次電池)を 基板の上に搭載して、電源供給しています。
5V昇圧回路も使用。




*) 基板の右側に、bme280 ( 秋月さんモジュール )

---

#　配線の参考
http://knaka0209.blogspot.jp/2017/07/raspi-7.html

---

#　前回同様、グラフの表示も音声出力と並行して 可能です。
thingSpeak



field5, 6,7 : 1 台目
field1 : 2台目

---

# code --arduino IDE
BLE driver ( 子機 )
https://github.com/kuc-arc-f/RN4020_sv2_0_9_3_bat1_bme

*1 ) BLE gatewayも、前回と同じです。
追加したデバイス分の、送信処理を追加した程度

*2) 子機は、BLE以外(wifi 機器 etc )でも問題ありません。
クラウド連携でデータ出力可能であれば、home側から参照できます。

---

# 関連の記事
Google Home +IoT連携 ,センサー値の読み上げ機能
http://knaka0209.blogspot.jp/2017/10/gHome-1.html

---

#

Google Home +IoT連携 ,センサー値の読み上げ機能

Google Home関係となります。
Google Home miniでの拡張機能で、dialogFlow/ Fulfillment
のwebhook 経由で、外部APIから IoT更新のセンサー値データを読み込みます。

先人さまの、記事を参考に機能を追加しました。
Webhookは、今回はappEngine(GAE) 使いました。
Google以外のクラウドでも多分よさそうです。

*) 先日 Home mini 実機を入手したので、基本機能も良く理解していませんが、
少しづつ調べたいと思います。

---

# thanks/ 参考

自然言語処理を容易に実装できるDialogflow(旧:API.AI) を使ってみる
https://qiita.com/flatfisher/items/76bc86b65e5f2150a1a0

GoogleHomeをDialogflow(旧:API.ai)でスプラトゥーンアシスタントにする
https://qiita.com/tak_km/items/c06f45c6692dceb9258d

手順としては、
dialogFlow　で、　Entity, Intents 等を設定しておき、
Fulfillment　で、 webhook を指定
シミュレータでテスト、みたいな流れでした。

---

# 概要

---

# 動画
指定場所の、温度センサー値読み出し。


*) テスト版で、テストアプリの接続確認の質問出てます。
申請すれば、確認承認後は出ないかもしれません。

---

# Code ,python (utf-8 )
webhook.py


データ保存クラウドの、レスポンスの参考は下記です

{"temperature":"24","humidity":0}


Home側から呼ばれた時、
最新の、センサー値を出力する必要があります。

# dialogFlow のJSON ダンプを追加しました。2017/10/26

---

# IoT側
子機は省電力版の BLE(arduino) + BLE gateway使用していますが、
クラウド側にデータ保存できれば、他の機種でも問題ないと思います

参考:
BLE gateway 機能:
http://knaka0209.blogspot.jp/2017/08/nanoPi-4.html

BLE子機:
http://knaka0209.blogspot.jp/2017/09/RN4020-4.html

---

==== Update:2017/10/26  ====
動画の追加：複数のセンサー対応。


会話の内容(例)
1) センサーをチェック (音声入力)

2) Home (音声出力)
ok,リビングの温度は、２４度です。
玄関の温度は、２２度です。
センサー値の平均は、２３度です。
現在の時刻は、11時４５分です。

*)少し長くなりましたが。
平均値の計算、時刻の追加は オプションです
テスト版は同じです。

==== Update:2017/10/27 =====
Home対応と、グラフ表示機能を追加しました。
２箇所のセンサーのログの監視が可能です。(PC ,mobile )
field1: 1台目
field4: 2台目

異なるクラウドサービス (thigSpeak )にも、
データ送信機能を追加しています。



*) グラフの最新値は、Homeの音声出力する値と
同一になります。

==== update :2017/10/30 ====
補足、ショートカットの利用　（ご参考まで　）
一般的な話しですが , Homeアプリのショートカットを使うと、
テストの追加したアプリも少し楽になりました。
テスト版モードに切り替わる点は、おなじですが。
音声入力が楽になります。下記を登録しておきます。
1)
テスト
内容、テスト用アプリにつないで、
2)チェック、intentsで定義した文章
内容、センサーをチェックして

# 入力、
OK,Google テスト
チェック

1で、テスト接続
2で、実行





動画

==== =====