2020年1月の技術情報を個人的に気になる目線でまとめてみます

5639 ワード
GCS gcp BigQuery GCS テキストリンク

はじめに

技術の進歩は日進月歩。日々アンテナを高くして最新情報を取り入れていたいのですが、どうしても日常業務に追われてしまいがち。
そこで、せめて１ヶ月に１回は情報を振り返ろうと意識しています。

今回は、2020年1月のニュースの中から、小売 × Technology だったり、Google Cloud Platform（主にBigQuery）だったり、個人的に気になる目線で、まとめてみたいと思います。
（2月も半ばを過ぎた今更ですが、いいんです。Qiitaを始めたのは今週からなのですから）

参考にしているサイト

どうしても仕事柄、GCPが多めですね。

気になるニュース

GCSでColdlineよりも保管費用が安い、Archivelineが誕生

いきなりの、節約のためのニュースですが、GCSの保管費用が安くなるのは助かります。
料金表を下記のように整理してみると、保管は極端に安いけど、データを持ってくる費用がColdlineより高いので、その名の通りArchiveしたデータを保管しておく用ですね。

種類 保管費用(GB) 取得費用(GB)
Multi-Regional Storage $0.03 -
Regional Storage $0.02 -
Nearline Storage $0.01 $0.01
Coldline Storage $0.004 $0.02
Archive Storage $0.001 $0.05

うちでも、年単位で触っていないデータがGCSに結構あるので、移動を考えないといけないですね。

GoogleがAppSheetを買収

こちらは、当初「ふ～ん」程度だったのですが、AppShhetで出来ることを見てみると、かなり自分がやりたいことに近くてビックリ。
買収した（＆元々の社内のApp Makerというサービスは諦めた）ということは、これが今後Googleが提供するアプリ作成サービスになるのだろうと信じて、現在勉強中です。→作ってみました

2020年はスマートカート元年？九州のトライアルが米国進出

トライアルさんは、本当にテクノロジーの活用に積極的で尊敬しています。
当初は、どの小売も冷ややかに見ていたのが、今や多くの小売が「真似したい！」となってますね。

とはいえ、どのテクノロジーも同じで、スマートカートを入れたら売上が上がるなら苦労しないもの。
そこで得たデータをどの様に活用していくかが、これからのポイントでしょうね。

とか思ってたら、このニュースの通り、米国進出ですか。日本発のAIソリューションが、米国を席巻していくことを期待したいですね。

野村証券、POSデータを基に消費者心理や価格動向の指標を開発

直接小売ということことではないですが、小売のPOSデータを、株価の予測に使うというのが進んでいるみたいですね。
どこまで予測可能なのかはわかりませんんが、非常に面白い取り組みだと思います。

様々なクラウドにアクセスできるPythonライブラリ「Apache Libcloud 2.8」が公開

最近、マルチクラウドというキーワードがよく言われていますね。
GCPでもAnthosというプラットフォームで提供しているようですが、こういうPytohnライブラリでマルチクラウドを実現することもできるんですね。

すぐにGCP以外のクラウドを使う予定はないですが、覚えておきましょう。

BigQueryの新しい機能

もしかしたら、全部が2020年1月のリリースじゃないかも。。。

BigQuery : パーティション分割テーブルの概要

テーブルのパーティショニングを整数値に基づいてできるようになりました。
下記のように設定するようです。

bq mk \
--range_partitioning=customer_id,0,100,10 \
mydataset.mypartitionedtable \
"customer_id:integer,value:integer"

顧客や商品のランキングを、整数値で分けておくと使えそうです。

データ定義言語ステートメントの使用

BigQueryを使い始めた当初は、TABLEのUPDATEもできなかったですが、色々とDML/DDLが充実してきていますね。

CREATE TABLEや VIEW, FUNCTIONなどは結構使いますが、PROCEDUREというのもあるんですね。
ざくっと見る限りは、FUNCTIONよりも複雑な処理を作れる感じでしょうか。ぜひ試してみたいです。

BQ ML用の探索的データ分析

BQ MLは、Pythonを使わずともかなり簡単に回帰分析や、k-meansを使えますね。

その際に、重要なのはやはりどの変数を使うことですが、Auto Data Exploration and Feature Recommendation Toolを使うと、どの変数が重要かを自動判定することができるらしいです。これも試してみたいですね。