を実行する基本的なデータ、ML、およびAIのタスクをGoogle雲:チャレンジラボ

チャレンジ4タスクが含まれて

は、単純なデータフロー仕事

を走らせます

は、単純なdataproc仕事

を走らせます

は、単純なDataPrep仕事

を走らせます

は、AIタスク

のうちの1つを完了する
1 .単純なデータフローを実行する

bq mk lab

gsutil cp gs://cloud-training/gsp323/lab.csv .

cat lab.csv

gsutil cp gs://cloud-training/gsp323/lab.schema .

cat lab.schema

2 .単純なデータパスジョブの実行

あなたはDataPROCを使って別の例のスパークジョブを実行する必要があります.

ジョブを実行する前に、クラスタノードのいずれかにログインして/dataをコピーします.HDFSにTXTファイルを使用する(コマンドHDFS DFS - CSS GS ://雲のトレーニング/GSP 323/data . txt/data . txt )を使ってください.

データのジョブを

以下の値を使用して実行する

ジョブを終了し、チェック進行状況をクリックして終了します.
3 .単純なデータパスジョブの実行

データファイルをインポートし、データのビューを得るためにDataPrepを使用しました.DataPrepを使用して、1つのCSVファイル(後述)をラボ実行のデータを保持します.

gs://cloud-training/gsp323/runs.csv structure:

データが正しい状態になるように、次のトランスフォームを実行します.

「失敗」の状態ですべての行を削除する

0または0.0をスコアとしてすべての行を削除します( regex patternを使用します/(^ 0 $ num ^$ 0.0 $)/

は、

より上の名前で、コラムをラベルします

Note: Your Dataprep job should look similar to the following

Make sure you run the job. You will need to wait until the Dataflow job completes before you can grade this task.

4 . AI
以下のタスクを完了する.

は、オーディオファイルGSを分析するGoogle雲スピーチAPIを使用します://雲トレーニング/GSP 323/TASK 4.フラック.したら、雲の音声の場所に結果分析をアップロードすることができますファイルを分析している.

は、Odinについてのテキストから文を分析するために、雲自然言語APIを使用します.あなたが分析する必要があるテキストは、古いノーズのテキストは、1つの目と長い髭としてオーディンを描く、頻繁に槍をgungnirという名前を振り回すと外套と広い帽子を着てしたら、雲の自然言語の場所に結果分析をアップロードすることができますテキストを分析している.

24579172はGoogle Video Intelligenceを使用して、ビデオGS :/Spls/GSP 154/ビデオ/電車の上ですべてのテキストを見つけます.MP 4.完了したら、ビデオの処理を完了したら、ファイルを出力し、ビデオ情報の場所にアップロードします.操作の進行状況が完全であることを確認し、ストレージオブジェクト管理機能を持つ出力をアップロードしているサービスアカウントを確認します

gcloud iam service-accounts create my-natlang-sa \
  --display-name "my natural language service account"

gcloud iam service-accounts keys create ~/key.json \
  --iam-account my-natlang-sa@${GOOGLE_CLOUD_PROJECT}.iam.gserviceaccount.com

export GOOGLE_APPLICATION_CREDENTIALS="/home/$USER/key.json"

gcloud auth activate-service-account my-natlang-sa@${GOOGLE_CLOUD_PROJECT}.iam.gserviceaccount.com --key-file=$GOOGLE_APPLICATION_CREDENTIALS

gcloud ml language analyze-entities --content="Old Norse texts portray Odin as one-eyed and long-bearded, frequently wielding a spear named Gungnir and wearing a cloak and a broad hat." > result.json

gcloud auth login
(Copy the token from the link provided)


gsutil cp result.json gs://YOUR_PROJECT-marking/task4-cnl.result

APIキーを作成し、apiRAKEキー変数としてエクスポート

export API_KEY={Replace with API KEY}

nano request.json

このコンテンツを追加します

{
  "config": {
      "encoding":"FLAC",
      "languageCode": "en-US"
  },
  "audio": {
      "uri":"gs://cloud-training/gsp323/task4.flac"
  }
}

端末

curl -s -X POST -H "Content-Type: application/json" --data-binary @request.json \
"https://speech.googleapis.com/v1/speech:recognize?key=${API_KEY}" > result.json

gsutil cp result.json gs://YOUR_PROJECT-marking/task4-gcs.result


gcloud iam service-accounts create quickstart

gcloud iam service-accounts keys create key.json --iam-account quickstart@${GOOGLE_CLOUD_PROJECT}.iam.gserviceaccount.com

gcloud auth activate-service-account --key-file key.json

export ACCESS_TOKEN=$(gcloud auth print-access-token)


nano request.json