Feast log #4

3198 ワード
テキストリンク

Minio S 3の利用


Minio Docs

Minioの実行

docker run -d \
  -p 9000:9000 \
  -p 9001:9001 \
  --name feast-minio \
  -v /mnt/data:/data \
  -e "MINIO_ROOT_USER=AKIAIOSFODNN7EXAMPLE" \
  -e "MINIO_ROOT_PASSWORD=wJalrXUtnFEMI/K7MDENG/bPxRfiCYEXAMPLEKEY" \
  quay.io/minio/minio server /data --console-address ":9001"
  • Minio Console接続
    • -e "MINIO_ROOT_USER=AKIAIOSFODNN7EXAMPLE" \
-e "MINIO_ROOT_PASSWORD=wJalrXUtnFEMI/K7MDENG/bPxRfiCYEXAMPLEKEY" \
  • 保存したパケットファイルをアップロード(または/mnt/data/<パケット名>)
    • sudo cp driver_stats_parquet /mnt/data/feast-example
  • [Buckets]-[宴会-data→Manage]-[アクセスポリシー:Public]変更
  • minio装入
    • docker ps -a
docker inspect 
# 로 minio IP 확인
    推測ファイルに追加
    import pandas as pd
minio_uri = "http://172.17.0.3:9000"
bucket_name = "feast-data"
fname = "driver_stats.parquet"
entity_df=pd.read_parquet(f"{minio_uri}/{bucket_name}/{fname}")
print(entity_df)
    部屋番号
    JavaScriptコールバック