Jupyterから、AWS Athenaへ接続し、データを取得させる(mac OS)
Jupyterを用いて、Athenaへ接続させる。
ここではpythonライブラリの、
「PyAthenaJDBC」を使用して、Athenaへ接続し、
クエリ結果を取得するまでを目指します。(macOS 10.13.6)
*前提として、PyAthenaJDBCはjavaのjdkを動かすので、
jdkがない方は以下手順1から。
既に所持されている方は手順2から進めてください。
*2019年2月時点で
私の接続環境の、それぞれのバージョンは、
python3.7
jdk11
macOS 10.13.6
です。
*以下リンクは、PyAthenaJDBCの公式ページです。
こちらを参照すると、jdkのバージョンは8以上が必要です。
https://pypi.org/project/PyAthenaJDBC/
手順1
・ターミナルを開いて、JDKをインストールさせる
brew cask install java
手順2
・Jupyter(Labまたはnotebook)を開き、以下ライブラリをインストールさせる
!pip install PyAthenaJDBC
!pip install psycopg2
!pip install ipython-sql
・以下おまじないを個人の環境に当てはめる
- アクセスキー
- シークレットキー
- リージョン
- データベース名
- s3のcsvなど収めているディレクトリ
%load_ext sql
%config SqlMagic.autocommit = False
conn = 'awsathena+jdbc://アクセスキー:シークレットキー@athena.リージョン.amazonaws.com:443/データベース名?s3_staging_dir=s3://s3のcsvなど収めているディレクトリ'
・SQLを書いて、実行
%%sql $conn
SELECT * FROM "データベース名"."テーブル名" LIMIT 1; #←ここにお好みのSQLを記載してください。
また、
%や%%ってなんじゃらほい?という方は、
マジックコマンドで調べてみると幸せになると思います。
EOF
Author And Source
この問題について(Jupyterから、AWS Athenaへ接続し、データを取得させる(mac OS)), 我々は、より多くの情報をここで見つけました https://qiita.com/mogoro55/items/64c9ea36a1b5cb85ec5d著者帰属：元の著者の情報は、元のURLに含まれています。著作権は原作者に属する。
Content is automatically searched and collected through network algorithms . If there is a violation . Please contact us . We will adjust (correct author information ,or delete content ) as soon as possible .