Databricks on AWS > Oracle DB on RDS 接続時のドライバ設定
Databricks から Oracle DB を参照する際のメモです。
ネットワーク設定も終わったしあとはドキュメントにあるとおりやれば大丈夫だろうと思っていたのですが、ドライバのバージョンで詰まったので記しておきます。
Oracle Driver
今回は VAR ファイルを用います。ダウンロードページはこちら。
手元の Databricks クラスタでは Runtime 7.5 を利用していますが、最新バージョンの ojdbc11.jar だと java が対応してないと怒られました。かわりに ojdbc8.jar を用います。以下をダウンロード。
ドライバインストール
管理しやすそうなディレクトリにアップロードします。ドライバ自体は秘匿すべき情報ではないので DBFS 配下でよいでしょう。
Cluster > Libraries > Install New > JDBC/S3 > Jar と進み、コピーしたファイルパスを貼り付けて Install をクリック
接続
この状態であればこちらのドキュメントのクエリを叩くことで、Databricks のテーブルと同様にアクセスすることができます。
CREATE TABLE oracle_table
USING org.apache.spark.sql.jdbc
OPTIONS (
dbtable 'table_name',
driver 'oracle.jdbc.driver.OracleDriver',
user 'username',
password 'pasword',
url 'jdbc:oracle:thin://@<hostname>:1521/<db>')
テーブル化できれば以下のようにクエリ発行可能です。
%sql
SELECT * from oracle_table
query = "SELECT * from oracle_table"
df = spark.sql(query)
参考 (上記以外)
Author And Source
この問題について(Databricks on AWS > Oracle DB on RDS 接続時のドライバ設定), 我々は、より多くの情報をここで見つけました https://qiita.com/Catetin0310/items/0d8a0850363aedb5096d著者帰属:元の著者の情報は、元のURLに含まれています。著作権は原作者に属する。
Content is automatically searched and collected through network algorithms . If there is a violation . Please contact us . We will adjust (correct author information ,or delete content ) as soon as possible .