Table versioning | Databricks on AWS [2022/2/1時点]の翻訳です。

Deltaテーブルのトランザクションログには、Delta Lakeのエボリューションをサポートするバージョン管理情報が含まれています。Delta Lakeはreaderとwriterの最小バージョンを別々にトラックします。

Delta Lakeは後方互換性を保証します。バージョンの新しいDatabricksランタイムは常に古いバージョンによって書き込まれたデータを読み込むことができます。

Delta Lakeは時に後方互換性を破壊します。古いバージョンのDatabricksランタイムでは新しいバージョンのDatabricksランタイムによって書き込まれたデータを読み取れなくなる場合があります。古すぎるバージョンのDatabricksランタイムでテーブルを読み書きしようとする際には、アップグレードすべきということを告げるエラーを受け取ることでしょう。

テーブルを作成する際、Delta Lakeはスキーマやテーブルプロパティのようなテーブル特性に基づき、要求する最低プロトコルバージョンを選択します。SQL設定によりデフォルトのプロトコルバージョンを設定することもできます。

• spark.databricks.delta.properties.defaults.minWriterVersion = 2 (デフォルト)
• spark.databricks.delta.properties.defaults.minReaderVersion = 1 (デフォルト)

テーブルが新しいバージョンのプロトコルをサポートするようにアップグレードするには、DeltaTable.upgradeTableProtocolメソッドを使用します。

from delta.tables import DeltaTable
delta = DeltaTable.forPath(spark, "path_to_table") # or DeltaTable.forName
delta.upgradeTableProtocol(1, 3) # upgrades to readerVersion=1, writerVersion=3

import io.delta.tables.DeltaTable
val delta = DeltaTable.forPath(spark, "path_to_table") // or DeltaTable.forName
delta.upgradeTableProtocol(1, 3) // upgrades to readerVersion=1, writerVersion=3

プロトコルバージョンでサポートされる機能

Databricks 無料トライアル

Databricks 無料トライアル