embulk-encoder-encrypted_zip: 出力ファイルを暗号化ZipにするEncoder Plugin

2476 ワード
Plugin Encoder Embulk Plugin テキストリンク

はじめに

Embulk は「データ→変換→データ」なバッチ処理を簡単に実現するbulk data loaderです。

出力ファイルを暗号化Zipしたかったのですが、それらしい方法・Pluginが見つからなかったので作りました（再発明してたらやだなぁ・・・）。

Version

  • Embulk: 0.7.4, 0.8.6

で動作確認しています。

Code

使い方

install

embulk gem install embulk-encoder-encrypted_zip

設定例

encoder plugin なので、 out の配下に設定を書きます。

config.yml
out:
  encoders:
    - type: encrypted_zip
      filename: 'result.%03d.%03d.csv'
      password: 'mypassword'
  type: file
  path_prefix: ./path/to/output/data
  file_ext: zip
  formatter:
    type: csv
  • filename: Zipの書庫内のファイル名のパターンです。
  • password: Zipの暗号化に使うパスワードです。

config.yml は config.yml.liquid とすると、環境変数などを埋め込めるのでその辺の組み合わせで使うと便利です。

参考) http://www.embulk.org/docs/built-in.html#using-variables

さいごに

EmbulkのPluginは本当に簡単に作れるので凄いなぁ。

【java同時】複数スレッド間共有データ
anaconda CondaHTTPError問題解決方法