[Python] kerberos認証でHDFSへリクエストする

$ sudo yum install -y krb5-workstation
$ sudo yum install -y krb5-devel
$ sudo yum install -y krb5-libs

[logging]
 # kdcのログ
 kdc = FILE:/var/log/krb5kdc.log
 # admin_serverのログ
 admin_server = FILE:/var/log/kadmind.log
 # その他のログ
 default = FILE:/var/log/krb5libs.log

# Kerberos 認証のデフォルト値を設定します。default_realm を設定する必要があります。
[libdefaults]
 default_realm = MYDOMAIN.COM
 dns_lookup_realm = false
 dns_lookup_kdc = false
 ticket_lifetime = 24h
 renew_lifetime = 7d
 forwardable = true

# 各 Kerberos レルムの KDC を設定します。1 つのレルムに複数の kdc を設定できます。
# デフォルトのポート 88 を使用する場合はポートの指定を省略できます。
# ドメイン名を大文字にしたものをレルム名にするのが慣例です。
[realms]
 MYDOMAIN.COM = {
  kdc = mykdc.mydomain.com
  # administrative server。通常はKerberosのマスターサーバー
  admin_server = mykdc.mydomain.com
  # プリンシパルとlocal user nameのマッピングルールを作れる
　　　　auth_to_local = RULE:[1:$1@$0](.*@MYDOMAIN.COM)s/@.*//
 }

 # 複数ある場合は更に記述
 EXAMPLE.COM = {
  kdc = kerberos.example.com
  admin_server = kerberos.example.com
 }


# ドメインやホストをrealmと結びつける設定。
# Active Directory ドメインを Kerberos レルムにマップします。
[domain_realm]
 .example.com = MYDOMAIN.COM
 example.com = MYDOMAIN.COM

$ kinit -kt /secrets/keytab username

$ export REQUESTS_CA_BUNDLE=/etc/pki/tls/certs/ca-bundle.crt

$ pip install hdfs

$ pip install requests_kerberos

$ pip install requests

# 全体的な設定
[global]
# defaultのalias
default.alias = dev
# kerberos moduleをautoloadする
autoload.modules = hdfs.ext.kerberos

# devの設定
[dev.alias]
# devのhdfsのurl
url = https://dev.namenode:port

# prodの設定
[prod.alias]
# prodのhdfsのurl
url = https://prod.namenode:port
# kerberos認証をする
client = KerberosClient
# pathを指定するときのTOP階層の定義
# この場合はhttps://prod.namenode:port/webhdfs/v1/がトップになる
root = /

#!/usr/bin/env python
# -*- coding:utf-8 -*-
import logging
import hdfs
from hdfs import Config

# SSLのSubjectAltNameWarningを非表示にする場合は追記
'''
import requests
from requests.packages.urllib3.exceptions import SubjectAltNameWarning
requests.packages.urllib3.disable_warnings(SubjectAltNameWarning)
'''

# logger
logger = logging.getLogger(__name__)
handler = logging.StreamHandler()
logger.addHandler(handler)
logger.setLevel(logging.DEBUG)

try:
    '''
    https://prod.namenode:port/webhdfs/v1/ の下から定義する
    ~/.hdfscli.cfgのrootの定義によって変わる
    '''
    path = 'user/sample'

    '''
    ~/.hdfscli.cfgで定義した環境のdev, prodのどちらかを入力
    prodを指定した場合、これだけでkerberos認証になる
    '''
    client = Config().get_client('prod')
    result = client.list(path)
    logger.debug(result)

except hdfs.util.HdfsError as e:
    logger.error(str(e))

#!/usr/bin/env python
# -*- coding:utf-8 -*-
import logging
import os
import requests
from requests_kerberos import HTTPKerberosAuth

# SSLのSubjectAltNameWarningを非表示にする場合は追記
'''
from requests.packages.urllib3.exceptions import SubjectAltNameWarning
requests.packages.urllib3.disable_warnings(SubjectAltNameWarning)
'''

# logger
logger = logging.getLogger(__name__)
handler = logging.StreamHandler()
logger.addHandler(handler)
logger.setLevel(logging.DEBUG)


method = 'GET'
url = 'https://prod.namenode:port/webhdfs/v1/user/sample?op=liststatus'

session = requests.Session()
response = session.request(
    method=method,
    url=url,
    timeout=60,
    headers={'content-type': 'application/octet-stream'},
    # これが必要
    auth=HTTPKerberosAuth()
)

logger.debug(response.status_code)
logger.debug(response.text)