[AWS]Amazon Elasticsearch Serviceのバージョンをアップデート(移行)してみる

重要
バージョン 6.0 で作成されたインデックスでは、複数のマッピングタイプがサポートされなくなりました。バージョン 5.x で作成されたインデックスでは引き続き、6.0 クラスターに復元する際に複数のマッピングタイプがサポートされます。
Amazon Kinesis Firehose や Amazon CloudWatch Logs などのサービスを使用して Amazon ES にデータをストリーミングする場合は、移行前にこれらのサービスが Elasticsearch 6.0 をサポートしていることを確認します。
AWS Lambda を使用する場合は、コードによって作成されるマッピングタイプがインデックスごとに 1 種類のみであることを確認します。

Amazon Elasticsearch Serviceは自動スナップショットを毎日とっています
自動スナップショットは構成済みのAmazon S3 バケットに14日間保存されます(非課金対象
自動スナップショットはスナップショットの元となったドメイン内からしか読みこむことが出来ません
そのため、移行するときは `手動スナップショット` が必須となります

arn:aws:s3:::es-index-backups

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Sid": "",
      "Effect": "Allow",
      "Principal": {
        "Service": "es.amazonaws.com"
      },
      "Action": "sts:AssumeRole"
    }
  ]
}

{
    "Version": "2012-10-17",
    "Statement": {
        "Effect": "Allow",
        "Action": "iam:PassRole",
        "Resource": "arn:aws:iam::123456789012:role/TheServiceRole"
    }
}

 {
    "Version":"2012-10-17",
    "Statement":[
        {
            "Action":[
                "s3:ListBucket"
            ],
            "Effect":"Allow",
            "Resource":[
                "arn:aws:s3:::es-index-backups"
            ]
        },
        {
            "Action":[
                "s3:GetObject",
                "s3:PutObject",
                "s3:DeleteObject"
            ],
            "Effect":"Allow",
            "Resource":[
                "arn:aws:s3:::es-index-backups/*"
            ]
        }
    ]
} 

import boto3
import requests
from requests_aws4auth import AWS4Auth

host = '' # include https:// and trailing /
region = '' # e.g. us-west-1
service = 'es'
credentials = boto3.Session().get_credentials()
awsauth = AWS4Auth(credentials.access_key, credentials.secret_key, region, service, session_token=credentials.token)

# REGISTER REPOSITORY

path = '_snapshot/my-snapshot-repo' # the Elasticsearch API endpoint
url = host + path

payload = {
  "type": "s3",
  "settings": {
    "bucket": "s3-bucket-name",
    "region": "",
    "role_arn": "arn:aws:iam::123456789012:role/TheServiceRole"
  }
}

headers = {"Content-Type": "application/json"}

r = requests.put(url, auth=awsauth, json=payload, headers=headers)

print(r.status_code)
print(r.text)

# # TAKE SNAPSHOT
# 
# path = '_snapshot/my-snapshot-repo/my-snapshot'
# url = host + path
# 
# r = requests.put(url, auth=awsauth)
# 
# print(r.text)
# 
# # DELETE INDEX
# 
# path = 'my-index'
# url = host + path
# 
# r = requests.delete(url, auth=awsauth)
# 
# print(r.text)
# 
# # RESTORE SNAPSHOT (ALL INDICES)
# 
# path = '_snapshot/my-snapshot-repo/my-snapshot/_restore'
# url = host + path
# 
# r = requests.post(url, auth=awsauth)
# 
# print(r.text)
# 
# # RESTORE SNAPSHOT (ONE INDEX)
# 
# path = '_snapshot/my-snapshot-repo/my-snapshot/_restore'
# url = host + path
# 
# payload = {"indices": "my-index"}
# 
# headers = {"Content-Type": "application/json"}
# 
# r = requests.post(url, auth=awsauth, json=payload, headers=headers)
# 
# print(r.text)

例:
elasticsearch-domain-endpoint: https://search-xxx.es.amazonaws.com
repository: /_snapshot/backups

$ curl -XGET 'https://search-xxx.es.amazonaws.com/_snapshot/backups/_all?pretty' 

実行結果: スナップショットが一件も登録されていない
{
  "snapshots" : [ ]
}

$ curl -XPUT '{elasticsearch-domain-endpoint}/{repository}/{snapshot-name}'

$ curl -XGET '{elasticsearch-domain-endpoint}/{repository}/_all?pretty'

$ curl -XPOST '{elasticsearch-domain-endpoint}/{repository}/{snapshot-name}/_restore'

$ curl -XPOST '{elasticsearch-domain-endpoint}/{repository}/{snapshot-name}/_restore' -d '{"indices": "my-index"}' -H 'Content-Type: application/json'