CodeCommit APIのCreateCommitの動きが想定と違った話

9746 ワード

lambda Python CodeCommit AWS Python テキストリンク

概要

Lambda(python)で作成したファイルを、CodeCommit API(CreateCommit)を使ってリポジトリに追加(更新)しようとしたが上手くいかず、調べたらAPIの仕様が自分の想定と違ったので、備忘録としてその時の内容をまとめる。

やりたかったこと

S3にあるファイルをLambdaで編集して、編集したファイルをCodeCommitリポジトリに追加(更新)する。

作成したLambda関数

s3 = boto3.resource('s3')
cc = boto3.client('codecommit')

def lambda_handler(event, context):
    bucket = s3.Bucket('<バケット名>')
    obj = bucket.Object('<オブジェクト名>')
    res_obj = obj.get()    
    body= res_obj['Body'].read()

    〜〜〜（編集処理）〜〜〜

    res_branch = cc.get_branch(repositoryName='<リポジトリ名>',branchName='<ブランチ名>')
    commit_id = res_branch['branch']['commitId']

    for (root, folders, files) in os.walk('/tmp/'):
        for file in files:
            file_path = os.path.join(root, file)
            putfile_entry = {'filePath': str(file_path).replace('/tmp/', 'piyo/'),
                            'sourceFile': {'filePath': file_path}}
            putfile_list.append(putfile_entry)

    return cc.create_commit(repositoryName='<リポジトリ名>', branchName='<ブランチ名>', parentCommitId=commit_id, putFiles=putfile_list)

この時想定した動作

putFiles->sourceFile->filePathに指定したローカルファイル（この場合はLambda上のファイル）をputFiles->filePathに指定したリポジトリ内のパスに追加すると思っていた。

実行結果

[ERROR] FileDoesNotExistException: An error occurred (FileDoesNotExistException) when calling the CreateCommit operation: The file cannot be copied or moved because no file with that name exists in the specified path. Make sure that the file name is correct, and verify whether the file still exists. The file might have been moved or deleted by a previous commit. Source file path: tmp/piyo01.json
Traceback (most recent call last):
  File "/var/task/lambda_function.py", line 102, in lambda_handler
    return cc.create_commit(repositoryName=repo_name, branchName=branch_name, parentCommitId=commit_id, putFiles=putfile_list)
  File "/var/runtime/botocore/client.py", line 357, in _api_call
    return self._make_api_call(operation_name, kwargs)
  File "/var/runtime/botocore/client.py", line 676, in _make_api_call
    raise error_class(parsed_response, operation_name)END RequestId: e8c03049-767c-41e8-9d3a-833f1d820a5c

そんなソースファイルは存在しないとエラーに。。。

調査（１）

create_commitに指定したパラメーターを確認する。

create_commitのputFilesに指定した値は以下の通り。

[{'filePath': 'piyo/piyo01.json', 'sourceFile': {'filePath': '/tmp/piyo01.json'}}]

Lambdaの/tmpディレクトリに出力したファイルがソースファイルに指定できているのに、FileDoesNotExistExceptionが発生した？

エラーメッセージをよく見ると、ソースファイルのパスの先頭のスラッシュ(/)がなくなっている。なぜ？

Source file path: tmp/piyo01.json

なぜ？

調査（２）

create_commitのドキュメントを確認する。

putFilesのパラメータ説明

（sourceFileの説明をGoogle翻訳）

ざっくりとした説明でよくわからん。。。

調査（３）

CodeCommitのドキュメントを確認する。

file1.py および file2.py という名前のファイルに変更を行うコミットを作成するには、ファイルの名前を picture.png から image1.png に変更し、それを pictures という名前のディレクトリから images という名前のディレクトリに移動して、最新コミットの ID が 4c925148EXAMPLE である MyFeatureBranch という名前のブランチの MyDemoRepo という名前のリポジトリにある ExampleSolution.py という名前のファイルを削除します。

aws codecommit create-commit --repository-name MyDemoRepo --branch-name MyFeatureBranch --parent-commit-id 4c925148EXAMPLE --name "Saanvi Sarkar"
 --email "[email protected]" --commit-message "I'm creating this commit to update a variable name in a number of files."
 --keep-empty-folders false  --put-files '{"filePath": "file1.py", "fileMode": "EXECUTABLE", "fileContent": "bucket_name = sys.argv[1] region = sys.argv[2]"}'
'{"filePath": "file2.txt", "fileMode": "NORMAL", "fileContent": "//Adding a comment to explain the variable changes in file1.py"}' '{"filePath": "images/image1.png",
"fileMode": "NORMAL", "sourceFile": {"filePath": "pictures/picture.png", "isMove": true}}' --delete-files filePath="ExampleSolution.py"

ファイルの名前を picture.png から image1.png に変更し、それを pictures という名前のディレクトリから images という名前のディレクトリに移動
↓
'{"filePath": "images/image1.png","fileMode": "NORMAL", "sourceFile": {"filePath": "pictures/picture.png", "isMove": true}}'

ん？sourceFileにリポジトリ内のファイルパスを指定している？

awscliで動作確認

$ tree <リポジトリ名>/
<リポジトリ名>/
├── fuga
│   └── piyo.txt
└── hoge.txt

1 directory, 2 files
$ cat <リポジトリ名>/hoge.txt
hoge

ファイルの名前を hoge.txt から　hogera.txt に変更し、それを fuga という名前のディレクトリに移動させる。

$ aws codecommit create-commit \
> --repository-name <リポジトリ名> \
> --branch-name <ブランチ名> \
> --parent-commit-id <親コミットID> \
> --put-files '[{"filePath": "fuga/hogera.txt", "sourceFile": {"filePath": "hoge.txt", "isMove": true}}]'
{
    "commitId": "bf2084b422d8c120bdb0771ce1808d269dd0ee31",
    "treeId": "8176bcf69b9423bb79a29044a984fc0452cf6a0b",
    "filesAdded": [
        {
            "absolutePath": "fuga/hogera.txt",
            "blobId": "2262de0c121f22df8e78f5a37d6e114fd322c0b0",
            "fileMode": "NORMAL"
        }
    ],
    "filesUpdated": [],
    "filesDeleted": [
        {
            "absolutePath": "hoge.txt",
            "blobId": "2262de0c121f22df8e78f5a37d6e114fd322c0b0",
            "fileMode": "NORMAL"
        }
    ]
}

ローカルブランチをリモートブランチと同期してから、

$ git pull

ファイルを確認すると、

$ tree <リポジトリ名>/
<リポジトリ名>/
└── fuga
    ├── hogera.txt
    └── piyo.txt

1 directory, 2 files
$ cat <リポジトリ名>/fuga/hogera.txt 
hoge

hoge.txt が　hogera.txt にリネームされ、かつ、 fuga ディレクトリに移動されていることが確認できた。

つまり、putFiles->sourceFile->filePathには、ローカルのファイルではなく、リポジトリ内のファイルを指定する仕様である。

だから、エラーメッセージに表示されたソースファイルのパス（tmp/piyo01.json）には、スラッシュ(/)がなくなっていた。
※リポジトリ内のルートディレクトリからの相対パスになっている。

回避方法

ローカルのファイルをCodeCommitリポジトリに追加(更新)する方法として、sourceFileではなく、fileContentでコンテンツの内容を直接指定する方法に変えれば、コミットできた。

    for (root, folders, files) in os.walk('/tmp/'):
        for file in files:
            file_path = os.path.join(root, file)
            with open(file_path, mode='r+b') as file_obj:
                file_content = file_obj.read()
            putfile_entry = {'filePath': str(file_path).replace('/tmp/', 'piyo/'),
                            'fileContent': file_content}
            putfile_list.append(putfile_entry)

    return cc.create_commit(repositoryName='<リポジトリ名>', branchName='<ブランチ名>', parentCommitId=commit_id, putFiles=putfile_list)

ただし、上記コードは /tmp ディレクトリ配下のすべてのファイルを更新するため、すべてのファイルで何らか変更されている必要がある。

変更されていないファイルがあった場合、以下エラーとなる。

[ERROR] SamePathRequestException: An error occurred (SamePathRequestException) when calling the CreateCommit operation: Cannot put the file at the specified path because there are one or more conflicting file change requests for that file. Either resolve the conflicts locally, or put the files you want to add in different paths, and then try again.. Path: piyo/piyo01.json
Traceback (most recent call last):
  File "/var/task/lambda_function.py", line 103, in lambda_handler
    return cc.create_commit(repositoryName=repo_name, branchName=branch_name, parentCommitId=commit_id, putFiles=putfile_list)
  File "/var/runtime/botocore/client.py", line 357, in _api_call
    return self._make_api_call(operation_name, kwargs)
  File "/var/runtime/botocore/client.py", line 676, in _make_api_call
    raise error_class(parsed_response, operation_name)END RequestId: b16063f3-e356-4117-95fb-a087ce0c8401

Author And Source

この問題について(CodeCommit APIのCreateCommitの動きが想定と違った話), 我々は、より多くの情報をここで見つけました https://qiita.com/okadarhi/items/3765f0b44f532f559c8e

著者帰属：元の著者の情報は、元のURLに含まれています。著作権は原作者に属する。

Content is automatically searched and collected through network algorithms . If there is a violation . Please contact us . We will adjust (correct author information ,or delete content ) as soon as possible .