令和の Lambda x RDS
はじめに
Lambda x RDS は令和になってから重大ニュースがいくつかあった影響もあり、
VPC Lambdaは遅い、同時接続数がつらい、だからアンチパターンかと思いきや、
VPC Lambdaそんなに悪くない、Proxy使えばいい、とも言われてて
相反する情報が多く混乱してしまったので、平成と令和での状況変化を各記事を参考にまとめる
※「VPC Lambda」 = VPC内で実行するオプションを付けたLambda(デフォルトはVPC外で実行される)
【平成】 以下5つの点でLambdaとRDSは相性が良くないと言われていた
1. VPC Lambdaでの実行時に、起動コストが高い問題
初回起動時はコールドスタートでENIの作成とアタッチなどに10~20秒ほどかかる
対応方法
定期的にlambdaをkickする
2. VPC Lambdaでの実行時に、サブネットのIPを浪費する問題
アタッチされたENIの数だけサブネット内のIPを消費してしまう
サブネットのIPリミットやアカウントのENI作成リミット、APIレートを使い切るリスクがある
また、LambdaのスケーリングがENIのリミットに依存する
対応方法
lambda用に別で大きめのサブネットを切る
3. VPC Lambdaでの実行時に、インターネットアクセスするにNat Gatewayが必要な問題
1時間あたり$0.062
1GBあたり$0.062
何もしなくても $44.64/月 かかってしまう
高い。。。
4. VPC外での実行時はRDSにPublicAccessを許可する必要がある問題
VPC内がだめなら、外が良いのかというとそうでもない
RDSのポート公開はビジネスではセキュリティリスクになるので取れない方法になる
個人用途ならぎりあり
対応方法
lambdaのIPレンジのみからPublicAccessを許可する
https://dev.classmethod.jp/articles/limiting-access-to-just-aws-ip-ranges/
5. 最大接続数の問題
lambdaは同時実行数を制御することが難しく、東京リージョンだと最大1000まで増やせる性能がある
一方mysqlはコネクション数が多いとその分スペックを要求され、ピークに合わせるとコスパが悪くなる
同時接続数の制御としては、コネクションプールが使われることが多い
しかし、lambdaではコンテナ間でデータ共有する仕組みがないため、コネクションプールの実装が難しい
なので、スケールアップで対応するしかなく、ピークに合わせてチューニングするとコスパが悪い
そのため、LambdaはDynamoDBとの組み合わせが推奨されている
対応方法
これを許容できる規模のサービスで使う
自身でコネクションプールするサービスを作る
参考
なぜAWS LambdaとRDBMSの相性が悪いかを簡単に説明する
https://www.keisuke69.net/entry/2017/06/21/121501
AWS LambdaをVPC内に配置する際の注意点
https://devlog.arksystems.co.jp/2018/04/04/4807/
Lambda x RDSはアンチパターンやでって話1
https://qiita.com/teradonburi/items/86400ea82a65699672ad
Lambda x RDSはアンチパターンやでって話2
https://www.keisuke69.net/entry/2017/06/21/121501
VPC Lambdaそんなに悪くないでって話
https://dev.classmethod.jp/articles/serverless-meetup-osaka-5-vpclambda-demerit/
【令和】 問題の致命的な部分がほぼ改善された
1. 「VPC内での実行時に起動コストが高い問題」の解決
2019年9月頃にコールドスタートの起動速度が改善された
Lambda関数が作成された時に「Hyperplane ENI」がマッピングされるようになった
そのおかげでENIの作成/アタッチのコストが削減されたみたい
ただし、アクセス数が増加すると追加のENIが作成されて、その瞬間は「2~6秒」ほどレイテンシが発生するらしい
追加のENIは使われないと削除されるらしい
完全には改善できていないが、大分マシになったという印象
2. 「VPC内での実行時にサブネットのIPを浪費する問題」の解決
「Hyperplane ENI」によってENIを使い回すので浪費がなくなった
ENIの作成リミット依存もなくなった
3. 「VPC Lambdaでの実行時に、インターネットアクセスするにNat Gatewayが必要な問題」
動きなし、引き続き課金が必要
4. 「VPC外での実行時はRDSにPublicAccessを許可する必要がある問題」
動きなし、引き続きRDSをPublicAccess許可にしないといけない
ただ、これはIP制限でなんとかなる気がする
VPC Lambdaが改善されたので、必要性は薄れたかも
5. 「最大接続数の問題」の解決
2019年12月「RDS Proxy(プレビュー版)」リリース
コネクションプーリングやフェイルオーバーを担ってくれるProxyがリリースされた
これを使えばピークカットできるので、問題は解決できそう
ただし、「RDS Proxy」を使うと追加料金がかかる
基となるデータベースインスタンスの vCPU あたりの料金: 0.018USD/時間
db.r5.large(Aurora)を使用している場合、
db.r5.large 使用料: $252 ($0.35 x 24時間 x 30日)
プロキシ使用量: $25.92 ($0.018 x 2vCPU x 24時間 x 30日)
現時点でまだプレビュー版なので本番投入可能な状態はまだ先になりそう
いくつかの検証ブログを見るにまだコントロールしづらそうな感じはする
参考
【公式】 Amazon RDS プロキシのご紹介 (プレビュー)
https://aws.amazon.com/jp/about-aws/whats-new/2019/12/amazon-rds-proxy-available-in-preview/
【公式】 PostgreSQL 互換の Amazon RDS Proxy (プレビュー)
https://aws.amazon.com/jp/about-aws/whats-new/2020/04/amazon-rds-proxy-with-postgresql-compatibility-preview/
【公式】Amazon RDS プロキシの料金
https://aws.amazon.com/jp/rds/proxy/pricing/
【公式】 Announcing improved VPC networking for AWS Lambda functions
https://aws.amazon.com/jp/blogs/compute/announcing-improved-vpc-networking-for-aws-lambda-functions/
【公式】AWS LambdaでAmazon RDS Proxyを使用する
https://aws.amazon.com/jp/blogs/news/using-amazon-rds-proxy-with-aws-lambda/
VPC アーキテクチャ変更のまとめ
https://dev.classmethod.jp/articles/announced-vpclambda-improved/
RDS Proxy パフォーマンス検証1
https://tech.fusic.co.jp/posts/2019-12-11-aws-lambda-with-rds-proxy-performance-1/
RDS Proxy パフォーマンス検証2
https://blog.mmmcorp.co.jp/blog/2020/04/03/lambda-rds-proxy/
Tips: 「Hyperplane ENI」とは
「Hyperplane」というのが、2017年のre:Inventで紹介されていたAWS内部で使われているネットワーク関連技術
もともとは内部的なS3 Load Balancerとして開発されたらしい
これらの問題を解決するソリューション
トラブル解決が困難
キャパシティ管理が困難
コストが増大
ネットワークロードバランサーやNATゲートウェイなどに使われている
そのHyperplaneを使って、ENIをNATできるようにして、VPCの問題を解決したらしい
参考
[レポート] AWS を支えるネットワークインフラと要素技術 #AWSSummit
https://dev.classmethod.jp/articles/awssummit-2018-day2-h1-2-10-aws-network-infrastructure/
AWS re:Invent 2017 Keynote - Tuesday Night Live with Peter DeSantis
https://www.youtube.com/watch?v=dfEcd3zqPOA&feature=youtu.be&t=4661
1. VPC Lambdaでの実行時に、起動コストが高い問題
初回起動時はコールドスタートでENIの作成とアタッチなどに10~20秒ほどかかる
対応方法
定期的にlambdaをkickする
2. VPC Lambdaでの実行時に、サブネットのIPを浪費する問題
アタッチされたENIの数だけサブネット内のIPを消費してしまう
サブネットのIPリミットやアカウントのENI作成リミット、APIレートを使い切るリスクがある
また、LambdaのスケーリングがENIのリミットに依存する
対応方法
lambda用に別で大きめのサブネットを切る
3. VPC Lambdaでの実行時に、インターネットアクセスするにNat Gatewayが必要な問題
1時間あたり$0.062
1GBあたり$0.062
何もしなくても $44.64/月 かかってしまう
高い。。。
4. VPC外での実行時はRDSにPublicAccessを許可する必要がある問題
VPC内がだめなら、外が良いのかというとそうでもない
RDSのポート公開はビジネスではセキュリティリスクになるので取れない方法になる
個人用途ならぎりあり
対応方法
lambdaのIPレンジのみからPublicAccessを許可する
https://dev.classmethod.jp/articles/limiting-access-to-just-aws-ip-ranges/
5. 最大接続数の問題
lambdaは同時実行数を制御することが難しく、東京リージョンだと最大1000まで増やせる性能がある
一方mysqlはコネクション数が多いとその分スペックを要求され、ピークに合わせるとコスパが悪くなる
同時接続数の制御としては、コネクションプールが使われることが多い
しかし、lambdaではコンテナ間でデータ共有する仕組みがないため、コネクションプールの実装が難しい
なので、スケールアップで対応するしかなく、ピークに合わせてチューニングするとコスパが悪い
そのため、LambdaはDynamoDBとの組み合わせが推奨されている
対応方法
これを許容できる規模のサービスで使う
自身でコネクションプールするサービスを作る
参考
なぜAWS LambdaとRDBMSの相性が悪いかを簡単に説明する
https://www.keisuke69.net/entry/2017/06/21/121501
AWS LambdaをVPC内に配置する際の注意点
https://devlog.arksystems.co.jp/2018/04/04/4807/
Lambda x RDSはアンチパターンやでって話1
https://qiita.com/teradonburi/items/86400ea82a65699672ad
Lambda x RDSはアンチパターンやでって話2
https://www.keisuke69.net/entry/2017/06/21/121501
VPC Lambdaそんなに悪くないでって話
https://dev.classmethod.jp/articles/serverless-meetup-osaka-5-vpclambda-demerit/
1. 「VPC内での実行時に起動コストが高い問題」の解決
2019年9月頃にコールドスタートの起動速度が改善された
Lambda関数が作成された時に「Hyperplane ENI」がマッピングされるようになった
そのおかげでENIの作成/アタッチのコストが削減されたみたい
ただし、アクセス数が増加すると追加のENIが作成されて、その瞬間は「2~6秒」ほどレイテンシが発生するらしい
追加のENIは使われないと削除されるらしい
完全には改善できていないが、大分マシになったという印象
2. 「VPC内での実行時にサブネットのIPを浪費する問題」の解決
「Hyperplane ENI」によってENIを使い回すので浪費がなくなった
ENIの作成リミット依存もなくなった
3. 「VPC Lambdaでの実行時に、インターネットアクセスするにNat Gatewayが必要な問題」
動きなし、引き続き課金が必要
4. 「VPC外での実行時はRDSにPublicAccessを許可する必要がある問題」
動きなし、引き続きRDSをPublicAccess許可にしないといけない
ただ、これはIP制限でなんとかなる気がする
VPC Lambdaが改善されたので、必要性は薄れたかも
5. 「最大接続数の問題」の解決
2019年12月「RDS Proxy(プレビュー版)」リリース
コネクションプーリングやフェイルオーバーを担ってくれるProxyがリリースされた
これを使えばピークカットできるので、問題は解決できそう
ただし、「RDS Proxy」を使うと追加料金がかかる
基となるデータベースインスタンスの vCPU あたりの料金: 0.018USD/時間
db.r5.large(Aurora)を使用している場合、
db.r5.large 使用料: $252 ($0.35 x 24時間 x 30日)
プロキシ使用量: $25.92 ($0.018 x 2vCPU x 24時間 x 30日)
現時点でまだプレビュー版なので本番投入可能な状態はまだ先になりそう
いくつかの検証ブログを見るにまだコントロールしづらそうな感じはする
参考
【公式】 Amazon RDS プロキシのご紹介 (プレビュー)
https://aws.amazon.com/jp/about-aws/whats-new/2019/12/amazon-rds-proxy-available-in-preview/
【公式】 PostgreSQL 互換の Amazon RDS Proxy (プレビュー)
https://aws.amazon.com/jp/about-aws/whats-new/2020/04/amazon-rds-proxy-with-postgresql-compatibility-preview/
【公式】Amazon RDS プロキシの料金
https://aws.amazon.com/jp/rds/proxy/pricing/
【公式】 Announcing improved VPC networking for AWS Lambda functions
https://aws.amazon.com/jp/blogs/compute/announcing-improved-vpc-networking-for-aws-lambda-functions/
【公式】AWS LambdaでAmazon RDS Proxyを使用する
https://aws.amazon.com/jp/blogs/news/using-amazon-rds-proxy-with-aws-lambda/
VPC アーキテクチャ変更のまとめ
https://dev.classmethod.jp/articles/announced-vpclambda-improved/
RDS Proxy パフォーマンス検証1
https://tech.fusic.co.jp/posts/2019-12-11-aws-lambda-with-rds-proxy-performance-1/
RDS Proxy パフォーマンス検証2
https://blog.mmmcorp.co.jp/blog/2020/04/03/lambda-rds-proxy/
Tips: 「Hyperplane ENI」とは
「Hyperplane」というのが、2017年のre:Inventで紹介されていたAWS内部で使われているネットワーク関連技術
もともとは内部的なS3 Load Balancerとして開発されたらしい
これらの問題を解決するソリューション
トラブル解決が困難
キャパシティ管理が困難
コストが増大
ネットワークロードバランサーやNATゲートウェイなどに使われている
そのHyperplaneを使って、ENIをNATできるようにして、VPCの問題を解決したらしい
参考
[レポート] AWS を支えるネットワークインフラと要素技術 #AWSSummit
https://dev.classmethod.jp/articles/awssummit-2018-day2-h1-2-10-aws-network-infrastructure/
AWS re:Invent 2017 Keynote - Tuesday Night Live with Peter DeSantis
https://www.youtube.com/watch?v=dfEcd3zqPOA&feature=youtu.be&t=4661
「Hyperplane」というのが、2017年のre:Inventで紹介されていたAWS内部で使われているネットワーク関連技術
もともとは内部的なS3 Load Balancerとして開発されたらしい
これらの問題を解決するソリューション
トラブル解決が困難
キャパシティ管理が困難
コストが増大
ネットワークロードバランサーやNATゲートウェイなどに使われている
そのHyperplaneを使って、ENIをNATできるようにして、VPCの問題を解決したらしい
参考
[レポート] AWS を支えるネットワークインフラと要素技術 #AWSSummit
https://dev.classmethod.jp/articles/awssummit-2018-day2-h1-2-10-aws-network-infrastructure/
AWS re:Invent 2017 Keynote - Tuesday Night Live with Peter DeSantis
https://www.youtube.com/watch?v=dfEcd3zqPOA&feature=youtu.be&t=4661
↓これが
↓こうなった
画像引用: AWS Compute Blog
まとめ
2020/06時点で「VPC Lambda」は使い物になるかというと、
VPCの問題は改善されたが、RDS Proxyがまだプレビュー版なので、正式版がくるまでは規模のあるビジネス用途ではまだ厳しそう。
個人用途ならVPCの改善だけでもありだけど、インターネットアクセスするなら
NatGateway課金が必要なのでお財布と相談って感じ。
よし、VPC Lambda一択だ！と思いきや、
ステイッステイッ、まだだまだだ、な状況
※2020/07/01 追記
https://aws.amazon.com/jp/blogs/aws/amazon-rds-proxy-now-generally-available/
RDS Proxy が GA(General Availability:一般利用可能) になりました！
Author And Source
この問題について(令和の Lambda x RDS), 我々は、より多くの情報をここで見つけました https://qiita.com/terabyte/items/4d7cfa5a6d7bada937f7著者帰属：元の著者の情報は、元のURLに含まれています。著作権は原作者に属する。
Content is automatically searched and collected through network algorithms . If there is a violation . Please contact us . We will adjust (correct author information ,or delete content ) as soon as possible .