いくつかのWebフレームワークのベンチマークを雑にとってみた

この記事は、富士通クラウドテクノロジーズ Advent Calendar 2018 の18日目の記事です。

17日目は @abej さんの 海外ITカンファレンス動画のすすめ でした！

🌞はじめに

NIFCLOUD の API を開発している @kzmake です。最近、趣味で色々なWebフレームワークを触ることにはまってたり。

今日では様々なWebフレームワークが存在しており、それを利用して手軽にWebアプリケーションを開発できるようになっていますよね。ただ、あまりにも種類が多く、Webフレームワークの選定基準に何を選択するか悩む場面もあるのではないでしょうか。

本記事では、負荷検証をのWebフレームワークに対して実施し、それぞれの 「処理能力」に着目して簡単な比較を行ってみたいと思っています。

※下記に影響されて検証してみます

• TechEmpower/FrameworkBenchmarks
• costajob/app-servers

📝注意書き

• あくまで検証のため綺麗な記述や言語毎に十分な最適化をおこなっているわけではありません。フレームワーク毎適切な記述をすることで改善される場合も十分あります。
• 言語の宣伝や批判を行うものではありません。 言語やアプリケーションサーバー、フレームワーク毎にそれぞれ優れている点があります。

💡TL;DR

• jester(Nim) や japronto(python) がとってもはやい
• 言語的に　golang / Scala / Rust / Nim あたりが全体的にはやい
• flask(python) / Ruby on Rails(Ruby) は他と比べると低RPS

🤔Webアプリケーションの「速さ」とは何をもとに考えるべきか？

Webアプリケーションの「速さ」といえばなんでしょうか？

• 応答時間の速さ
• RPS(Requests per second)
• Time To First Byte (TTFB)

なんかがありますよね。これについては、こちらの記事がとてもわかりやすくまとめてくださっているので、本記事では割愛させてもらいます。

負荷試験のためのノウハウと Webフレームワークの負荷試験 (Python,Node,Go,PHP)

今回は、単純にWebフレームワークの処理能力 を測るので リクエストのスループットとして RPS(Requests per second)に着眼してそれぞれのWebフレームワークを見てみたいと思います。

⚙️検証内容

作成するWebアプリケーション

下記の機能を持つ必要最低限のWebアプリケーションをそれぞれのWebフレームワークを利用して作成する。

機能

• text/plain としてレスポンスを返却
• Hello, World! の文字列を返却する

検証方法

今回は、wg/wrk を利用して検証してみたいと思います。
(今回は RPS を測定するのみなので Coordinated Omission補正込みの giltene/wrk2 は使用しません)

本記事では、 5回計測し、 RPS がもっとも良い結果をピックアップするものとします。

環境

今回の検証では NIFCLOUD のクラウドサービスを利用して検証しました。

Webアプリケーションサーバー(負荷試験対象)

• NIFCLOUD type: large
• Intel(R) Xeon(R) CPU E5-2697 v3 @ 2.60GHz (4 cores)
• 4 GB
• Ubuntu 18.04 LTS

負荷試験用サーバー(wrk実行用)

• NIFCLOUD type: large
• Intel(R) Xeon(R) CPU E5-2697 v3 @ 2.60GHz (4 cores)
• 16 GB
• Ubuntu 18.04 LTS

Network

PrivateLan を作成し、Webアプリケーションサーバー(AppServer) と 負荷試験用サーバー(Load) 間に Network を構築します。

[AppServer] : 192.168.10.10 ----------- [Load] : 192.168.10.5

Settings

このあたりは適当に。

/etc/sysctl.conf
net.ipv4.ip_local_port_range = 1024 65535
net.ipv4.tcp_tw_reuse = 1
net.ipv4.ip_dynaddr = 1
net.ipv4.tcp_rfc1337 = 1
net.ipv4.tcp_fin_timeout = 10
net.ipv4.tcp_keepalive_probes = 5
net.ipv4.tcp_slow_start_after_idle = 0
net.core.somaxconn = 65535
net.ipv4.tcp_max_syn_backlog = 65535

/etc/security/limits.conf
*    soft nofile 65536
*    hard nofile 65536
root soft nofile 65536
root hard nofile 65536

/etc/pam.d/common-session
session    required     pam_limits.so

検証用アプリケーション

• kzmake/benchmark-app-servers

🔥検証結果

Results

同時接続数100のときのRPSでsort。

c: connections

メモ：細かいデータ

• kzmake/benchmark-app-servers
  • 各言語のVersion情報やwrkの結果

🌜おわりに

この記事では、スループットのみに着眼し、できるだけ広い言語で様々なWebフレームワークをテストしてみました。

結果としては、単純にスループットだとGolang、Scala、NimやRustが安定して高RPS、PythonやRubyは他と比べて低RPSとなった。ただ、pythonでもjaprontoが最も高いRPSを記録するといった面白い結果がみられました。

他にも、全体的に低RPSのpythonでもgunicorn + flask + meinheldの組み合わせなどで高いRPSもだせることもわかりました。

今回は単純にPlaintextを返すだけのアプリケーションでしたが、より複雑なベンチマークを行っている

TechEmpower / Web Framework Benchmarks

も見てみるとおもしろいかもしれません！

みなさんの普段使っているWebフレームワークもテストし、比較してみてはいかがでしょうか？
長い記事にお付き合いいただき、ありがとうございました！

明日は @YOMOGItaro さんが 「NIFCLOUD で Elastic Cloud Enterprise」 について書いてくれるみたいです。お楽しみに！