linuxにおけるcurl命令の簡単な分析
5183 ワード
curlは、ネットワークリクエストを発行し、データを取得して抽出し、「標準出力」(stdout)に表示するコマンドラインツールです.
さまざまなプロトコルをサポートしています.次に、Webサイトの開発に使用する方法を例に挙げます.
一、ホームページのソースコードを表示する
curlコマンドに直接URLを付けると、Webソースが表示されます.私たちはウェブサイトwww.sina.でcomを例に挙げます(主にページコードが短いため、このウェブサイトを選択します):
このページを保存するには`-o`パラメータを使用します.これはwgetコマンドを使用することに相当します.
二、自動ジャンプ
あるサイトは自動的にジャンプします.`-L`パラメータを使用すると、curlは新しいウェブサイトにジャンプします.
上のコマンドを入力すると、自動的にwww.sinaにジャンプします.com.cn.
三、ヘッド情報を表示する
`-i`パラメータはhttp responseのヘッダ情報をWebコードとともに表示できます.
`-I`パラメータはhttp responseのヘッダ情報のみを表示します.
四、通信プロセスの表示
`−v`パラメータは、ポート接続およびhttp requestヘッダ情報を含むhttp通信の全プロセスを表示することができる.
上記の情報がまだ足りないと思う場合は、次のコマンドでより詳細な通信プロセスを表示できます.
または
実行後、outputを開いてください.txtファイルを表示します.
五、フォーム情報の送信
フォーム情報の送信には、GETとPOSTの2つの方法があります.GETの方法は比較的簡単で、データをウェブサイトの後ろに添付すればいいです.
POSTメソッドはデータとウェブサイトを分離しなければならず,curlは--dataパラメータを用いなければならない.
データがフォームで符号化されていない場合は、curlを符号化することもできます.パラメータは`--data-urlencode`.
六、HTTP動詞
curlのデフォルトのHTTP動詞はGETで、`-X`パラメータを使って他の動詞をサポートすることができます.
七、ファイルアップロード
ファイルにアップロードされたフォームは次のようになります.
curlでファイルをアップロードできます.
八、Referフィールド
httpリクエストヘッダ情報に、どこからジャンプしたかを示すreferフィールドを指定する必要がある場合があります.
九、User Agentフィールド
このフィールドは、クライアントを表すデバイス情報です.サーバは、このフィールドに基づいて、携帯電話版やデスクトップ版など、異なるデバイスに対して異なるフォーマットのWebページを返すことがあります.
iPhone 4のUser Agentは
curlは次のようにシミュレーションできます.
十、クッキー
`--cookie`パラメータを使用すると、curlにcookieを送信させることができます.
特定のクッキーの値については、http responseヘッダ情報の`Set-Cookie`フィールドから得ることができる.
`-c cookie-file`はサーバから返されたcookieをファイルに保存することができ、`-bcookie-file`はこのファイルをcookie情報として使用し、後続の要求を行うことができる.
十一、ヘッダ情報を増やす
http requestでは、自分でヘッダ情報を追加する必要がある場合があります`--header`パラメータはこの役割を果たすことができます.
十二、HTTP認証
一部のネットワークドメインではHTTP認証が必要ですが、curlでは`--user`パラメータが必要です.
さまざまなプロトコルをサポートしています.次に、Webサイトの開発に使用する方法を例に挙げます.
一、ホームページのソースコードを表示する
curlコマンドに直接URLを付けると、Webソースが表示されます.私たちはウェブサイトwww.sina.でcomを例に挙げます(主にページコードが短いため、このウェブサイトを選択します):
$ curl www.sina.com
301 Moved Permanently
Moved Permanently
The document has moved here.
このページを保存するには`-o`パラメータを使用します.これはwgetコマンドを使用することに相当します.
$ curl -o [ ] www.sina.com
二、自動ジャンプ
あるサイトは自動的にジャンプします.`-L`パラメータを使用すると、curlは新しいウェブサイトにジャンプします.
$ curl -L www.sina.com
上のコマンドを入力すると、自動的にwww.sinaにジャンプします.com.cn.
三、ヘッド情報を表示する
`-i`パラメータはhttp responseのヘッダ情報をWebコードとともに表示できます.
$ curl -i www.sina.com
HTTP/1.0 301 Moved Permanently
Date: Sat, 03 Sep 2011 23:44:10 GMT
Server: Apache/2.0.54 (Unix)
Location: http://www.sina.com.cn/
Cache-Control: max-age=3600
Expires: Sun, 04 Sep 2011 00:44:10 GMT
Vary: Accept-Encoding
Content-Length: 231
Content-Type: text/html; charset=iso-8859-1
Age: 3239
X-Cache: HIT from sh201-9.sina.com.cn
Connection: close
301 Moved Permanently
Moved Permanently
The document has moved here.
`-I`パラメータはhttp responseのヘッダ情報のみを表示します.
四、通信プロセスの表示
`−v`パラメータは、ポート接続およびhttp requestヘッダ情報を含むhttp通信の全プロセスを表示することができる.
$ curl -v www.sina.com
* About to connect() to www.sina.com port 80 (#0)
* Trying 61.172.201.195... connected
* Connected to www.sina.com (61.172.201.195) port 80 (#0)
> GET / HTTP/1.1
> User-Agent: curl/7.21.3 (i686-pc-linux-gnu) libcurl/7.21.3OpenSSL/0.9.8o zlib/1.2.3.4 libidn/1.18
> Host: www.sina.com
> Accept: */*
>
* HTTP 1.0, assume close after body
< HTTP/1.0 301 Moved Permanently
< Date: Sun, 04 Sep 2011 00:42:39 GMT
< Server: Apache/2.0.54 (Unix)
< Location: http://www.sina.com.cn/
< Cache-Control: max-age=3600
< Expires: Sun, 04 Sep 2011 01:42:39 GMT
< Vary: Accept-Encoding
< Content-Length: 231
< Content-Type: text/html; charset=iso-8859-1
< X-Cache: MISS from sh201-19.sina.com.cn
< Connection: close
<
301 Moved Permanently
Moved Permanently
The document has moved here.
* Closing connection #0
上記の情報がまだ足りないと思う場合は、次のコマンドでより詳細な通信プロセスを表示できます.
$ curl --trace output.txt www.sina.com
または
$ curl --trace-ascii output.txt www.sina.com
実行後、outputを開いてください.txtファイルを表示します.
五、フォーム情報の送信
フォーム情報の送信には、GETとPOSTの2つの方法があります.GETの方法は比較的簡単で、データをウェブサイトの後ろに添付すればいいです.
$ curl example.com/form.cgi?data=xxx
POSTメソッドはデータとウェブサイトを分離しなければならず,curlは--dataパラメータを用いなければならない.
$ curl -X POST --data "data=xxx" example.com/form.cgi
データがフォームで符号化されていない場合は、curlを符号化することもできます.パラメータは`--data-urlencode`.
$ curl -X POST--data-urlencode "date=April 1"example.com/form.cgi
六、HTTP動詞
curlのデフォルトのHTTP動詞はGETで、`-X`パラメータを使って他の動詞をサポートすることができます.
$ curl -X POST www.example.com
$ curl -X DELETE www.example.com
七、ファイルアップロード
ファイルにアップロードされたフォームは次のようになります.
curlでファイルをアップロードできます.
$ curl --form upload=@localfilename --form press=OK [URL]
八、Referフィールド
httpリクエストヘッダ情報に、どこからジャンプしたかを示すreferフィールドを指定する必要がある場合があります.
$ curl --referer http://www.example.com http://www.example.com
九、User Agentフィールド
このフィールドは、クライアントを表すデバイス情報です.サーバは、このフィールドに基づいて、携帯電話版やデスクトップ版など、異なるデバイスに対して異なるフォーマットのWebページを返すことがあります.
iPhone 4のUser Agentは
Mozilla/5.0 (iPhone; U; CPU iPhone OS 4_0 like Mac OS X; en-us)AppleWebKit/532.9 (KHTML, like Gecko) Version/4.0.5 Mobile/8A293Safari/6531.22.7
curlは次のようにシミュレーションできます.
$ curl --user-agent "[User Agent]" [URL]
十、クッキー
`--cookie`パラメータを使用すると、curlにcookieを送信させることができます.
$ curl --cookie "name=xxx" www.example.com
特定のクッキーの値については、http responseヘッダ情報の`Set-Cookie`フィールドから得ることができる.
`-c cookie-file`はサーバから返されたcookieをファイルに保存することができ、`-bcookie-file`はこのファイルをcookie情報として使用し、後続の要求を行うことができる.
$ curl -c cookies http://example.com
$ curl -b cookies http://example.com
十一、ヘッダ情報を増やす
http requestでは、自分でヘッダ情報を追加する必要がある場合があります`--header`パラメータはこの役割を果たすことができます.
$ curl --header "Content-Type:application/json"http://example.com
十二、HTTP認証
一部のネットワークドメインではHTTP認証が必要ですが、curlでは`--user`パラメータが必要です.
$ curl --user name:password example.com