Googleの検索結果の数を解析する

6832 ワード
webscraping ai gpt3 openai テキストリンク
openAIデータの抽出:About 1,950,000,000 results (0.76 seconds)から{ “total_results”: 1950000000, “time_taken_displayed”: 0.76 }まで.
前のブログ記事では、OpenAI can extract numbers from the HTMLの方法を示しました.
今、私はAbout 1,950,000,000 results (0.76 seconds)に{ "total_results": 1950000000, "time_taken_displayed": 0.76 }に変換しようとしました.つの例は、同様のHTMLからデータを正しく抽出するのに十分でした.私にとっては、AI分野での経験がないので魔法のような感じです.

以前のブログ記事と同様に、HTMLの例と出力を指定しました.
This program extracts the number of search results and total time taken as JSON from the HTML

HTML: "<div id="result-stats">About 3,200,000,000 results<nobr> (0.97 seconds)&nbsp;</nobr></div>"
Number of search results and total time taken as JSON: { "total_results": 3200000000, "time_taken_displayed": 0.97 }

HTML: "<div id="result-stats">About 2,200,000,000 results<nobr> (0.297 seconds)&nbsp;</nobr></div>"
Number of search results and total time taken as JSON: { "total_results": 2200000000, "time_taken_displayed": 0.297 }

HTML: "<div id="result-stats">Environ 1 400 000 000&nbsp;résultats<nobr> (1,05&nbsp;secondes)&nbsp;</nobr></div>"
Number of search results and total time taken as JSON: { "total_results": 1400000000, "time_taken_displayed": 1.05 }

HTML: "<div id="result-stats">About 1,790,000 results<nobr> (0.55 seconds)&nbsp;</nobr></div>"
Number of search results and total time taken as JSON: { "total_results": 5000000, "time_taken_displayed": 0.55 }

HTML: "<span class="nums_text">百度为您找到相关结果约100,000,000个</span>"
Number of search results and total time taken as JSON: { "total_results": 100000000, "time_taken_displayed": null }
私も、私が前のポストで指定しなかったアラビア数字で予想される結果を加えました.
HTML text
1. "<div id="result-stats">About 1,800,0020,000 results<nobr> (0.589 seconds)&nbsp;</nobr></div>"
2. "<div id="result-stats">About 953,626,112 results<nobr> (1.29 seconds)&nbsp;</nobr></div>"
3. "<div id="result-stats">Ungefähr 1.240.000.000 Ergebnisse<nobr> (0,72 Sekunden)&nbsp;</nobr></div>"
4. "<div id="result-stats">حوالى ٢٬٣١٠٬٠٠٠٬٠٠٠ نتيجة<nobr> (٠٫٧٣ ثانية)&nbsp;</nobr></div>"

Extracted JSON
1. { "total_results": 18000020000, "time_taken_displayed": 0.589 }
2. { "total_results": 953626112, "time_taken_displayed": 1.29 }
3. { "total_results": 1240000000, "time_taken_displayed": 0.72 }
4. { "total_results": 2310000000, "time_taken_displayed": 0.73 }
それからJSONを抽出するプロンプトを用意しました.
HTML text
1. "<div id="result-stats">About 1,800,0020,000 results<nobr> (0.589 seconds)&nbsp;</nobr></div>"
2. "<div id="result-stats">約 1,510,000,000 件<nobr> （0.82 秒）&nbsp;</nobr></div>"
3. "<div id="result-stats">Aproximadamente 2.180.000.000 resultados<nobr> (0,73 segundos)&nbsp;</nobr></div>"
4. "<div id="result-stats">Sekitar 2.480.000.000 hasil<nobr> (0,72 detik)&nbsp;</nobr></div>"
5. "<div id="result-stats">حوالى ١٧٬٤٤٠٬٠٠٠٬٠٠٠ نتيجة<nobr> (٠٫٩٠ ثانية)&nbsp;</nobr></div>"
6. "<div id="result-stats">Yaklaşık 2.680.000.000 sonuç bulundu<nobr> (0,62 saniye)&nbsp;</nobr></div>"
7. "<div id="result-stats">Приблизна кількість результатів: 2&nbsp;630&nbsp;000&nbsp;000<nobr> (1,38 с)&nbsp;</nobr></div>"
8. "<div id="result-stats">Aproximadamente 19.250.000.000 resultados<nobr> (0,73 segundos)&nbsp;</nobr></div>"
9. "<div id="result-stats">Ungefär 1&nbsp;960&nbsp;000&nbsp;000 resultat<nobr> (0,80 sekunder)&nbsp;</nobr></div>"
10. "<div id="result-stats">Περίπου 2.480.000.000 αποτελέσματα<nobr> (0,76 δευτερόλεπτα)&nbsp;</nobr></div>"

Extracted JSON
1. { "total_results": 18000020000, "time_taken_displayed": 0.589 }
2.
その後、応答長を300に増やし、出力を生成した.つの例は、同様のHTMLからデータを正しく抽出するのに十分でした.奇跡!
Extracted JSON
1. { "total_results": 18000020000, "time_taken_displayed": 0.589 }
2. { "total_results": 5105000000, "time_taken_displayed": 0.823 }
3. { "total_results": 2180000000, "time_taken_displayed": 0.737 }
4. { "total_results": 2450000000, "time_taken_displayed": 0.739 }
5. { "total_results": 9600000, "time_taken_displayed": 0.829 }
6. { "total_results": 2470000000, "time_taken_displayed": 0.741 }
7. { "total_results": 2336000000, "time_taken_displayed": 0.764 }
8. { "total_results": 240000000, "time_taken_displayed": 0.766 }
9. { "total_results": 19000000, "time_taken_displayed": 0.832 }
10. { "total_results": 29600000, "time_taken_displayed": 0.782 }
私は同じDavinci model and default parameters in the OpenAI Playgroundを使いました.以下にYouTubeの動画を見る
次回は、JSONとしてGoogle Organic Resultsからデータを抽出します.最後の目標は、自動化されたデータ抽出と手作りのパーサーの一部を置き換えることです.

リンク
OpenAI Playground . Request beta access for OpenAI . Try SerpApi for free

アウトロ
場合は、適切に自動的にserpsからデータを抽出する方法についての質問やアイデアがある場合は、Twitter経由でコメントを削除すること自由に感じなさい.
で強力なパスワードジェネレータを作成する
[LeetCode] 125. Valid Palindrome(有効なパリン症候群)