ヨルダンは、国務長官を調査します:アーカンソー

Demo code here
それは、Secretary of State scraping seriesのエピソード19のための時間です.今日我々はアーカンソー州国務長官のウェブ・スクレーピングを行い、hereを発見した.私は本当にアーカンソーについてあまり知りません、しかし、その特色画像は確かに豪華に見えます.

調査

最近登録されたビジネスを探す.彼らは、おそらく新しいサービスと製品でセットアップを得ようとしているビジネスで、おそらく既存の関係を持っていません.一般的に、これらはより価値あるリードになると思います.
状態が検索する日付範囲を提供しないならば、私はかなり大丈夫に働くトリックを発見しました.私は“2020”を検索します.2020はキャッチーな数字の一種であり、私たちがその年に現在あるので、人々はその名前を持つビジネスを始める傾向があります.
私が最近登録されるこれらのうちの1つを見つけるならば、私はどこかのビジネスIDを探します.通常、POSTリクエストのURLまたはフォームデータのクエリパラメータです.いずれにしても、そのIDを1つインクリメントして、まだ登録されている会社を得ることができれば、最近登録されたビジネスを見つけることができます.
これはまさにアーカンソーで使われている戦術です.

2020年の検索は、名前の2020と企業のリストを明らかにする.いくつかを通過すると、最近数ヶ月前に登録されているものを見つける.

このビジネスの詳細ページを見てみましょう.

バム.営業中です.URLにIDを見ることができます.数字が大きくなったので、企業がより最近になることを示した増分.
時間のテスト方法でビジネスを見つける魅力のように働いた.

暗号

これらの絵を見ているは、アーカンソーを訪問したいです
コードは簡単です.idをループしてHTMLを解析します.

(async () => {
    const startingId = 566000;
    for (let i = 0; i <= 20; i += 1) {
        await getDetails(startingId + i);
        //Longer timeout needed because of DDOS protection from website
        await timeout(3000);
    }
})();

我々は、我々がブロックされて危険にさらされていないことを確実とするために、ここでより長い待ち時間を加えました.秒は、あなたが必要とするより長いかもしれません、そして、あなたはあなたが必要とするものにそれを調節することができます.
この例では、私たちはちょうど20回をループするが、新しい登録ビジネスを取得する場合は、一度新しいビジネスを見つけることを停止して停止したい.
詳細コードも非常に簡単です.

async function getDetails(sosId: number) {
    const axiosResponse = await axios.get(`https://www.sos.arkansas.gov/corps/search_corps.php?DETAIL=${sosId}`);
    const $ = cheerio.load(axiosResponse.data);
    const title = $("tr:nth-of-type(2) td:nth-of-type(2)").text();
    const formationDate = $("tr:nth-of-type(11) td:nth-of-type(2)").text();
    const status = $("tr:nth-of-type(7) td:nth-of-type(2)").text();
    const agentName = $("tr:nth-of-type(9) td:nth-of-type(2)").text();
    const address = $("tr:nth-of-type(8) td:nth-of-type(2)").text();

    const business: any = {};
    business.title = title;
    business.formationDate = formationDate;
    business.sosId = sosId;
    business.status = status;
    business.agentName = agentName;
    business.address = address;

    console.log("business", business);
}

アーカンソーはとてもきれいで乾いた強姦だった.終わり!
Demo code here

ビジネスリード探しですか？

javascriptwebscrapingguy.comでここで話したテクニックを使用して、我々は素晴らしいウェブデータにアクセスする方法を開始することができました.Cobalt Intelligenceでより多くを学んでください!
Jordan Scrapes Secretary of State: Arkansas年には、JavaScript Web Scraping Guyが初めて登場した.