TwitterのAPIを使用せずにTwitterのプロファイルからつぶやきつぶやき.

以来、あなたのTwitterのプロファイルを作成以来、あなたの最も影響力のあるつぶやきを疑問に思ったことがありますか?またはどのようにあなたのつぶやきは、最後の30日間で実行?とopen-source software twint (MIT) あなたのつぶやき(または他の誰かから)のすべてを削り取ることができます😬) そして、それらを分析- TwitterのAPIを使用せずに.私はあなたが数分以内にそれらをscrapeする方法をお見せします.

何が必要

あなたが分析したいTwitterユーザー名

端末(iTerm2 MacOSで)

Python 3.6

などdependencies 彼らはgithubページを一覧表示します.

オプション: Docker ( Dockerなしで動作します)

インストール

あなたが後で私が走るのを見るようにtwint Docker内では、システムに直接インストールしたい場合は以下のようにします:
Git :

git clone https://github.com/twintproject/twint.git
cd twint
pip3 install . -r requirements.txt

ピップ

pip3 install twint
or

pip3 install --user --upgrade git+https://github.com/twintproject/twint.git@origin/master#egg=twint

Pipenv :

pipenv install git+https://github.com/twintproject/twint.git#egg=twint

用途

インストールが完了したらtwint あなたのつぶやきをこすり始めることができますし、結果を保存します.以下のコマンドでcsvファイル

twint -u username -o file.csv --csv

結果は次のようになります.

あなたはさらに行うことができますtwint !

# Display Tweets by verified users that Tweeted about Trevor Noah.
twint -s "Trevor Noah" --verified

# Scrape Tweets from a radius of 1 km around the Hofburg in Vienna export them to a csv file.
twint -g="48.2045507,16.3577661,1km" -o file.csv --csv

# Collect Tweets published since 2019-10-11 20:30:15.
twint -u username --since "2019-10-11 21:30:15"

# Resume a search starting from the last saved tweet in the provided file
twint -u username --resume file.csv

この動画を見るlist of all commands on GitHub より多くのインスピレーションのために.
次に、好きな、retweets、またはあなたが焦点を当てている他のKPIによって並べ替えによって、あなたのつぶやきを分析を開始することができます.それはあなたがデータで何をする次第です.

使用してtwintとtwint検索Docker

Twintはまた、あなたのつぶやきを検索する素敵なUIを提供しますtwint-search . この次のステップでは、私はあなたにDockerとツイートをscrapeする方法を示すつもりですElasticsearch そして、twint検索結果を探る.
まず、twint Dockerリポジトリをクローン化する必要があります.

git clone https://github.com/twintproject/twint-docker
cd twint-docker/dockerfiles/latest

最後に、Dockerコンテナをスピンします.

docker pull x0rzkov/twint:latest
docker-compose up -d twint-search elasticsearch

一旦すべてが始まるならば、あなたは「ユーザーからscrape tweetsを実行することができて、これのような. csvファイル」コマンドでそれを保存することができます:

docker-compose run -v $PWD/twint:/opt/app/data twint -u natterstefan -o file.csv --csv

ここで起こっていることを詳しく見てみましょう.私たちはx0rzkov/twint ドッカーイメージdocker-compose run 1つのボリュームで-v $PWD/twint:/opt/app/data . このコンテナの中でtwint -u natterstefan -o file.csv --csv .
タスクの結果はマウントされたディレクトリに保存されます$PWD/twint . これは基本的にtwintサブフォルダの現在のパスです.
これは、選択したアカウントのつぶやきの数をコマンドを終了するに依存します.完了すると、結果を見る必要がありますls -lha ./twint/file.csv .
これで、任意のサポートtwintコマンドを実行することができますdocker-compose run -v $PWD/twint:/opt/app/data twint .

twint検索でつぶやきを探る

前の例では、結果をAに保存しました.CSVファイル.しかし、それはまた、結果をエラスティックサーチに格納することが可能です.
まず第一にdocker-compose.yml お気に入りのエディタでVSCode ところで、既存のcorsの問題を修正するまで、彼らは私の合併pull request .

  elasticsearch:
    image: docker.elastic.co/elasticsearch/elasticsearch:${ELASTIC_VERSION}
    container_name: twint-elastic
    environment:
    - node.name=elasticsearch
    - cluster.initial_master_nodes=elasticsearch
    - cluster.name=docker-cluster
    - bootstrap.memory_lock=true
    - "ES_JAVA_OPTS=${ELASTIC_JAVA_OPTS}"
+   - http.cors.enabled=true
+   - http.cors.allow-origin=*

今、あなたはアプリを起動する準備が整いました.

# start twint-search and elasticsearch
docker-compose up -d twint-search elasticsearch

そして、結果をSimulticSearchに保存し始める

docker-compose run -v $PWD/twint:/opt/app/data twint -u natterstefan -es twint-elastic:9200

最後に、オープンhttp://localhost:3000 そして、あなたは、私のもののような何かを見なければなりません.

あなたが好きなようにかき集めたデータを再生します.あなたも、AntiticSearchにより多くのデータを追加することができますし、より多くのつぶやきを探る.それは簡単です.
楽しい.
特別感謝します.彼は道具を私に分けてくれた.
さえずりを使いましょう🐦: <<