DbSearcher解析ipアドレス
1.mavenインポート
2.コード作成
3.ipアドレスライブラリのダウンロード
コードクラウドダウンロードアドレス:https://gitee.com/lionsoul/ip2region/blob/master/data/ip2region.db
4.sparkブロードキャストファイルまたはフォルダ
<dependency>
<groupId>org.lionsoul</groupId>
<artifactId>ip2region</artifactId>
<version>1.7.2</version>
</dependency>
2.コード作成
//db hdfs
val ipSearch = new DbSearcher(new DbConfig(),"/ip2region.db")
val region: String = ipSearch.binarySearch("127.0.0.1").getRegion
3.ipアドレスライブラリのダウンロード
コードクラウドダウンロードアドレス:https://gitee.com/lionsoul/ip2region/blob/master/data/ip2region.db
4.sparkブロードキャストファイルまたはフォルダ
val path = "/user/iteblog/ip.txt"
// path , recursive true
sc.addFile(path)
valrdd =sc.parallelize((0 to 10))
rdd.foreach{
index =>
val path = SparkFiles.get(path)
}