EMQA-優れた知識スペクトルライブラリ
7599 ワード
本文は転載で、元のブログのリンクは:https://blog.csdn.net/tobacco5648/article/details/50513949
知識スペクトルは本質的に意味ネットワークである.そのノードはエンティティ(entity)またはコンセプト(concept)を表し、エッジはエンティティ/コンセプト間の様々な意味関係を表す.Knowledge Graph,Freebase,Wikidataは現在最も一般的な3つの知識スペクトルである.
Knowledge GraphはGoogleの知識ベースで、意味検索を使用して複数のソースから情報を収集し、Google検索の質を高めます.Knowledge Graphは2012年にGoogle検索に加入し、2012年5月16日に正式に発表され、まず米国で使用できるようになった.Knowledge Graphは、他のWebサイトのリンクリストを表示するだけでなく、テーマに関する構造化および詳細な情報も提供します.その目的は、ユーザーが他のWebサイトにナビゲートして自分で情報をまとめる必要がなく、この機能で提供された情報を使用してクエリーの問題を解決できることです.
Knowledge Graphはクエリーapiを提供し、公式ドキュメントはAPI Referenceを参照してください.HTTP GETを使用して、次のurlを使用してFudanに関連付けられているエンティティをクエリーできます.https://kgsearch.googleapis.com/v1/entities:search?query=Fudan&key=注意urlのkeyフィールドは、開発者アカウントが申請したapi呼び出しkeyです.
ユーザーは、返されるクエリー結果フォーマットを指定できます.jsonフォーマットの内容は次のとおりです.
ここで、@idフィールドは、対応するentityのFreebase内のmidである.
メリット:簡単な検索 クエリーの結果は、jsonなどの形式で を返すことを指定できます. entityのほとんどの情報は、Google関連検索の右側のバーwikiに直接表示され、品質が高く、比較的豊富な です.各アカウントの無料額は1日100000回のクエリーで、大部分の使用シーン を満たすことができる.
欠点:は、それに関連する他のentity情報 を直接得ることができない.
Freebaseはメタデータからなる大規模なコラボレーション知識ベースであり、コンテンツは主にコミュニティメンバーの貢献から来ています.一部のプライベートwikiサイトのコンテンツを含む多くのネット上のリソースを統合しています.Freebaseは、世界中のすべての人(およびマシン)が迅速にアクセスできるリポジトリの構築に力を入れています.米国のソフトウェア会社Metawebが開発し、2007年3月に公開運営している.2010年7月16日にグーグルに買収された.2014年12月16日、Googleは6ヶ月後にFreebaseを閉鎖し、すべてのデータをWikidataに移行すると発表した.
公式ドキュメントはAPI Referenceを参照してください.HTTP GETを直接使用して、次のurlを使用してFudan関連エンティティをクエリーできます.https://www.googleapis.com/freebase/v1/search?query=fudan&format=entity
一般的な検索結果は次のようになります. 1
メリット:簡単な検索 クエリー結果はjson形式で を返します.各アカウントの無料額は1日100000回のクエリーで、大部分の使用シーン を満たすことができる.
欠点:は、それに関連する他のエンティティ情報 を直接得ることができない.エンティティで直接利用できる情報は少ない .
Freebaseのエンティティクエリーの結果に直接利用できる情報は少ないが、Freebaseが提供するWebページで対応するエンティティの詳細を表示するには、トップページアドレスのみhttps://www.freebase.comその後、対応するmidを追加するとhtml形式の詳細ページを直接問い返すことができ、Fudan Universityのmidがm/0 jktdの場合、その詳細ページのurlはhttps://www.freebase.com/m/0jktd.これにより,ネットワーク爬虫類を用いてエンティティの詳細情報を取得することが可能になる.
またFreebaseでは完全なデータベースダウンロードも提供されており、詳細はData Dumpsを参照してください.dumpのデータはメタグループの形式であり,実際に利用すると一定の挑戦性がある.
Freebaseは間もなくオープンを停止することに注意してください.詳細はShutDownを参照してください.
Wikidataは、2006年のウィキペディア学院に続いて、初めて新しいウィキメディア財団プロジェクトである共同編集可能な知識ベースです.このプロジェクトは、ウィキペディアがリソースを共有する作業と同様に、他のウィキペディア計画や各言語のウィキペディアの情報ボックス、リスト、クロス言語リンクなどに統一的に格納されたデータを提供し、2012年10月30日に使用を開始する.
公式ドキュメントはAPI Referenceを参照してください.HTTP GETを使用して、次のurlを使用してFudanに関連付けられているエンティティをクエリーできます.https://www.wikidata.org/w/api.php?action=query&list=search&srsearch=Fudan&format=json
一般的な検索結果は次のようになります. 1
メリット:簡単な検索 クエリ結果は、json形式で を返すように設定することができる.照会限度なし 欠点:は、それに関連する他のエンティティ情報 を直接得ることができない.エンティティで直接利用できる情報は少ない .
エンティティクエリーインタフェースの提供に加えて、Wikidataは、エンティティのidを介してエンティティの詳細を取得するための特別なapiを提供し、これらの情報には、それに関連付けられた他のエンティティ情報が含まれています.このapiは、結果を様々な形式で返すことができ、例えばHTTP GETでidがQ 495015のエンティティの詳細を取得し、json形式で返されるurlを次のように指定することができる.https://www.wikidata.org/wiki/Special:EntityData/Q495015.jsonまた、htmlでエンティティの詳細を直接表示することもできます.たとえば、次のようにします.https://www.wikidata.org/wiki/Q495015
Wikidataは完全なデータベースダウンロードを提供し、詳細はDatabase Downloadを参照してください.
プロジェクト
Knowledge Graph
Wikidata
Freebase
限度額
10万/日
制限なし
10万/日
クエリ結果で直接利用できる情報
多く、ほとんどの情報はGoogle関連検索の右側wiki欄に置かれています
少ない(nameとidのみ)
ごくわずか
データ取得
オンラインapi
オンラインapi+data dump
オンラインapi+data dump
関連エンティティの取得
クエリはfreebase内のエンティティのmidを取得し、このmidによって関連エンティティを取得します.
エンティティの詳細を直接照会して関連エンティティを取得できます
dumpのデータオフライン分析(複雑)または爬虫分析エンティティ詳細ページ
メンテナンス
Google
Wikipedia
やがてシャットダウンされる
知識スペクトルは本質的に意味ネットワークである.そのノードはエンティティ(entity)またはコンセプト(concept)を表し、エッジはエンティティ/コンセプト間の様々な意味関係を表す.Knowledge Graph,Freebase,Wikidataは現在最も一般的な3つの知識スペクトルである.
Knowledge Graph
Knowledge GraphはGoogleの知識ベースで、意味検索を使用して複数のソースから情報を収集し、Google検索の質を高めます.Knowledge Graphは2012年にGoogle検索に加入し、2012年5月16日に正式に発表され、まず米国で使用できるようになった.Knowledge Graphは、他のWebサイトのリンクリストを表示するだけでなく、テーマに関する構造化および詳細な情報も提供します.その目的は、ユーザーが他のWebサイトにナビゲートして自分で情報をまとめる必要がなく、この機能で提供された情報を使用してクエリーの問題を解決できることです.
1.apiの検索
Knowledge Graphはクエリーapiを提供し、公式ドキュメントはAPI Referenceを参照してください.HTTP GETを使用して、次のurlを使用してFudanに関連付けられているエンティティをクエリーできます.https://kgsearch.googleapis.com/v1/entities:search?query=Fudan&key=注意urlのkeyフィールドは、開発者アカウントが申請したapi呼び出しkeyです.
2.検索結果
ユーザーは、返されるクエリー結果フォーマットを指定できます.jsonフォーマットの内容は次のとおりです.
{
@context:
{
@vocab: "http://schema.org/",
goog: "http://schema.googleapis.com/",
EntitySearchResult: "goog:EntitySearchResult",
detailedDescription: "goog:detailedDescription",
resultScore: "goog:resultScore",
kg: "http://g.co/kg"
},
@type: "ItemList",
itemListElement:
[
{
@type: "EntitySearchResult",
result:
{
@id: "kg:/m/0jktd",
name: "Fudan University",
@type:
[
"CollegeOrUniversity",
"Organization",
"EducationalOrganization",
"Place",
"Thing"
],
description: "University in Shanghai, China",
image:
{
contentUrl: "http://t3.gstatic.com/images?q=tbn:ANd9GcRL6bWR-Z8BDYVYytbMaXJiTa8l690RY2pwpAbj7EvIlRgrDb97",
url: "https://commons.wikimedia.org/wiki/File:Fudan-logo.jpg",
license: "http://creativecommons.org/licenses/by-sa/3.0"
},
detailedDescription:
{
articleBody: "Fudan University, located in Shanghai, China, is one of the most prestigious and selective universities in China, and is a member in the C9 League and Universitas 21. ",
url: "http://en.wikipedia.org/wiki/Fudan_University",
license: "https://en.wikipedia.org/wiki/Wikipedia:Text_of_Creative_Commons_Attribution-ShareAlike_3.0_Unported_License"
},
url: "http://www.fudan.edu.cn/"
},
resultScore: 40.484966
}
]
}ここで、@idフィールドは、対応するentityのFreebase内のmidである.
3.apiの特徴
メリット:
欠点:
Freebase
Freebaseはメタデータからなる大規模なコラボレーション知識ベースであり、コンテンツは主にコミュニティメンバーの貢献から来ています.一部のプライベートwikiサイトのコンテンツを含む多くのネット上のリソースを統合しています.Freebaseは、世界中のすべての人(およびマシン)が迅速にアクセスできるリポジトリの構築に力を入れています.米国のソフトウェア会社Metawebが開発し、2007年3月に公開運営している.2010年7月16日にグーグルに買収された.2014年12月16日、Googleは6ヶ月後にFreebaseを閉鎖し、すべてのデータをWikidataに移行すると発表した.
1.apiの検索
公式ドキュメントはAPI Referenceを参照してください.HTTP GETを直接使用して、次のurlを使用してFudan関連エンティティをクエリーできます.https://www.googleapis.com/freebase/v1/search?query=fudan&format=entity
2.検索結果
一般的な検索結果は次のようになります.
{
"status":"200 OK",
"result":
[
{
"mid":"/m/0jktd",
"id":"/en/fudan_university",
"name":"Fudan University",
"under":"Shanghai",
"lang":"en","score":39.771729
},
],
"cursor":20,
"cost":4,
"hits":543
}3.apiの特徴
メリット:
欠点:
4.エンティティの詳細の表示
Freebaseのエンティティクエリーの結果に直接利用できる情報は少ないが、Freebaseが提供するWebページで対応するエンティティの詳細を表示するには、トップページアドレスのみhttps://www.freebase.comその後、対応するmidを追加するとhtml形式の詳細ページを直接問い返すことができ、Fudan Universityのmidがm/0 jktdの場合、その詳細ページのurlはhttps://www.freebase.com/m/0jktd.これにより,ネットワーク爬虫類を用いてエンティティの詳細情報を取得することが可能になる.
5.Data Dumps
またFreebaseでは完全なデータベースダウンロードも提供されており、詳細はData Dumpsを参照してください.dumpのデータはメタグループの形式であり,実際に利用すると一定の挑戦性がある.
6.開放停止
Freebaseは間もなくオープンを停止することに注意してください.詳細はShutDownを参照してください.
Wikidata
Wikidataは、2006年のウィキペディア学院に続いて、初めて新しいウィキメディア財団プロジェクトである共同編集可能な知識ベースです.このプロジェクトは、ウィキペディアがリソースを共有する作業と同様に、他のウィキペディア計画や各言語のウィキペディアの情報ボックス、リスト、クロス言語リンクなどに統一的に格納されたデータを提供し、2012年10月30日に使用を開始する.
1.apiの検索
公式ドキュメントはAPI Referenceを参照してください.HTTP GETを使用して、次のurlを使用してFudanに関連付けられているエンティティをクエリーできます.https://www.wikidata.org/w/api.php?action=query&list=search&srsearch=Fudan&format=json
2.検索結果
一般的な検索結果は次のようになります.
{
"batchcomplete":"",
"continue":
{
"sroffset":10,
"continue":"-||"
},
"query":
{
"searchinfo":
{
"totalhits":17
},
"search":
[
{
"ns":0,
"title":"Q495015",
"snippet":"universit\u00e9 Fudan-universiteit",
"size":17783,
"wordcount":253,
"timestamp":"2016-01-06T21:09:34Z"
},
]
}
}3.apiの特徴
メリット:
4.entity詳細の取得
エンティティクエリーインタフェースの提供に加えて、Wikidataは、エンティティのidを介してエンティティの詳細を取得するための特別なapiを提供し、これらの情報には、それに関連付けられた他のエンティティ情報が含まれています.このapiは、結果を様々な形式で返すことができ、例えばHTTP GETでidがQ 495015のエンティティの詳細を取得し、json形式で返されるurlを次のように指定することができる.https://www.wikidata.org/wiki/Special:EntityData/Q495015.jsonまた、htmlでエンティティの詳細を直接表示することもできます.たとえば、次のようにします.https://www.wikidata.org/wiki/Q495015
5.Database Download
Wikidataは完全なデータベースダウンロードを提供し、詳細はDatabase Downloadを参照してください.
コントラスト
プロジェクト
Knowledge Graph
Wikidata
Freebase
限度額
10万/日
制限なし
10万/日
クエリ結果で直接利用できる情報
多く、ほとんどの情報はGoogle関連検索の右側wiki欄に置かれています
少ない(nameとidのみ)
ごくわずか
データ取得
オンラインapi
オンラインapi+data dump
オンラインapi+data dump
関連エンティティの取得
クエリはfreebase内のエンティティのmidを取得し、このmidによって関連エンティティを取得します.
エンティティの詳細を直接照会して関連エンティティを取得できます
dumpのデータオフライン分析(複雑)または爬虫分析エンティティ詳細ページ
メンテナンス
Wikipedia
やがてシャットダウンされる