クラウドソーシング

10633 ワード
クラウドソーシング クラウドソーシング テキストリンク

クラウドソーシングとは

  • Crowdsourcing = Crowd(群衆) + sourcing(業務委託)
  • 不特定多数の人に業務を委託すること。

クラウドソーシングの種類

  • クラウドソーシングは、3種類に分かれる
    • プロジェクト型
    • コンペティション型
    • マイクロタスク型

参考：中小企業白書2014年版

プロジェクト型

いわゆる普通の業務委託。

コンペティション型

1つの業務を、コンペ形式で進める。デザイン系に多い。

マイクロタスク型

だれでもできるタスクを割り振る。1タスクの単価は数円から100円程度。

今回はマイクロタスク型の話

何に使うのか？

  • 機械学習のデータを集めるの面倒ですよね？
  • 機械学習のタグ付け、スーパー面倒ですよね？

Amazon Mechanical Turk

  • マイクロタスク型で老舗（多分、発祥の地）
    • 2005年サービス開始
  • 一応、AWSシリーズに入っている
    • が、未だにベータで、UIが全く進化していない（いわゆるWeb2.0）
    • ドキュメントが余り整備されていない。ブログに記事を書く、低コスト運用

Amazon Mechanical Turk

  • 今でもユーザーは圧倒的に多い。
  • 2017年に日本から使えるようになった（それまでは米国アドレスが必要）
  • Mechanical Turkとはチェスを指す機械人形。実際は中に人が隠れているという手品。

mturk

CC BY-SA 3.0

相場

MTurk の Workerは誰なのか

MTurk の Workerは誰なのか

  • 調査された論文がある
  • 若者、白人、都会住まい、Office workerが多い
  • 発展途上国の人を安く使うイメージをもたれるが、違う
    • アメリカの若い中産階級が娯楽のような感覚でしているようにみえる

タスクを登録してみた

  • Bounding box を定義するタスク。

Bounding box タスク

  • やりかたは公式ブログより
  • $0.05 で55件のタグ付けが瞬殺だった
  • 報酬は高い方だった

画像収集タスク

  • やりかたは公式ブログより
  • こちらは $0.06 では全然集まらず。$0.15 で出し直してみたが、不調
  • $0.3 ぐらいは必要か
  • そうすると、日本の http://crowdworks.jp と変わらない。

MTurkの良いところ

  • ドキュメントはイマイチだが、APIは一通り揃っている
    • スクリプトでタスク自動登録
    • Formから、結果を送信・保存
  • ユーザーが圧倒的に多い

と、ここで、

なぜか、MTurkアカウント停止

MTurkアカウント停止の理由

Amazon Mechanical Turk is a U.S.-based website,
we currently accept Requester registrations from
select countries outside of the United States.
  • 日本は確かに、select countriesに入っているのだが。。

その後

  • [email protected] に送るが解決せず（最近は返事もなく）
  • AWS のサポートは迅速に対応してくれるが、MTurkは窓口が違うため、特に解決できず
  • 調べてみると、同じような事例は多い。MTurkを安定して使うには、USのアドレスを持っていないとダメかも

日本のクラウドソーシングを使ってみる

CrowdWorks

  • https://crowdworks.jp
  • MTurkは単価は安かったが、結局は安く無さそうだった
    • 1件2円なら、30件まとめると60円。これは、crowdworks.jp の単価と同じ
    • MTurkのWorkerがアメリカの中産階級だとすると、日本の方が安いかもしれない
  • MTurkは、一部のタスクは品質が低かった
    • 特に画像アップロードタスクは、Google Image Searchの結果を貼り付ける人が多い。。

CrowdWorks の Worker は誰？

  • アンケートで調べてみた（財布の都合で50人対象）
  • 年齢層
    • 30代 17人
    • 40代 17人
    • 50歳以降 9人
    • 20代 7人

Workerの住んでいる場所

  • 関東 19人
  • 中部 10人
  • 近畿 7人
  • 九州・沖縄 4人
  • 四国 3人
  • 東北 3人
  • 北海道 3人
  • 中国地方 1人

Workerの職業

  • 会社員・会社役員 13人
  • 自営業 11人
  • 無職 10人
  • 専業主婦・主夫 9人
  • その他 6人
  • IT系会社員・会社役員 1人

CrowdWorks の Workers

  • 会社員・自営業が多い
    • MTurkに比べ、無職、専業主婦・主夫が多い印象
  • MTurkと同じく都市部の人が多い
  • 30〜49歳が多い

CrowdWorks のタスク設計

  • UIは使いやすく、簡単にフォームを作れる
  • APIは無く、MTurkのように任意のUIからデータを保存できない
  • 仕方が無いので、DynamoDBに保存するようにした

タスクの相場観

タスクの相場観2

タスクの相場観3