クラウドソーシングを用いてデータ収集をする方法

はじめに

被験者が必要な実験（正解ラベルの作成、精度の評価など）を行う際、

1. 頑張って知り合いを集める ＝＞ 2. urlを送る => 3. 謝金を払う

というプロセスを踏むと、どうしてもサンプル数に限界があり、またデータの内容が偏ってしまう（学生の比率がどうしても多くなってしまうため）

そこで、クラウドソーシングを用いて、アンケート集めることで、時間短縮+大量のサンプルの収集が可能になる。

参考文献

クラウドソーシングなんて使って大丈夫なの？精度は保たれるの？という問題はあるが、それ自体に関する研究も多々行なわれている。

• クラウドソーシングと機械学習
• 心理学研究におけるクラウドソーシングの利用
• 成果報酬によるクラウドワーカーの制御
• クラウドソーシングとヒューマンコンピューテーション

自身の考えとしては、精度に関しては、クラウドソーシングであろうが、学生実験であろうが変わらないと思うし、

研究倫理的にも、（大学の管理局に問い合わせたところ）問題ないらしい。（ただし、アンケートに含めるべき必要な文面は存在する）

手順

クラウドソーシングを用いてアンケート作成するための手順として、

1. アンケートを作成
2. クラウドソーシングを利用したURLの公開
3. クラウドソーシングを経由した謝金の支払い

というステップを踏む必要がある。

1. アンケートの作成

Qualtricsというサービスを用いた。

Qualtricsはアンケートの作成と集計を行ってくれるウェブサービス。

参照元：http://tasukuigarashi.com/qualtrics/

上記のサイトで、詳しく使い方をまとめてくれている。

無料アカウントだと、同時に集計できるのは１つのアンケートのみ、質問数は２０問と制限されているが、

有料アカウントだとこの制限がなくなる（ただし年間３万円ほどかかる・・・）

大切なポイントは

• はじめに、研究の主旨を説明し、同意を求める。
• アンケートの最後に、集めたデータの保護に関することを説明する。

の２点。
プライベートに関わる内容であればあるほど、この２点での説明が充実している必要がある。

2. クラウドソーシングを利用したURLの公開について

ランサーズを利用した。

ランサーズでは、プロジェクト方式、コンペ方式、タスク方式で仕事を設定することができるが、アンケートを行うなら、タスク方式での登録となる。

重要な点として、いかにして、アンケートに答えてもらったことを確認するのかという点だが、

自身は、

1. アンケートの最初でユーザーIDを入力してもらう
2. パスワードを乱数で発生
3. アンケートの最後でそのパスワードを表示
4. ランサーズ上でそのパスワードを入力してもらう

というプロセスを踏むことにした（これが果たして最適かはわからんが、他のタスクでもこのようなプロセスにしていた。）

ランサーズが使いやすい点は、

• アンケートに答えてもらう人の制限をすることができる（本人確認書を提出済みなど）
• 一部のユーザーをBANすることができる

の２点である。

この機能により、アンケートの質を保つことができる。

3. クラウドソーシングを経由した謝金の支払いについて

学生実験と比較して、高くつきすぎるのではないかという懸念があるが、そうでもない。

安くするのはどうかと思うが、こちらで料金の設定をすることはできるし、

懸念としては、振り込み手数料がかかることくらい？（一回で５００円）

結論

気になる精度だが、どのユーザーもかなり丁寧に作業してくれる。（むしろ学生よりもちゃんとやってくれるのではないかというくらい）

ただサンプルとしては、主婦の人が多いかな？という点はある。

もし被験者層を限りたいなら、工夫が必要かも・・・

そして何より、早い！！

学生実験で、頑張って人を集めて、期間を２週間に限ってやってもらうという計１ヶ月かかるタスクが、

ほんの１日（量にもよるが）で完了する！！

時間が限られている中で、しかもトライアンドエラーが必要な場合は、なおさらありがたい。

というわけで、これからもどんどん使っていこう！！という結論で。