Question

我正在执行一个网站,招聘的MTurk工人将在那里执行任务,我计划利用MTurk的任务招聘工人,我将用该网站将他们转到外部网站,以便实际工作。

这种管理高跟踪系统的做法有可预见的问题吗?如果有,我们如何减轻这些问题?
我应如何在我的外部网站上执行认证程序?例如,我如何确保前来网站执行“强”具体任务
当工人完成这项任务时,我应该如何根据他们的表现将支付程序与MTurk结合起来? 比如说,在完成我外部网站的任务后欠工人3美元,我是否可以告诉MTurk按计划支付这笔金额?

如果细节重要,将使用Python建造外部网站。

请各位根据在使用MTurk方面的经验和洞察力提出任何建议和评论!

Answer 1

我想到一个类似的项目。我曾经作为工人尝试过。这是我的计划,我希望对你们有用。(我还没有执行,这是基于我作为工人参与的学术性HIT。 )下面是:

A. 创建含有语言的模板,例如:

1. Please open this web site in a new browser window:
   http://your-url.xyz.blah/tasks/${token}
2. Read and follow the instructions there.
3. After completing the task, you will receive a confirmation code. Paste 
   it here: [________]

B. 为您的 Mechnical Turks 数据文件创建一些随机标记 :

1A1B43B327015141
09F49F2D47823E0C
B5C49A18B3DB56F4
4E93BB63B0938728
CCE7FA60BFEB3198
...

(从您的应用程序中创建这些标记; 它需要交叉引用它们。 )

C. 您的应用程序从 URL 中提取了标记, 查看了任务, 并做了它需要做的一切。我个人不担心有人会踩在 URL 上, 因为这是一个一次性的标记。

D. 在用户完成外部网站的任务后,外部应用程序给出确认代码。确认代码应该是随机的,不透明。只有您的应用程序才能知道任何特定代码是否对应正确或不正确的答复。事实上,如果您愿意,正确性甚至不能实时确定 -- -- 这可能是对多个提交文件进行汇总和(或)比较的结果。

E. 写入一些程序互动代码。使用 MTurk 结果提供的代号及确认代码, 并确保它们与您的外部应用程序匹配。如果它们不匹配, 拒绝 HIT 。如果它们匹配, 检查外部应用程序的正确性, 批准或拒绝。您可以考虑奖金结构。

因此,回答你的具体问题:

我不料到我所描述的方法会有问题。也就是说,机械土耳其既是艺术,也是科学。也许更多。写好问题和适当付钱给土耳其人是必须用常识、市场研究和实验相结合的方法解决的。
见上文(C) 。标记只设计一次使用。使用足够长的标记, 碰撞概率非常低。
见上文(E)。机械土耳其开发者指南是一个良好的起点。

或者让突厥人寄上百张明信片。

注:

我正在研究资格测试我怀疑它们会很有用
我想在外部应用程序中找到一个突厥工人身份, 但我还没有想出这部分。我读了一下, 例如 : < a href="https://stackoverflow.com/ questions/4 5221846/getting-workerid-by-travelid" >
我正在考虑使用API的外部问题 :“......你可以用一个“外部”问题在自己的网站上主持问题。......一个带有外部问题的HIT在Worker网站浏览器的框架中显示您网站的网页。您的网页显示工人填写和提交表格的表格。工作人用您的表格提交结果,而您的表格则将结果提交回机械土耳其。您的网站显示表格可以控制您的网站如何出现问题以及如何收集答案。

Answer 2

您也可以发现< a href=> https://github.com/johnmcdonnell/psiTurk> > PsiTurk 有用 : “ PsiTurk 是亚马逊机械土耳其岛进行习惯性商业实验的开放平台。... 它旨在提供运行实验所需的大部分后端机器。它使用 AMT s 外部问题 HIT 类型, 这意味着您可以使用任何网站收集数据。只要您可以将实验变成网站, 您可以使用 PsiTurk 运行!

友情链接