上线24小时即下架,AI性别识别平台Genderify演绎大型翻车现场

可紊 提交于 2020-08-16 19:13:26

  机器之心报道

  编辑:蛋酱

  

有些公司成立之初即引起轰动,有些公司的首次亮相却令人大跌眼镜,Genderify 属于后者。

  

  AI 可以通过用户名分辨性别吗?

  能,但是水平有限,还请多担待。

  最近,一款名为「Genderify」的 AI 性别识别平台引起了大家的注意。这款产品宣称使用一种简单、快速、独特的 AI 技术,让用户直接输入名称或者电子邮件地址,即可获取性别判断结果。

  

  开发人员称,这款产品的目标在于帮助人们更好地了解性别特定(GenderSpecific)方面的需求。该技术也可轻松集成到现有系统内,例如注册表单、CRM 和 ERM 等。

  因此,在这款产品上线的第一时间,很多用户就率先冲了上去,想要试用这个新功能。但没有想到,就这么猝不及防地翻车了。

  如果在 Genderify 中输入 Meghan Smith,评估结果为「男性 39.6%,女性 60.4%」;将名称更改为「Dr. Meghan Smith」,结果变为「男性 75.9%,女性 24.10%」。

  「Meghan Smith」是女性,但「Dr. Meghan Smith」就变成了男性?同时,以「Dr」为开头的其他名字也会产生向男性倾斜的相似结果。

  

  图源:推特用户 @jpdoane。

  输入「scientist」,评估为男性的结果概率高达 95.7%:

  

  有人输入 Oprah,结果显示 78.3% 是男性,但人们最熟悉的「Oprah」是一名女性:脱口秀主持人 Oprah Winfrey。

  

  如果先是输入「Yifat shalk」,结果会显示 94.4% 为男性,再换成只输入「Yifat」的话,这个比例就降到了 78.6%。

  

  

  这位用户表示:「我感觉是,AI 在不知道该如何判断的时候,就会默认为男性。」这样的判断方法,约等于「不会的选择题就选 C」。

  

  有人将 Genderify 首席运营官的名字填进检索框,结果依旧令人尴尬:无论怎么看,Arevik 都不会是一名男性,即使评估结果的比例高达91.2%。

  

  

  事实证明,推特也是个男孩子。

  

  图源:推特用户@BenjaminEHowe。

  人工智能系统中的性别偏见并不是一个新鲜的话题,至少很多人都了解它的存在。但 Genderify 判断结果的离谱程度还是让业内震惊了。

  人工智能社会影响研究机构、纽约大学 AI Now 的联合创始人 Meredith Whittaker 在推特上呼吁:「我们都被异化了吗?」

  

  这种带有严重偏见的 AI 系统存在许多隐患,比如将该服务集成到医疗对话机器人中之后,算法对于用户性别判断的失误可能会导致完全偏离的医疗建议。尽管该产品的创造者 Arevik Gasparyan 只是将其定义为「助力营销数据分析」方面的工具。

  所以上线不久后,Genderify 就引发了社交媒体平台的强烈抗议。

  

  「这个产品太糟糕了,请中止。」

  

  「删掉这条推文,删掉这款产品,删掉这家公司。」

  最终,Genderify 不得不选择关闭了网站,目前已无法访问。

  

  不仅原推文被删除,账号也直接注销。

  

  上线 24 小时就下架,Genderify 的产品生命周期似乎也过于短暂了。

  参考链接:

  https://twitter.com/genderify/status/1282688200675401730

  https://www.theverge.com/2020/7/29/21346310/ai-service-gender-verification-identification-genderify

易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!