机器之心报道
编辑:蛋酱
有些公司成立之初即引起轰动,有些公司的首次亮相却令人大跌眼镜,Genderify 属于后者。
AI 可以通过用户名分辨性别吗?
能,但是水平有限,还请多担待。
最近,一款名为「Genderify」的 AI 性别识别平台引起了大家的注意。这款产品宣称使用一种简单、快速、独特的 AI 技术,让用户直接输入名称或者电子邮件地址,即可获取性别判断结果。
开发人员称,这款产品的目标在于帮助人们更好地了解性别特定(GenderSpecific)方面的需求。该技术也可轻松集成到现有系统内,例如注册表单、CRM 和 ERM 等。
因此,在这款产品上线的第一时间,很多用户就率先冲了上去,想要试用这个新功能。但没有想到,就这么猝不及防地翻车了。
如果在 Genderify 中输入 Meghan Smith,评估结果为「男性 39.6%,女性 60.4%」;将名称更改为「Dr. Meghan Smith」,结果变为「男性 75.9%,女性 24.10%」。
「Meghan Smith」是女性,但「Dr. Meghan Smith」就变成了男性?同时,以「Dr」为开头的其他名字也会产生向男性倾斜的相似结果。
图源:推特用户 @jpdoane。
输入「scientist」,评估为男性的结果概率高达 95.7%:
有人输入 Oprah,结果显示 78.3% 是男性,但人们最熟悉的「Oprah」是一名女性:脱口秀主持人 Oprah Winfrey。
如果先是输入「Yifat shalk」,结果会显示 94.4% 为男性,再换成只输入「Yifat」的话,这个比例就降到了 78.6%。
这位用户表示:「我感觉是,AI 在不知道该如何判断的时候,就会默认为男性。」这样的判断方法,约等于「不会的选择题就选 C」。
有人将 Genderify 首席运营官的名字填进检索框,结果依旧令人尴尬:无论怎么看,Arevik 都不会是一名男性,即使评估结果的比例高达91.2%。
事实证明,推特也是个男孩子。
图源:推特用户@BenjaminEHowe。
人工智能系统中的性别偏见并不是一个新鲜的话题,至少很多人都了解它的存在。但 Genderify 判断结果的离谱程度还是让业内震惊了。
人工智能社会影响研究机构、纽约大学 AI Now 的联合创始人 Meredith Whittaker 在推特上呼吁:「我们都被异化了吗?」
这种带有严重偏见的 AI 系统存在许多隐患,比如将该服务集成到医疗对话机器人中之后,算法对于用户性别判断的失误可能会导致完全偏离的医疗建议。尽管该产品的创造者 Arevik Gasparyan 只是将其定义为「助力营销数据分析」方面的工具。
所以上线不久后,Genderify 就引发了社交媒体平台的强烈抗议。
「这个产品太糟糕了,请中止。」
「删掉这条推文,删掉这款产品,删掉这家公司。」
最终,Genderify 不得不选择关闭了网站,目前已无法访问。
不仅原推文被删除,账号也直接注销。
上线 24 小时就下架,Genderify 的产品生命周期似乎也过于短暂了。
参考链接:
https://twitter.com/genderify/status/1282688200675401730
https://www.theverge.com/2020/7/29/21346310/ai-service-gender-verification-identification-genderify
来源:oschina
链接:https://my.oschina.net/u/4334817/blog/4461322