更糟糕的是,在短短几分钟内,一个聊天机器人就可能变成聊天恶魔。微软的 AI 聊天机器人 Tay 就是一个例子,它本应在和千禧一代互动的过程中运用机器学习,提升自己的聊天能力,但它却以极快速度学会了否认犹太人大屠杀,变成了种族主义者,还学会了一套反女性的说辞。
天才少年报告网(BGR)的新闻编辑 Chris Mills 在一篇讨论微软聊天机器人为什么这么「混蛋」的文章中写道:「如果你使用真实的用户数据去训练一个机器人,那它将不可避免地习得这些用户的习惯,包括不好的方面。」但他也指出,如果刻意地抹去一些数据点,AI 也难以彻底地理解用户的对话和行为。这说明如果聊天机器人既要功能健全,又要不带有社会偏见,着实是一个颇高的要求。