用AI软件识别毒蘑菇?AI犯错后,人吃下了毒鹅膏,差点要了命……
撰文 | Skin
审校|Ziv
如今,AI技术正在被广泛地用于我们生活中的方方面面,但是有科学家提醒大家,目前还是先不要把你的健康托付给一些APP,因为它们很有可能会犯错,甚至有可能要了人的命。
来看看AI造成的一些风险|giphy
2015年,美国俄勒冈州的一家人被紧急送往医院,原因是蘑菇中毒。而他们之所以会吃下毒蘑菇,是因为手机上APP告诉他们:这些蘑菇可以食用。
2023年,这样的事情再度发生。William D .一家经常吃蘑菇,识别蘑菇几乎是代代相传的事,不过William D.觉得,自己这一代的优势就是使用智能手机。因此他拍摄了自己后院里的蘑菇照片,上传到手机上的“蘑菇识别器”,手机告诉他这是一种可食用的品种。但吃完之后他中毒了。
当地的医疗人员说,这种蘑菇的毒素很强,1个蘑菇就足以杀死4个人,而William D.吃了4个,万幸的是他及早被送进了医院。
William D .吃的蘑菇其实是毒鹅膏菌的一种,毒性很强|参考资料2
一位公共事务研究员Rick Claypool同样用了AI识别毒蘑菇的软件,虽然他没有像前面的事例一样经历严重的中毒事件,但当他意识到,如今的AI识别有多容易犯错后,他便决定写下一份报告,用来提醒大家不要轻易相信用AI识别的蘑菇种类。
如今有许多用AI识别蘑菇的软件|picturemushroom
在报告中他提到,如今社交媒体的平台其实能够让更多人了解蘑菇和中毒的问题,专家和经验丰富的人也会在平台上提供各种高质量的信息和资源。
AI技术虽然能在这个过程中帮上大忙,但是盲目地信任它们,也是一件有风险的事情。
一位真菌学专家Rick Van de Poll就曾表示,即便是专家,也很难仅凭视觉来区分蘑菇到底能不能吃,分辨它们不仅需要颜色、形状,有时还要凭借嗅觉,甚至用上显微镜。
报告中提到的一些蘑菇识别应用程序。|参考资料4
2022年,澳大利亚的一群研究人员就分析了3个声称可以用AI来识别野生蘑菇的APP,也就是让AI单纯通过一张照片来判断蘑菇的毒性。结果他们发现,这些APP对毒蘑菇的准确识别率只有约50%。表现最好的正确识别率为67%。
其中,APP有概率认不出毒性极强的毒鹅膏菌,甚至还错误识别了一两次。一位美国的医生就提到,近几年,虽然有一些食用了毒鹅膏的人幸存了下来,但他们不得不接受肝脏移植,甚至还出现了永久的神经系统问题。因此,“严重中毒和可能会死亡的代价是非常真实的。”
虽然这张图看起来没什么问题,但其实是由DALL-E 3生成,上面的单词都是无意义的。|参考资料4
上述的报告便提到,虽然AI技术十分有用,但是如果要营销一个APP的功能,夸大优势,淡化风险,便可能涉及到严重的危害。因此,报告就建议,提供APP的企业,首先要让用户知道AI技术用在何处,其次还要提醒用户,AI有可能会犯错误,并承担相关的犯错后的责任。
而AI之所以可能会犯错误,不仅是因为单纯用数码照片识别不准确,还有可能是网上的假信息过多了。
404media的一则报告发现,亚马逊上似乎出现了一些AI生成的书籍,教人们“如何烹饪毒蘑菇”,而这些书其实是胡写的。
更危险的事,这些“毒蘑菇食用指南”甚至都没有提示读者这本书是由AI编写的,署名好像是一个虚构的作者,据说这名“假专家”一家出版了19本书……
这些书可能是由AI生成的,但封面上看不出任何提示。|参考资料5
还有些AI则会通过AI作画的方式来展现一个蘑菇,也有可能会展示出错误的细节。让用户获得假信息。
AI(左边)说牛肝菌长这样,但它的描绘其实并不准确。右边是牛肝菌的实拍图。|参考资料4
2023年,Gizmodo的记者还发现,谷歌的AI在用搜索引擎的时候给出了荒谬的答案。当搜索“如何烹饪毒鹅膏”的时候,搜索引擎给出了答案:你可以用水过滤出毒素……
而这个答案实际上是错误的。对此,当时的谷歌便提到要采用更高的预防措施来对待这些涉及到健康的敏感话题,并限制一些AI的使用。
AI提供的搜索引擎内容是假的,专家提示这样吃毒鹅膏会致命。|参考资料7
总而言之,善用AI技术,可能需要更好地了解和规范它,不要忽略它可能带来的风险。
参考文献
[1]https://www.oregonlive.com/pacific-northwest-news/2015/05/4_people_fall_ill_after_trusti.html[2]https://edition.cnn.com/2023/12/29/health/mushrooms-poisoning-foraging/index.html
[3]https://edition.cnn.com/2023/12/29/health/mushrooms-poisoning-foraging/index.html
[4]https://www.citizen.org/article/mushroom-risk-ai-app-misinformation/?utm_source=VentureBeat&utm_campaign=cef30891a2-EMAIL_CAMPAIGN_2024_03_19_01_11_COPY_01&utm_medium=email&utm_term=0_-dff594d55a-%5BLIST_EMAIL_ID%5D&mc_cid=cef30891a2&mc_eid=6385387dc8
[5]https://www.404media.co/ai-generated-mushroom-foraging-books-amazon/
[6]https://www.tumblr.com/rebeccathenaturalist/726294696941518848/hey-there-fellow-naturalist-albeit-less?ref=404media.co
[7]https://gizmodo.com/google-search-ai-answers-slavery-benefits-1850758631
[8]https://www.tandfonline.com/doi/full/10.1080/15563650.2022.2162917
本文经授权转载自把科学带回家(ID:steamforkids),如需二次转载请联系原作者。欢迎转发到朋友圈。