诡秘之主吧 关注:232,611贴子:4,702,590
  • 1回复贴,共1

趋向于最大化扭曲愿望的灯神

只看楼主收藏回复

不就是人工智能么,各种反乌托邦小说里最可怕的那种。


IP属地:湖南来自Android客户端1楼2019-11-28 10:10回复
    《哈利波特与理性之道》的作者,人工智能研究者Eliezer Shlomo Yudkowsky在某次访谈里提过一个写作计划。——这人本职是做人工智能伦理研究的,希望找出让未来的人工智能对人类抱有善意的办法——
    然后他打算写本小说,描述一个被束缚的灯神,永远趋向于以造成最大化破坏的方式扭曲愿望,许愿者必须在描述愿望时附加精确的限制条件,才能保证愿望真正实现且不造成恶果。比如,你许愿一道数学难题的解答,灯神可能会调用全世界的算力来计算,造成网络瘫痪。或者开始动工数座自动工厂,制造把周围物质自动转换成计算机元件的自动机器人。
    他打算把这本书写出来,然后在读者评论里找更多研究的灵感


    IP属地:湖南2楼2019-11-28 10:19
    回复