机器人三大原则（今天在沪表决通过）

02

人工智能的迅猛发展，正深刻地改变人类社会。

早在1942年，著名科幻小说家阿西莫夫在《环舞》中提出了“机器人三原则”。第一法则：机器人不得伤害人类。第二法则：服从人类的命令。第三法则：尽可能保护自己。

作为引领未来发展的战略性技术，人工智能的法律边界在哪里？立法者是否也能如阿西莫夫一样制定一个“机器人三原则”？

今天（22日）上午，市十五届人大常委会第四十四次会议表决通过了《上海市促进人工智能产业发展条例》。条例于10月1日起实施，这是人工智能领域的首部省级地方法规。

市人大常委会法工委主任阎锐表示，此次立法立足于促进法的基本定位，注重创新性和引领性，充分发挥有效市场和有为政府的作用，采取各种激励措施推动人工智能产业高质量发展。这也是上海继《上海市数据条例》后的第二部数字经济领域地方法规，将有力支撑城市全面数字化转型，助力建成具有国际影响力的人工智能“上海高地”。

这是一部产业促进立法

美国学者约翰·弗兰克·韦弗2013年出版了《机器人是人吗》一书，该书提出了人工智能时代一个非常重要的命题，当人工智能的独立决策达到相当高度时，谁该对其行为负责？是否需要赋予人工智能有限的法律人格？

值得注意的是，此次立法的名称不叫“人工智能条例”，而是“促进人工智能产业发展条例”，立足点是促进产业发展。“从国际上看，目前还没有一个单独对人工智能进行立法的国家，因为人工智能立法太难、太新了。”市人大财经委立法监督处处长张震说。

比如，机器人是否属于智能人，该承不承认它的法律地位，目前还没有任何一位科技专家说得清楚；再比如，人工智能技术会产生行为后果，在设计自动驾驶系统时，如果在紧急情况下不得不发生碰撞，系统应选择保护车上的人还是保护路人？

“这些问题都值得探讨，但这不属于地方立法权限，在地方立法层面是很难针对‘人工智能’进行规制的。”张震表示。

虽然“人工智能”本身难以规制，但人工智能的产业已经蓬勃发展起来了。所以，上海这部法，抓住人工智能产业刚刚崛起的这一战略机遇期，从产业促进的角度予以立题，是一部产业促进立法。

允许试错的“科学家条款”

数据显示，上海人工智能产业规模近年来持续壮大，2021年人工智能规上产值3056.8亿元，同比增长17.2%，是2018年的2.28倍；人工智能赋能百业的价值红利正加速显现。上海的愿景是，力争到2025年，基本建成更具国际影响力的人工智能“上海高地”。

人工智能作为新兴的产业领域，创新是其突出的特点。审议中，委员们认为，作为一项产业促进立法，应该鼓励科技创新，给予各类研发机构和市场主体充分的创新空间。

记者注意到，此次立法专设“激发创新活力”的规定，鼓励市场主体积极创新，并明确有关部门要根据人工智能的特点对相关的监管规则、标准进行相应地制定、修改或废止，建立人工智能领域轻微违法行为免罚清单，从而最大限度地激发创新活力。

阎锐表示，对于人工智能等处于探索发展阶段尚未定型的新业态新模式，需要创造具有灵活性、包容性的发展环境，允许一定的制度探索和试错空间。

“这是一条科学家条款。”张震表示，此前市人大赴上海人工智能研究院、上海期智研究院进行立法调研，从事AI研究的科研工作者最大的苦恼是，“没有任何一个机构，任何人，能够告诉我们能够做什么，不能做什么，往往是事情做好披露以后，才有人告诉我们，你们这个做错了！”

建人工智能领域轻微违法行为免罚清单，就是对科学家顾虑的一个有力回应。如果人工智能促进法不能给科学家解绑的话，人工智能产业的创新活力也将很难激发。

保障中小企业获得普惠的公共算力

数据、算法、算力是新一代人工智能发展的三要素，而算力不足是很多研发机构和中小企业在现实中遇到的瓶颈问题。

此前审议中就有委员建议，通过立法共同推进公共算力资源平台建设，通过提供易得、优惠、高效的公共算力支持，保障各类研发机构和中小企业等能获得普惠的算力资源。

记者注意到，条例明确，市经济信息化部门应当会同市发展改革、科技等部门制定公共算力资源供给办法，推动公共算力资源平台建设与利用，加强算力科学调度，通过算力奖励等方式，为人工智能技术与产业发展提供公共算力支持，保障中小企业获得普惠的公共算力。

上海条例与深圳相比一大亮点，在于其促进基础要素的流通、使用和运营，在此过程中推动相关主体的权益保护，从而更好地调动激发市场活力。阎锐表示，这次立法推动算法模型交易流通，加强对算法模型的保护；突出人工智能领域高质量数据集建设，扩大面向人工智能产业的公共数据供给范围。

记者注意到，这次立法思路对《上海市数据条例》有所借鉴。例如在人工智能资产评估方面，沿袭了数据条例中数据资产评估的思路，算法模型和算力资源的交易流通，也借鉴了数据交易与流通的规定，是对数据流通、交易、资产评估的衔接与突破。

设伦理专家委员会，明确行为底线

人工智能具备硬币的两个面：有利的一面，不利的一面。“在促进应用的同时，我们还要规避一个情况，就是AI可能对整个人类发展产生那种颠覆性的负面的那一面。”张震说。

人工智能具有技术属性和社会属性高度融合的特点，立法遇到的问题比如复杂，比如脑机接口能提升短期记忆力，却可能侵犯人格权；自动驾驶车辆遇上危险，算法该如何应对；外卖平台要兼顾好效率与骑手安全发展等。

立法者在发展和安全中间试图找到一个平衡点。在这部法规的审议中，一个频频被提及的议题是：如何在鼓励创新之余为人工智能划定应用边界？

记者注意到，此次立法兼顾人工智能产业发展与安全可控，明确人工智能产业发展相关行为底线，保障人工智能产业健康、安全发展。市经信委副主任张英表示，《条例》提出“以人为本、科技向善”发展原则，注重促进创新与防范风险相统一。一方面探索分级治理和沙盒监管，研究出台高风险人工智能产品和服务清单等。另一方面成立人工智能伦理专家委员会，促进人工智能产业在规范中发展，在发展中规范。

这也是此次立法的一大创新亮点，条例明确设立人工智能伦理专家委员会，发挥其在人工智能领域伦理规范方面的作用。其履行的职责包括制定伦理规范指南、推动参与国内外人工智能领域伦理重大问题研讨和规范制定;对涉及生命健康、公共安全等重点领域人工智能应用的潜在风险开展评估等。

立法确立了人工智能产品和服务的行为底线，明确相关主体开展人工智能研发和应用，应当遵守法律、法规规定，增强伦理意识，并不得从事相关禁止行为。比如禁止提供危害用户人身或者财产安全、侵害个人隐私或者个人信息权益的产品和服务；禁止利用算法技术实施价格歧视或者消费欺诈等侵害消费者权益的行为，实施垄断或者不正当竞争等行为等。