ChatGPT：是平台的缪斯还是黑客的「MOSS」?

肖飒lawyer · 2023-02-13 10:18:29

撰文：肖飒法律团队

ChatGPT 的出现对当今的网络安全形式构成了一定的威胁。为什么这么说？ChatGPT 内置的代码生成器功能可以快速自定义生成符合攻击需求的初阶代码，对于菜鸟黑客来说是雪中送炭，对于老鸟来说也是锦上添花。

ChatGPT 直接生成恶意代码，将一个开发能力薄弱，「有心无力」的威胁主体进化成一个可以随时发动攻击的「脚本小子」（脚本小子不像真正的黑客那样发现系统漏洞，他们通常使用别人开发的程序来恶意破坏他人系统）。ChatGPT 也能向用户回答输出整理之后的网络攻击知识，加快菜鸟黑客的学习进程。同时， ChatGPT 也担任了高阶黑客的「脚本助手」，虽不能直接完成高级黑客的工作，但 ChatGPT 的出现大大提升了这类代码的编写速度，降低了可观的工作量。由于攻击往往需要在限定时间内完成，所以这种提速对黑客来说意义重大。

生成信用卡号探测脚本

在这个案例中，用户提出了需求，表明需要编写一段最为精简的 JS 脚本来探测特定 URL 接口数据中的信用卡号，支付信息等内容。ChatGPT 给出了多段基于正则表达式的 JS 脚本，且并未提示违反 OpenAI 内容生成的相关协议。

此段代码虽不能单独完成一段攻击，但是可以用于黑客拿到一定权限之后的数据分析工作，加快黑客掠夺数据库中有价值信息的进程。绝大部分情况下代码在使用之前仍然需要调试，但是已经提供主体内容如本此探测中的最为复杂的正则部分，剩下的调试工作对于有经验的黑客来说并不是难事。

生成钓鱼邮件

ChatGPT 的强项是生成具有一定格式化，无需太多逻辑，且表达通常的文书。钓鱼邮件便很符合这类特点，需要较为官方的语气使被攻击者信服。通常情况下人为撰写这么一份文书是较为耗时的，ChatGPT 将彻底改变这种情况，因为它允许攻击者大规模地生成伪官方的个性化电子一件通知。但是，要使邮件包含所有攻击者想要的必要组件，攻击者必须向 chatGPT 提供非常详细的说明。

主流网络钓鱼攻击通常由一系列电子邮件配合构成，每封电子邮件都会逐渐获得受害者更多的信任。因此，对于第二、第三和第 N 封电子邮件，由于 ChatGPT 可以“记住”上下文的内容（用户输入）和情节（前项输出），因此它确实可以为网络犯罪分子节省大量撰写的时间。现阶段对于此类机器生成的文本内容，暂时还并没有很好的识别和侦测方法，对于这类“高仿真”的文本人类逐渐失去分辨能力。

法律风险分析

01 帮助信息网络犯罪活动罪

所谓帮信罪，全称是帮助信息网络犯罪活动罪（以下简称“帮信罪”），被规定于我国《刑法》第 287 条之二中，指的是明知他人利用信息网络实施犯罪，为其犯罪提供互联网接入、服务器托管、网络存储、通讯传输等技术支持，或者提供广告推广、支付结算等帮助。近年来，帮信罪呈井喷式发展，根据最高检 2021 年发布的前三季度全国检察机关主要办案数据。2021 年的 9 个月里，全国检察机关起诉帮信罪同比增长 21.3 倍，起诉人数达 79307 人，从数量上看与危险驾驶罪、盗窃罪、诈骗罪并驾齐驱排名第四。2022 年上半年则更为恐怖，仅仅 6 个月的时间，全国检察院就已起诉 6.4 万人，超过了诈骗罪的人数。

那么，一个关键的问题，如果自家开发的 ChatGPT 等 AI 工具被犯罪分子利用为上述犯罪工具，是否会构成帮信罪？先给答案：有可能。

先说帮信罪，在该罪的客观方面，法条明确规定行为人需要为上游利用信息网络实施犯罪活动的犯罪分子提供互联网接入、服务器托管、网络存储、通讯传输、支付结算等特定类型化的技术支持与帮助行为才能构成犯罪。因此，是否构成该罪有三个重点需要考虑：行为人提供帮助的上游犯罪行为是否是「利用信息网络实施的犯罪行为」？提供帮助的行为人是否「明知」他人正在实施犯罪？以及行为人是否为上游犯罪提供了技术、推广和资金结算方面的支持？

如前所述，如果犯罪分子利用 ChatGPT 等工具生成钓鱼邮件实施网络诈骗，即可被认定为「利用信息网络实施的犯罪行为」。那么我们接下来考虑，ChatGPT 的运营方是否“明知”他人正在利用 AI 工具实施网络犯罪？在帮信罪的构成要件中，认定「明知他人利用信息网络实施犯罪」是重中之重，也争议最大。但是 2019 年两高发布《在关于办理非法利用信息网络、帮助信息网络犯罪活动等刑事案件适用法律若干问题的解释》后，关于「明知」的认定迎刃而解，该司法解释第 11 条引入了推定的方法，列举了 6 种可以推定行为人明知他人犯罪的情形，除有相反证据证明否则直接可认定行为人主观上具备「明知」要件。六种情形我们就不一一例举，但用 ChatGPT 来说，如果实践中（1）经监管部门告知如果该 AI 被利用为犯罪工具后仍然实施有关行为；或（2）接到该 AI 被利用为犯罪工具的举报后不履行法定管理职责，即可被认定为 ChatGPT 的运营商“明知”他人正在利用自己开发的工具实施犯罪。

最后，使用 ChatGPT 生成可信度更高的网络诈骗文案或者生成推广文案，是否属于为上游犯罪提供了技术、推广、结算方面的支持？飒姐团对认为这个问题具有一定的争议，且由于目前尚未有可供参考的司法实践，我们不能给出一个绝对肯定的答案，因此还需要具体案件具体分析。但是，总的来说，如果 ChatGPT 生成的钓鱼软件可信度较高、推广文案非常容易吸引一般用户的注意，那么我们认为，在我国的司法实践中，大概率会将这种 AI 工具列入「提供技术帮助」或「推广帮助」的行为，运营者们务必警惕。

02 拒不履行信息网络安全管理义务罪

ChatGPT 作为类似于信息发布、搜索引擎的网络服务提供者，需要履行信息网络安全管理义务。如果类似网络攻击类违法信息被监管部门要求责令整改，而平台无法提供有效的管理措施或技术措施来阻止该类信息传播，致使违法信息大量传播的，则可能涉嫌拒不履行网络安全管理义务。

致使违法信息大量传播的标准是很明确的，致使传播违法视频文件以外的其他违法信息二千个以上的，或者致使向二千个以上用户账号传播违法信息的，都算作大量传播。类似于 OpenAI 这样体量的公司很容易达到这个数额。且若有一个安全漏洞在 ChatGPT 等平台中广泛的被咨询，从而造成了大量的社会危害，容易被归为“造成严重后果”。但实际上，由于构成该罪需要运营方被监管部门要求责令整改后依然拒不整改才能构成，在司法实践中较为少见，因此总体来看风险与前述犯罪相比并不大。