2月29日，奇安信对外发布《2024人工智能安全报告》（下称《报告》）。《报告》显示，2023年，基于AI的深度伪造欺诈暴增3000%，基于AI的钓鱼邮件增长1000%；已有多个有国家背景的APT组织利用AI实施了十余起攻击***。人工智能技术的恶意使用快速增长，在政治安全、网络安全、物理安全和军事安全等方面构成严重威胁。
2022年以后，以ChaGPT为代表的AI技术快速崛起，展现出的能力和效果震惊世界。《报告》认为，“AI是一种通用技术，通用就意味着既可以用来做好事，也可以用来干坏事”。具有巨大潜力的AI技术同时带来两大主要挑战：一是放大现有威胁，另一个是引入新型威胁。
《报告》研究了基于AI的深度伪造（Deepfake）、黑产大语言模型基础设施、利用AI的自动化攻击、AI武器化、LLM自身安全风险、恶意软件、钓鱼邮件、虚***内容和活动生成、硬件传感器安全等12种重要威胁，对其技术原理、危害情况、真实案例等进行了深入剖析，旨在让业界更全面的认识到AI普及带来的威胁和挑战。这些基于AI的新型攻击种类与手段不断出现，已经在全球造成了严重危害。
《报告》还认为，AI与大语言模型本身伴随着安全风险，业内对潜在影响的研究与重视程度仍远远不足。此外，因训练语料存在不良信息，导致生成的内容不安全，正危害国家安全，公共安全以及个人安全，这些都亟需业内高度重视和积极应对。
《报告》从安全行业、监管机构、政企机构、网络用户等群体角度，给出应对AI威胁的建议。其中安全行业需继续发挥能力优势，确保人工智能本身的安全性，并积极利用人工智能用于安全防护；监管机构需要对AI的潜在风险与影响保持持续关注，在制度和法规上及时提供支持；政企机构需及时部署AI安全框架和解决方案，以及AI安全评估服务和检测工具，还要依托AI推动安全升级；网络用户在尝试最新AI应用的同时，同样需要更新安全知识，形成良好的安全习惯。
奇安信安全专家认为，AI技术将会推动安全领域发生范式变革，全行业需启动人工智能网络防御推进计划，包括利用防御人工智能对抗恶意人工智能，以扭转“防御者困境”。
