在西安，一场别开生面的大模型安全学术沙龙近日成功举办，该活动由腾讯云安全云鼎实验室、西安智能系统安全重点实验室及LLM&Sec Landscape社区携手呈现，以“模型有界，安全无疆”为主题，融合了音乐、黑客文化与学术探讨，吸引了300多位来自不同领域的专家、安全研究者、高校师生及业界人士。
本次活动旨在通过跨界形式，深入探索大模型安全的核心议题。目标聚焦于三大方面：技术层面的突破，旨在讨论并解决大模型安全的关键问题，分享最新的研究成果与实战经验；生态共建，意在打破产学研之间的壁垒，推动技术标准与防御体系的协同创新；以及人才赋能，分析AI时代对安全人才的需求，探索校企合作培养的新模式。
在活动中，绿盟天元实验室的高级安全研究员祝荣吉，以《LLM应用安全问题与应对实践探索》为题，详细解析了大模型在选型、开发、部署阶段面临的安全挑战，并通过实际案例，提出了一系列有效的防护策略。他强调，在模型选型时，合规性与安全评估至关重要；在应用开发阶段，需注重提示词安全策略；而在部署阶段，则需结合传统网络安全技术，加强LLM应用的整体防护。
西安电子科技大学博士吴子辉则聚焦于大模型API服务中的函数调用接口，揭示了潜在的安全漏洞。他通过实验证明，主流大模型在生成函数调用参数时可能存在漏洞，攻击者能诱导模型生成危险参数。对此，吴子辉的团队提出了包括参数安全过滤、提示词防御及安全对齐训练在内的解决方案。
京东蓝军-白鵺攻防实验室的安全研究员Knight，基于ExpAttack框架，提出了构建“大模型越狱第二大脑”的创新思路，旨在通过大模型技术解决自身的安全问题。他指出，当前大模型安全领域面临诸多挑战，如信息过载、风险变化迅速等，为此他提出了“CODE构建法”，通过捕获、结构化、提炼、表达四个环节，构建一个高效的“第二大脑”，以应对大模型越狱等安全挑战。
云起无垠模型安全研究的负责人刘洋，剖析了大模型在真实场景中的安全风险，指出传统漏洞与AI交互结合，衍生出了全新的攻击面。为应对这些威胁，他建议构建AI原生安全体系，实施最小权限原则，隔离敏感数据，并动态升级防御策略。
在活动的圆桌讨论环节，多位专家围绕“AI时代网络安全人才发展机遇与挑战”展开了深入对话。他们一致认为，随着AI技术的快速发展，构建全面且系统的治理体系已迫在眉睫，建议通过威胁建模、合规翻译及持续验证等技术手段，确保AI系统在遵守伦理与合规底线的同时，推动人工智能行业的健康、有序发展。
