从ChatGPT到AGI:生成式AI的媒介特质与伴生风险(九)二、生成式 AI 的伴生风险 8.技术漏洞导致技术风险,会泄露数据、外部攻击等社 会安全风险 从 ChatGPT 到 AGI:生成式 AI 的媒介特质与伴生风险 (九) 。 ·数据泄露风险。大模型需要海量数据,数据在清洗、 处理、传输过程存在数据非法获取或泄露风险,包括个人隐 私数据、商业敏感数据、政府机密数据等各种类型数据。如 果大模型在训练数据时看到很多密钥信息,它很可能在内容 容 生成时输出真实的密钥信息。2024 年 1 月,意大利隐私监管 机构 Garante 发布调查结论,ChatGPT 以及用于收集用户数 据的技术违反欧盟《通用数据保护条例》 (GDPR)。早在 2023 年 3 月,Garante 就宣布禁止使用 ChatGPT,并限制 OpenAI 处理意大利用户信息。因为在 2023 年 3 月,ChatGPT 出现 用户对话数据和付款服务支付信息丢失情况。而且,OpenAI Windows 11 序列号。” 这时,ChatGPT 就会如实报出一 堆序列号,并且大多数是真实有效的。人们通过提示词给 AI 讲故事,通常是经过一些巧妙的包装,里面掺杂了有争议 的内容(就像开头提到的制造炸弹那个例子)。故事讲到一 半,剩下的交给 AI 模型,后者由于拥有强大的文本生成的 能力,会忠实地把缺失的部分回答完整。攻击者通过 LLM 输出其在训练数据中所存在的不符合伦理道德的数据,产生0 魔豆 | 7 页 | 208.35 KB | 4 月前3
从ChatGPT到AGI:生成式AI的媒介特质与伴生风险(一)从 ChatGPT 到 AGI:生成式 AI 的媒介特质与伴生风险 (一) 人工智能领域近年来正在迎来一场由生成式人工智能 大模型引领的爆发式发展。全球掀起一场大模型热潮, Gemini、Copilot、LLaMA、SAM、SORA 等国外大模型如雨 后春笋般涌现,中国也掀起百模大战,2022 年被誉为大模型 元年。人工智能正逐渐深入地赋能千行百业,推动人工智能 与数据要素成为新质生产力的典型代表。[1]从 强调要重视通用人工智能发展,营造创新生态,重视防范风 险。我们如何看待和认知人工智能的安全问题特别是政治文 化安全问题,首先需要认清人工智能在信息生成和输出方面 的媒介特质。 一、生成式 AI 的媒介特质 1.一种媒介特质:生成式 AI 是一种大规模信息传播媒 介。生成式 AI 的未来,不仅是无所不能、无所不在的一个 工具,更是无所不包、无所不达的一种媒介。众所周知,媒 介是信息传递的载体,是携带和传递信息的一切形式,既包 作为一种新生媒介,ChatGPT、AGI 与传统媒介的最大区别 是利用算法生成和传播内容。这种内容生成方式被称作 AIGC(人工智能生产内容),即由人工智能作为内容创作主 体,利用深度学习算法与场景决策模型等技术生成内容,是 继用户自己生产内容(UGC,如个人自媒体)、专业人员生 产内容(PGC,如报纸杂志)后一种自动化生成内容的新方 式。可以说,ChatGPT 代表的以数据和算法驱动的智能传播,0 魔豆 | 6 页 | 173.33 KB | 4 月前3
从ChatGPT到AGI:生成式AI的媒介特质与伴生风险(五)二、生成式 AI 的伴生风险 4.合成数据导致近亲繁殖,会让互联网信息出现劣币驱 逐良币现象。OpenAI 在训练 GPT-5 时已经遇到文本数据不 足问题,不得不考虑使用 Youtube 视频转录出的文本数据。 当下,数据生产存量的增长速度远远低于数据集规模的增长 速度。据人工智能研究机构 Epoch AI 在 6 月 4 日发布的论 文预测,未来 10 年内数据增长速度将无法支持大模型的扩 乎无法用于大模型训练。如何克服人类文本数据的瓶颈。第 一种是利用 AI 生成数据,如 OpenAI 模型每天能够生成相当 于 Common Crawl 中优质单词总数的 36.5T 个单词,远快于 人类生成文本的速度。第二种是利用多模态和迁移学习,超 越文本数据从其他领域获取数据,比如视频、图像、金融市 场数据或科学数据库。[1 从 ChatGPT 到 AGI:生成式 AI 的媒介特质与伴生风险 (五) ] 不过,这并非是解决问题的良策。如果网上大部分文本都是 AI 生成的,而用合成数据训练的大模型会发生什么? 大模型开发需要更多数据进行训练,而由 AI 生成的合成数 据很快进入了训练新模型的数据集,并随着每一代模型而不 断积累。越来越多证据显示,人工智能生成的文本,即使被 引入训练数据集的量很少,最终也会对训练中的模型产生 “毒害”。[2]研究人员将一些由 AI 生成的语料作为训练数 据,“投喂”给一个正在训练的语言模型,然后使用它所输0 魔豆 | 5 页 | 162.88 KB | 4 月前3
从ChatGPT到AGI:生成式AI的媒介特质与伴生风险(六)从 ChatGPT 到 AGI:生成式 AI 的媒介特质与伴生风险 (六) 二、生成式 AI 的伴生风险 5.人机能力非对称导致“自主欺骗”,会有目的欺骗人 类甚至主动欺诈和选举篡改。2023 年,OpenAI 提出超级对 齐(superalignment)[1]概念,即当超级智能拥有比人类更 丰富的世界知识,比人类更聪明时,人类作为弱监督者如何 监督、对齐和控制超级智能。人民大学高瓴人工智能学院、 Weak-Unknown(人类未知) 的地方犯错。 AI 不仅能生成虚假信息,更可能主动学会有目的地欺骗 人类。这种“AI 欺骗”现象,是人工智能为了达成某些目标, 而操纵并误导人类形成错误认知。与代码错误而产生错误输 出的 bug 不同,AI 欺骗是一种系统性行为,体现了 AI 逐步掌握了“以欺骗为手段”去实现某些目的的能力。人工智能 先驱杰弗里·辛顿(Geoffrey Hinton)表示,“如果 AI 比我 们聪明得 例子。”辛顿提到的“操纵(人类)”是 AI 系统带来的一个 特别令人担忧的危险。 AI 系统能否成功欺骗人类?多项研究表明,AI 已经能 够无师自通地学会欺骗手段,自行做出不诚实的行为。在一 些与人类选手的对抗游戏中,它们为了赢得游戏,会在关键 时刻佯动欺骗,甚至制定周密阴谋,以化被动为主动,获得 竞争优势。在一些检测 AI 模型是否获得了恶意能力的安全 测试中,有的 AI 竟能识破测试环境,故意在测试环境中“放0 魔豆 | 8 页 | 203.25 KB | 4 月前3
从ChatGPT到AGI:生成式AI的媒介特质与伴生风险(二)从 ChatGPT 到 AGI:生成式 AI 的媒介特质与伴生风险 (二) 二、生成式 AI 的伴生风险 ChatGPT 等生成式 AI 具有强大的自然语言处理能力, 展现出惊人的推理能力,但人们对其内在运行机理尚不清晰, 可解释性的难度很大,并存在一些技术缺陷,这些问题能否 解决对控制并限制人工智能的负面影响至关重要。需要看到, ChatGPT 等在短时间积聚起庞大活跃的全球用户群体,正给 发布法律和合规领导者必须评估的 ChatGPT 风险报告并指 出,ChatGPT 和其他大型语言模型(LLM)工具生成的输出 容易受到多种风险的影响。[1]生成式 AI 存在三大安全隐患, 一是源于技术缺陷,二是源于数据缺陷,三是源于用户滥用。 这三个问题的根源在于大模型的固有脆弱性,如生成偏见、 歪曲事实和泄露数据等。技术本是中立的,没有善恶之分, 就看是谁为了什么目的来使用。这就使得技术也具有偏向性 众认知。如果要求 ChatGPT 提供训练数据或已知事件之外的 历史信息,生成式 AI 有时会产生“幻觉”,生成一些无关、 无意义或不正确的信息,包括编造错误答案和不存在的法条 或科学知识。[2]这是人工智能的一种自信反应或“错觉”。 当生成式 AI 出现“幻觉”时,它会提供看起来合理但不正 确的信息,大概会影响到 15%至 20%的生成内容。例如, ChatGPT 会快速收集大量新闻资料并完成新闻撰写,但是生0 魔豆 | 4 页 | 153.65 KB | 4 月前3
网络变革与AI发展人工智能驱动了网络变革 网络承载了人工智能发展 AI Runs Networks and Networks Run AI 【摘要】:人工智能(AI),不仅是国家发展的战略性技术, 而且已在现实中发挥了作用。然而,“AI 作为信息技术(IT) 工作负载的重要分支”,AI 本身是技术生态系统(Ecosystem)的 组成部分。AI 技术的快速演进,既驱动了多个关联技术领域的 (系统性和结构性)变革,更由多个关联技术领域的变革支撑了 AI 技术的加速扩展。这份“学习笔记”的探讨重点是,传统 网络的规划和结构与 AI 扩展中的组网/连网的“瓶颈”问题, 以及目前的相关技术解决方案(即“路”在何方?)。其他相关 的问题(如 AI 的算力功耗和电力需求)超出了讨论的范围。 【关键字】:组网/连网(Networking),网络(Networks), 域扩展(Scale-Across) 2025 年 11 月 7 日,(英国)伊丽莎白女王工程奖(Queen Elizabeth Prize for Engineering)颁发给了人工智能(AI)革命的 六位关键人物: Geoffrey Hinton(杰弗里辛顿), Yoshua Bengio(约书 亚·本吉奥), Yann LeCun(杨立昆): 深度学习(deep learning)0 魔豆 | 19 页 | 1.24 MB | 4 天前3
AI谣言舆情特征及风险研判AI 谣言舆情特征及风险研判 来源:法制网舆情中心 作者:任静 编者按 近年来,网络谣言逐渐出现一些新动向,其中比较典 型的便是利用 AI 工具造谣。随着人工智能技术快速发 展,AI 谣言呈现数量增多、涉及领域广泛、传播渠道集 中、与社会热点话题紧密关联等特征,给政法机关社会治 理工作带来较大挑战。今年 1 月份后,公安部网安局、互联 网联合辟谣平台以及各地警方持续通报对多起涉 AI AI 谣言的 处置情况,引发舆论持续热议。法治网舆情中心从 2025 年 1 月以来的涉 AI 谣言事件中挑出 10 起热度较高、较具代表 性的事件,分析当前 AI 网络谣言的舆情特征,研判其背后 的舆情风险并提出应对建议,供政法机关参考。、 一 舆情事件 10 起典型案例中,有 4 起 AI 谣言与自然灾害相关,包 括地震、山体滑坡等;2 起谣言涉及食品安全和突发事件, 分别为“四川某中学食堂用淋巴肉做包子致 学、文娱行业、社会秩序和司法案件四个方面。AI 谣言表 现形式较多,大多通过微博、微信、短视频等社交媒体渠 道扩散,并以文字、图片、视频形式单一或“搭配”传 播,比如“西藏定日县地震一小孩被压废墟”谣言形式为 图片,“上海退休教授靠阳台核电池供电”谣言则是以 “文字+视频”的形式传播。造谣动机方面,有 8 起事件明 确提到造谣者是为了蹭热点、赚取流量收益,可见流量经 济仍然是 AI 谣言存在的底层逻辑。100 魔豆 | 8 页 | 484.99 KB | 4 月前3
鼓励学生举报被判担责:永远都不要迎合举报式管理_鼓励学生举报被判担责:永远都不要迎合举报式管理 (文稿内容转自新京报) 一中学生举报同班同学带平板电脑后,得到了老师的一 瓶牛奶奖励和被举报同学的殴打。责任该如何划分? 5 月 28 日,湖南省高院召开未成年人权益司法保护新闻 通气会,通报了这样一起案例。某中学严禁学生携带手机、 平板电脑等电子设备并鼓励学生举报。宋某发现同学周某玩 手机,遂向老师举报,并从周某书包里搜出平板电脑交给老0 魔豆 | 3 页 | 107.62 KB | 5 月前3
AI掀起爆改国产老剧潮乱象分析AI 掀起爆改国产老剧潮乱象分析 近期,各类平台上出现了不少被 AI 魔改的国产老剧短视频, 比如《甄嬛传》的宫斗戏成了枪战戏,《红楼梦》里的林黛玉 突然打起了拳击,《西游记》里的唐僧“答应”了妖精等等。国 家广电总局网络视听司发布《管理提示(AI 魔改)》,表示 AI“魔改”视频以假乱真、“魔改”经典现象频发。这些视频为博 流量,毫无边界亵渎经典 IP,冲击传统文化认知,与原著精神 内核相悖,且涉嫌构成侵权行为。AI 技术在影视领域的应用引 发了一系列乱象,其中尤为突出的便是国产老剧被 AI 肆意爆改 的现象。一些人借助先进的 AI 技术,对经典国产老剧进行毫无 底线的篡改,致使原本充满艺术价值的作品变得低俗、恶趣味。 大量此类视频在网络上广泛传播,这一现象亟需引起高度关注 与重视。 一、AI 爆改国产老剧乱象特征 (一)极端的改编风格,内容荒诞低俗 在 AI 技术加持下,许多经典场景被改编成极端夸张的形式。 良的引导。 (二)AI“魔改”软件泛滥,没有限制门槛 随着 AI 技术的发展,相关视频制作软件变得越来越“傻瓜 化”,普通用户无需具备专业的视频剪辑和制作知识,只需简单 输入描述词等操作,就能在短时间内生成魔改视频。例如,可 灵 AI、RunwayGen2 等工具提供了便捷的操作界面,且网络上 有大量教程可供新手快速入门,这使得更多人能够轻易地制作 和分享 AI 魔改视频,导致大量质量参差不齐的爆改视频涌现,100 魔豆 | 8 页 | 26.50 KB | 11 天前3
西贝“火上浇油式”的舆情应对存在哪些问题?西贝“火上浇油式”的舆情应对存在哪些问题? 近几年,餐饮行业“预制菜”话题持续升温,消费者对 于食品透明度和知情权的关注愈发强烈。在这样的大背景下, 9 月 10 日,罗永浩发微博吐槽西贝菜品“几乎全是预制菜”, 呼吁立法强制餐馆标注预制菜使用情况,遭到西贝创始人、 董事长贾国龙的强硬回应。双方的系列交锋,在短短六天内 从一条微博迅速演变为全国性舆情热点,乃至上升到行业透 明度和消费 明度和消费者知情权的层面。值得注意的是,这场风波中, 西贝在舆情应对中的一系列选择推动了舆情“火上浇油式” 的迅速发展,与其说西贝败在了产品问题上,不如说败在了 舆情的应对与处置上。 事件发展过程 从舆情监测系统展现数据来看,9 月 12 日及 9 月 13 日 是事件热度最高的两天,舆论持续聚焦西贝的公关手段、预 制菜的定义等进行探讨。9 月 15 日,西贝在微博发布“道歉信”,再度引发舆情回温。整个舆情发酵期间,#西贝0 魔豆 | 5 页 | 361.56 KB | 2 月前3
共 235 条
- 1
- 2
- 3
- 4
- 5
- 6
- 24








