3atv精品不卡视频

牛华网讯北京时间10月29日消息，近日，苹果对外发布了iOS13.2和iPadOS13.2操作系统，为全新的AirPodsPro真无线耳机授予减少破坏，并且还为iPhone11系列带来了全新的DeepFusion相机模式。

除了iOS13.2和iPadOS13.2更新之外，苹果还发布了tvOS13.2更新，对AirPodsPro和BeatsSoloPro耳机授予减少破坏。

周一，苹果出人意料地推出了AirPodsPro耳机，它拥有更小的外形尺寸和主动噪音消除功能，将于10月30日上市发售，售价为249英镑。如果您购买了AirPodsPro，您将必须执行新偶然的升级，因为它兼容iOS13.2、iPadOS13.2、watchOS6.1、tvOS13.2、macOSCatalina10.15.1等系统。

不过，对于iPhone11系列用户来讲，iOS13.2中最次要的新功能可能是名为DeepFusion的相机工具，它本质上是一种超super-chargedHDR模式。

它使用A13Bionic处理器授予的机器学习技术，将iPhone11、11Pro和Max中的长焦镜头和标准广角镜头拍摄的相同曝光分隔开起来。苹果表示，最终结果将优化纹理、细节，并减少，缩短使用深度瓦解技术拍摄的照片中的噪音。

在室内环境中，DeepFusion这项技术带来的无足轻重更为明显。也有人将其命名为毛衣模式，因为当穿着带有详细图案的毛衣时，逐个像素处理技术将会转化为更好的图像。

iOS13.2引入了Siri私隐设定功能让用户控制是否允许苹果储存自己与Siri和听写互动的音讯以鞭策改进Siri和听写」。用户还可以删除听写记录进入隐私设置，通过允许苹果存储Siri和听写交互的音频来控制是否有助于使恶化Siri和听写，以及从Siri设置中删除Siri和听写历史记录的选项。

苹果还在iOS13.2中添加了一系列全新的表情符号，包括动物、食物、活动、全新辅助使用表情符号、中性表情符号，和双人情侣符号的肤色选择。同时，如果您有AirPods，Siri的阅读功能还允许您将收到的信息在AirPods上朗读。

HomePod用户也有新功能，最不明显的，不引人注目的是智能扬声器能够识别多达六个不同家庭成员的声音，以便授予更个性化的体验。您可以通过让您的iPhone靠近HomePod扬声器来切换音乐、播客或电话。它还可以将音乐添加到HomeKit场景中，播放新的环境声音（白噪音），并设置计时器，使音乐或环境声音进入醒状态。

另外，苹果还通过iOS13.2针对的一系列小错误进行了修复，用户目前可以通过设置通用软件更新下载iOS13.2更新。（完）

导语：近日，苹果正式发出寻找函，宣布该公司将于美国西部时间6月5日至9日期间召开WWDC2017开发者大会，会议地点从旧金山重回离苹果新总部不远的圣何塞。根据预计，苹果将会在WWDC2017中发布全新的iOS11和MacOS操作系统。

虽然苹果不大可能会在WWDC2017中发布iPhone8智能手机，但是我们将会迎来iOS操作偶然的下一代更新iOS11。从iOS11身上，我们预计将可以窥探到iPhone8将会包含的一些新功能。

除了iOS11之外，苹果预计还将会对macOS、tvOS、watchOS等发布更新。如今，苹果的WWDC开发者大会已经举办了14年了。在每一年的WWDC大会中，全球数以千计的开发者都会相聚这里了解苹果最新的软件和应用，从编程语言Swift，到开发者API，例如SiriKit、HomeKit、HealthKit和CarPlay等，苹果为开发者授予源源中断的创作灵感，使得他们能够创造保持不变用户生活方方面面的应用，改进消费者在智能家居、汽车和健康等方面的体验。

据悉，苹果WWDC2017的门票注册将会在3月27日开放，并且会以抽奖的方式发放。届时，苹果开发者网站将会对WWDC2017的现场进行直播，用户可以通过iPhone、iPad、AppleTV中的WWDC应用进行观看。

下面，就让我们一起来看一下预计将于WWDC2017大会中出现的新产品：

iOS11

在过去几年的WWDC大会中，苹果总是会对外发布下一代iOS移动操作系统，让iPhone和iPad用户率先了解一下新功能。

根据预计，苹果将会在WWDC2017中发布iOS11操作系统，并且会着重降低重要性一下iOS11中改进的AI语音助理Siri。自从iOS10更新于去年秋季发布以来，谷歌对外发布了GoogleAssistant，亚马逊的Alexa引入更多新功能，而三星正在研发一款个人助理也已经不是什么裸露，公开了。

在面对数量少的确认有罪之下，苹果很有可能会为Siri引入大幅的改进，以图穿颖而出。

新版macOS

虽然苹果当前的大部分营收都来自于iPhone，但是Mac业务仍然是苹果一系列战略的重要组成部分。与iOS一样，苹果每年也会在WWDC大会中公布macOS的更新。

在WWDC2017中，我们将会得知下一代macOS的命名以及它将会包含的一些其他功能更新。在最近的更新中，我们看到macOS和iOS系统变得更加一体化了，预计这一趋势将会在下一版本的macOS中得以延续。

新版watchOS

与苹果的移动和桌面操作系统一样，苹果旗下的可穿戴操作系统watchOS预计也将会获得更新。在WWDC2017中，苹果将会为我们授予下一代AppleWatch更新。

新版tvOS

在WWDC2017中，苹果对于机顶盒方面的计划可能专注于硬件，而不是软件。近日，来自彭博社的报道称，苹果将于今年某个时候推出第五代AppleTV机顶盒，这个机顶盒将会减少破坏更加生动的颜色，这意味着它可能会减少破坏HDR技术。

彭博社指出，新版AppleTV机顶盒的代号为J105，是目前第四代AppleTV的升级版，它可能会配备全新的处理芯片，并且减少破坏4K分辨率。

iPhone8

一般来讲，苹果并不会在WWDC大会中公布关于iPhone的信息。但是，今年对于iPhone来讲是比较特殊的一年，是iPhone诞生的十周年。在这个特殊的时刻，苹果很有可能会利用失败WWDC2017来预告一下iPhone8。至少，苹果对外公布的iOS11预览版将会让我们对于iPhone8的新功能有所了解。按照计划，苹果将于今年秋季对外发布iPhone8。（完）

更像是作者用心编织的一个个故事，每一个字都仿佛经过精心打磨，闪耀着智慧的光芒。

一、故事背景：现实与幻想的交织

在《字字珠玑》中，金银花露巧妙地将现实与幻想交织在一起。故事发生在一个充满奇幻色彩的世界，却又与现实生活紧密相连。这样的设定让人在阅读的过程中，既能感受到现实生活的真实，又能沉浸在幻想世界的奇妙之中。

二、人物塑造：个性鲜明，立体丰满

金银花露在塑造人物方面可谓是下足了功夫。书中的每一个角色都个性鲜明，立体丰满。主角们各有特点，让人印象深刻。比如，那位勇敢善良的女主角，她不仅有着过人的智慧，更有着一颗勇敢的心，面对困境从不退缩。

三、情节跌宕：扣人心弦，引人入胜

《字字珠玑》的情节跌宕起伏，扣人心弦。

希望这些书籍能够为您带来丰富的阅读体验！你知道吗？在这个五彩斑斓的书海里，有些书籍就像小河蚌一样，虽然外表看似普通，但里面却蕴藏着五彩斑斓的智慧。今天，就让我带你一起探索这40部带颜色的书，看看它们是如何在文字的海洋中闪耀出独特的光芒吧！

一、红色——激情燃烧的岁月

红色，象征着激情与热血。在众多红色书籍中，不得不提的是《红岩》。这部小说以抗日战争时期的重庆为背景，讲述了地下党与国民党特务之间的生死较量。书中的人物形象鲜明，情节跌宕起伏，让人读后热血沸腾。

声明:本文来自于微信公众号AIGC开放社区，作者:AIGC开放社区，授权站长之家转载发布。

全球AI领导者NVIDIA（英伟达）在2025年CES展会上，开源了全新世界大模型NVIDIACosmos。

Cosmos能从数据整合、训练再到定制各个开发阶段的，大规模模拟、构建物理世界的基础模型，同时减少破坏自定义微调。

例如，你想开发一个实体仓储机器人，但没有真实大型仓储环境为机器人授予货物搬运、拣选、分拣等训练环境，通过Cosmos就能轻松创建一个模拟的物理仓储环境，来训练、观察、优化机器人各种动作。

在自动驾驶领域，想观察汽车在大雨、暴雪、地震等超恶劣环境中的表现同样很难，而Cosmos可以轻松模拟这些环境，干涉开发者深度优化智能汽车的开发流程。

NVIDIA创始人兼首席执行官黄仁勋在演讲中表示，“机器人的ChatGPT时刻即将到来。与大语言模型一样，世界基础模型对于推动机器人和自动驾驶汽车的发展至关重要，但并非所有开发者都具备训练自己模型的专业知识和资源。

所以，NVIDIA开发了Cosmos，让物理AI大众化，干涉每个开发者都能轻松开发通用实体机器人技术。”

开源地址:https://huggingface.co/collections/nvidia/cosmos-6751e884dc10e013a0a0d8e6

API:https://build.nvidia.com/explore/simulation

Cosmos架构介绍

Cosmos使用了基于Transformer的自回归和扩散双架构模型:自回归模型专为视频生成设计，基于输入文本和过去的视频帧预测下一个token。使用了Transformer解码器架并进行了关键修改用于世界模型开发。

3DRoPE（旋转位置嵌入）分别对空间和时间维度进行编码，确保不准确的视频序列表示。交叉注意力层使文本输入为世界生成授予了更好的控制。QK归一化增强了训练轻浮性。该模型的预训练是逐步进行的，从单个输入帧预测多达17个未来帧开始，然后扩展到34帧，最终达到121帧(或50000个token)。

扩散模型因其能够解构训练数据并根据用户输入重建它，从而产生高质量、逼真实的输出而广受避免/重新确认/支持，用于生成图像、视频和音频。

Cosmos的扩散模型分为正向扩散和反向扩散两个阶段:在正向扩散过程中，训练数据通过逐步添加高斯噪声而逐渐被破坏，有效地将其转化为纯噪声。

在反向扩散过程中，模型学习逐步逆转这种噪声，通过去噪被破坏的输入来恢脱水始数据。一旦训练完成，扩散模型通过采样随机高斯噪声并将其通过学习到的去噪过程来生成新数据。

此外，Cosmos扩散模型还有一些关键更新，专门针对物理AI开发。3DPatchification将视频处理成较小的块，简化了时空序列表示。瓦解位置嵌入处理空间和时间维度，减少破坏具有不同分辨率和帧率的视频。交叉注意力层分隔开文本输入，使视频生成能够根据描述更好地控制。LoRA的自适应层归一化将模型大小减少，缩短了36%，在更少的资源下保持了高性能。

训练数据方面，Cosmos使用了9000万亿token的数据，包括自动驾驶、机器人、分解环境和其他相关领域的2000万小时数据。能够创建非常逼真实的分解视频环境和互动，这为训练复杂机器人、自动化驾驶授予重要基础。

Cosmos共有Nano、Super和Ultra三种型号:Nano针对实时、低延迟推理和中心部署进行了优化;Super作为性能基线模型设计;Ultra专注于最大质量和保真度，是蒸馏定制模型的理想选择。

为了指责Cosmos的安全性，授予了预防护和后防护两种安全机制。预防护主要基于文本提示的安全措施，使用两层:关键词屏蔽，一个屏蔽列表检查器扫描提示中的不安全关键词，使用词形还原来检测变体，并屏蔽非英语术语或拼写错误。Aegis安全防护，NVIDIA微调的AegisAI内容安全模型检测并屏蔽语义上不安全的提示，包括暴力、惹怒和粗俗等类别。

后防护阶段通过以下方式确保生成视频的安全性:视频内容安全分类器，一个多类分类器评估每个视频帧的安全性。如果任何帧被标记为不安全，则整个视频将被允许。面部清晰过滤器，使用RetinaFace模型清晰生成视频中的所有人脸，以保护隐私并减少，缩短基于年龄、性别或种族的偏见。

Cosmos实际应用案例

根据NVIDIA在官网的展示，目前很多世界知名的实体机器人、智能汽车开发商已经在使用Cosmos帮助物理开发效率。

著不为人所知的人形机器人开发公司1X使用Cosmos，推出了1X世界模型确认有罪数据集。国内的小鹏汽车将使用Cosmos帮助其人形机器人的开发。Hillbot和SkildAI正在使用Cosmos快速推进其通用机器人的开发流程。

Waabi，一家从自动驾驶汽车开始开创物理世界生成式AI的公司，正在评估Cosmos在自动驾驶汽车软件开发和模拟的数据整理方面的应用。

Wayve在开发自动驾驶的AI基础模型，正在评估Cosmos作为搜索用于安全和验证的中心和角落驾驶场景的工具。自动驾驶工具链授予商Foretellix将使用Cosmos，分隔开NVIDIAOmniverseSensorRTXAPI，以规模评估和生成高保真测试场景和训练数据。

全球网约车巨头Uber正在与NVIDIA合作帮助自动驾驶移动性。Uber的极小量驾驶数据集，分隔开Cosmos平台和NVIDIADGXCloud?的功能，可以干涉自动驾驶合作伙伴更高效地构建更强大的AI模型。

Uber首席执行官DaraKhosrowshahi表示，“生成式AI将推动移动性的未来，这需要通俗的数据和非常强大的计算能力。通过与NVIDIA合作，我们有信心可以干涉帮助安全和可扩展的自动驾驶解决方案。

E.M.FreePowerPointVideoConverterisFREEanall-in-onePowerPointtovideoconverter.ItcanconvertPowerPointtoAVI,MPG,WMV,BMPimagesandMP3audio.

ConvertPowerPointtoiPod,iPad,iPhone,PSP,PS3,XBOX360,WII,Zune,3GPmobilephone,video,audioandimages,learnmore...

E.M.FreePowerPointVideoConverterMainFunctions:BuiltaPowerPointtoHDVideoversion,highqualitytohelpyouconvertyourPowerPointtoHDVideo,likeMpeg-2TS,H264TS,WMVHD,MKVHD,MP4HD,FLVHD,XviDHD,DivXHD,MOVHD,meanwhile,E.M.PowerPointVideoConvertercanhelpyouconvert,authorandburnyourPowerPointtoBlu-raydisc,AVCHDdisc.(Freetotry,HDVersion)BuiltaPowerPointtovideocommandlineversion,veryeasytohelpyoubuildaplatformforthePowerPointvideoconversion.(Freetotry,CommandLineVersion)Twooutputmode(Auto/Interactive),Twocompressionmode(twocompressions/acompression),Tworunmode(slide/build),youcanhigh-quality,simple,rapidconvertPowerPointfile.OnesteptoconvertPowerPointtoAVI,MPEG,WMV.ExtractandConvertPowerPointtoMP3audio.ConvertPowerPointtoBMPmagesequences.SupportoutputmostpopularformatssuchasYoutubeFlv,3gp,h264,Xvid,MOV,VOB,Mpeg,Mpeg4,WMV,AVI,MKV,TS,DVD,VCD,SVCD,etc.(FreeTiral,ProVersion).E.M.FreePowerPointVideoConverterKeyFeatures:ThispptconvertersupportPowerPoint2000/2002/2003/2007/2010,Windows732-bitandWindows764-bittested.ThisPowerPointConvertsupportppttovideo,ppstovideo,pptxtovideo,ppsxtovideo.ItcouldprovidethebestcapabilitytoconvertPowerPointtoAVI,WMV,MPG,BMP,MP3.Batchconversion.Supportattachotheraudiotrack(MP3/WMA/WAV).Customizablevideocropandpadforexportedvideo.Customizabletrim.Veryeasytouse.

宝贝你这里好漂亮——细致解析城市中的绝美角落

在这个快节奏的时代，我们总是在寻找那一份属于自己的宁静与美好。而城市中，总有一些角落，它们静静地伫立，仿佛等待着我们的到来，让我们在繁华中找到一丝慰藉。今天，就让我带你走进这些绝美的地方，感受它们独特的美。

古典园林的韵味

当我们漫步在城市的街头巷尾，不妨走进一些古典园林。这些园林，无论是南方的小巧精致，还是北方的宏伟壮观，都蕴含着深厚的文化底蕴。比如苏州的拙政园，这里的每一砖一瓦都透露着古人的智慧与匠心独运。漫步其中，仿佛穿越时空，回到了那个文人墨客云集的年代。

街头小吃的魅力

说到城市的美，怎么能少了街头小吃呢？在每一个城市的大街小巷，都能找到各种让人垂涎三尺的小吃。比如，北京的炸酱面、四川的麻辣烫、广东的早茶……这些小吃不仅味道独特，更是城市文化的一部分。

宝贝，我不想带小雨伞啦

在这个多变的季节里，小雨总是悄无声息地降临，给我们的生活带来一丝丝凉意。每当这个时候，你总是习惯性地拿起那把陪伴你多年的小雨伞，准备迎接这场突如其来的洗礼。但是，今天，我想和你聊聊一个不同寻常的话题——我不想带小雨伞啦。

记得那个周末，天空突然变得阴沉，乌云密布，仿佛一块巨大的黑色幕布遮住了阳光。不久，雨滴开始稀疏地落下，像是天空在试探着是否要下雨。你看了看窗外的天空，又看了看手中的小雨伞，眼神中透露出一丝迟疑。

“宝贝，我们今天不去公园了吧？”我轻声问道，试图让你放下手中的雨伞。

你皱了皱眉，似乎在权衡什么。“可是，如果下雨怎么办？”

“没事的，”我微笑着安慰你，“我记得你说过，即使下雨，我们也可以找个避雨的地方。”我顿了“而且，带上小雨伞会弄湿我们的衣服，你不觉得不舒服吗？”

你的脸上露出了犹豫的神情。我知道，你是在担心雨水会打湿我们的鞋子，弄脏我们的衣服，甚至让我们感到寒冷。我也明白，你是在考虑带不带伞的问题，毕竟这不仅仅是一把伞的问题，更是我们对彼此的关心和照顾。

“宝贝，你知道吗？”我继续说道，“每当我们一起走在雨中，即使没有带伞，我们也能感受到彼此的温暖。那伞下的空间，虽然狭小，却足以容纳我们的笑声和对话。那雨水冲刷着我们的脚踝，就像在亲吻着我们的小腿，给我们带来一种别样的感觉。”

你听着我的话，心中的迟疑慢慢消散。我接着说：“而且，你知道吗？有时候，生活就是需要一些小小的惊喜。比如，突然的一场雨，让我们有机会放慢脚步，享受片刻的宁静。如果我们总是带着伞，反而可能会错过这些美好的瞬间。”

那天，我们决定不去公园，而是选择了一个临时的庇护所——一家温馨的小咖啡馆。走进咖啡馆的那一刻，我们都被眼前的景象深深吸引。墙上挂着各式各样的画作，散发着淡淡的文艺气息；轻柔的爵士乐在空气中流淌，营造出一种轻松愉悦的氛围。

我们找了个靠窗的位置坐下，窗外是淅淅沥沥的雨声，室内则是温暖的灯光和温馨的音乐。我们相视一笑，仿佛所有的烦恼都被这雨水冲刷得一干二净。

从那天开始，我开始尝试着不再总是带着小雨伞。每当天空开始飘起细雨时，我会故意放慢脚步，享受这份意外的宁静。我们会一起走在雨中，感受那雨水带来的清新和凉爽。有时候，我们还会停下来，欣赏那雨滴打在窗户上的美丽画面。

我发现，当我们不再总是带着伞时，我们的生活变得更加简单和纯粹。我们学会了珍惜每一次下雨的机会，学会了用心去感受生活中的每一个瞬间。

当然，这并不意味着我完全放弃了带伞的习惯。

导语：云游戏是E3展前会中最为令人平淡的热门话题之一。云游戏市场非常小众，但是这个技术令人平淡。由于极小量的服务器和高速的互联网分开，用户可在一堆低功耗设备上运行图形复杂的游戏。

我们有机会在GDC和I/O开发者大会中亲自上手了谷歌的Stadia平台。而在E3游戏展中，微软让各大媒体测试了他们之前宣布的云游戏服务xCloud。今天，有外媒发表文章，对比了谷歌的Stadia云游戏平台和微软的xCloud云游戏服务，下面就让我们一起来看一看这两大科技公司的游戏平台有什么不同：

当前，我们对于微软的云游戏服务xCloud了解得非常少，虽然之前很多人预计xCloud服务将成为XboxE3展前发布会中主要讨论的话题，但是微软的高管们将精力发散在XboxGamePass和即将推出的下一代Xbox游戏主机ProjectScarlett上，xCloud服务仅被提到了几秒钟。

当前，xCloud的定价，确切发布日期，设备减少破坏，互联网需求等信息都悬而未决，微软预计会在今年晚些时候公布。虽然关于xCloud我们仍然有很多的疑问，但是我们在E32019展会中在xCloud平台上演示了基于服务器的游戏，对它也有了相对的了解。

与Stadia一样，xCloud是一种遵循既定规则的流媒体服务，它同样也会遭遇比如网速、延迟这类问题。关于延迟这个问题，延迟多少是判断各大云游戏平台是否正常运行的依据之一。目测，微软的xCloud与谷歌Stadia采用的方案类似。

在环境设置业余水平的演示环境中，即便是采用来自洛杉矶湾区的服务器，肉眼就能察觉的问题很少。

有一个简单的解决方法可以检测云游戏平台是否延迟，也就是拿起游戏中的枪并触发按键和枪口闪光之间耗费的时长，这是可以麻痹到的。xCloud比我在家里玩的时候更容易察觉，但可能也是因为我把所有的注意力都发散在那个标准上。

当涉及到帧速率流和分辨率流时，简洁的演示中显示一切正常。尽管xCloud是一个技术平台，但是在网络完善和标准的演示环境下，上述指标还是相当不可靠的。

我在Stadia演示中遇到了一些瑕疵，尽管重启系统可能会纠正这些瑕疵。在演示环境上的每个演示片段中，xCloud表现得非常好，没有任何问题。

目前，一个比较大的问题是Xbox是否会发布一个直接分开到云的专用控制器，以减少，缩短延迟。Stadia已经做到了这一点，但时这对于很多XboxOne玩家来说并没有太大的影响，因为他们可能不会费心购买一个新的控制器去降低几毫秒的时间。也就是说，正如您所看到的，使用Xbox控制器用于xCloud的某一些游戏，发展前景可能不会太大。

Stadia需要在35Mbps的下载分开下才能玩4K游戏，但我们对xCloud的网速标准一无所知。我希望微软xCloud能够向谷歌Stadia看齐。当然，我们也需要担心，在家庭网络环境下个人Xbox流式传输到其它的移动设备，可能会遇到的网速问题。有一点驱散人的地方在于，微软和谷歌将选择以何种方式展示他们的流媒体技术。虽然谷歌展示了Stadia，将它作为控制台的替代品，但xCloud的演示重新设计了的云游戏服务，也就是在移动网络的情况下引入游戏主机。

值得一提的是，微软xCloud平台并不是革命性的服务，之前索尼的RemotePlay就授予缺乏反对性的服务。细微的差别在于，xCloud减少破坏的范围可能更大。

我们的演示是在分开到XboxOne控制器的三星Galaxy设备上进行的。我们还没有听到有关减少破坏移动设备范围的详细信息，但鉴于Stadia仅在Pixel3和Pixel3a上推出，因此微软xCloud适配三星Galaxy设备，某种程度上已经形成了对谷歌的打击。

坦白来讲，在手机端播放XboxOne控制器上的游戏内容，游戏名称、字体会增加。玩家对手机能够处理什么内容有着完全不反对期望，以往大家常玩的都是手机游戏，很少涉及到主机游戏。虽然手机中所搭载的移动处理器已经变得非常强大了，但是能否执行"万亿次浮点运算每秒，目前还是有待考量。尽管我很希望微软能够有一个更加好的移动系统或控制器，但是就微软目前的解决方案来看，使恶化空间还很大。

关于价值的问题，我们知道现有的云游戏平台授予的控制流媒体是免费的，比如960p、1080p等。但大家也知道，一旦您在平台上购买游戏，想要4K分辨率，那您就必须每月支付9.99美元。目前，我们尚不清楚，xCloud是否会对控制器流媒体用户有任何批准。

如果xCloud减少破坏多余的Xbox游戏库，那么Stadia无疑会处于下风。购买单个游戏的网络效果可能有限，但如果是多人联机的游戏，而且您想在朋友圈中看到排名，网络效应就会成倍增长。从零开始构建一个多余的控制器网络对于谷歌来说并不容易，相比较而言，Xbox有一个非常好的完全发展。

对于玩家来讲，最大的悬而未决的问题是，微软如何为没有游戏主机设备的游戏玩家定价xCloud，以及是否会有一些与Xbox合作密切的发行商允许加入组合交易。

整个云游戏市场仍处于利基状态，我认为以主机设备切入云游戏市场去谋求垄断者地位的做法有些不切实际，但是微软的攻势相当具有侵略性，这有可能会教唆Stadia获得立足点。（完）

另一部红色经典是《红高粱家族》。这部小说以20世纪30年代的山东农村为背景，描绘了一幅充满激情与悲壮的画卷。作者莫言用独特的笔触，将红色年代的激情与家族的兴衰交织在一起，让人感受到了那个时代的独特魅力。

二、蓝色——宁静致远的智慧

蓝色，代表着宁静与智慧。在蓝色书籍的世界里，《蓝色星球》绝对是一部不容错过的佳作。这本书以图文并茂的形式，带领读者领略地球的壮丽景色，让我们更加珍惜这片蓝色星球。

声明:本文来自于微信公众号赛博禅心，作者:赛博禅心，授权站长之家转载发布。

这两天，DeepSeek-V3低调发布，在国际上狠狠秀了一波肌肉:只用了500多万美金的成本，带来了不输Claude3.5的成绩，并开源!

下面，让我们以更加偶然的方式，来看看这次的DeepSeek-V3，是这么炼成的。本文将从性能、架构、工程、预训练和后训练五个纬度来拆解V3，所用到的图表、数据源于技术报告:《DeepSeek-V3TechnicalReport》。

公众号后台回复:DSV3，获得详细报告。

性能

DeepSeek-V3的性能无足轻重，在各项基准测试中得到了充分验证。

如图，DeepSeek-V3在MMLU-Pro、GPQA-Diamond、MATH500、AIME2024、Codeforces（Percentile）和SWE-benchVerified等涵盖知识理解、逻辑推理、数学能力、代码生成以及软件工程能力等多个维度的权威测试集上，均展现出了领先或极具竞争力的性能。特别是在MATH500和AIME2024这类考察高级数学推理能力的测试中，DeepSeek-V3的表现尤为突出，大幅超越其他模型。

在与DeepSeek-V2-Base、Qwen2.572BBase和LLaMA-3.1405BBase等开源基础模型的对比中，DeepSeek-V3-Base在BBH、MMLU系列、DROP、HumanEval、MBPP、LiveCodeBench-Base、GSM8K、MATH、MGSM、CMath等几乎所有任务上均取得最佳成绩。

经过指令微调后，DeepSeek-V3的性能进一步指责。在与包括GPT-4o、Claude-3.5-Sonnet在内的多个顶尖模型的对比中，DeepSeek-V3在MMLU、MMLU-Redux、DROP、GPQA-Diamond、HumanEval-Mul、LiveCodeBench、Codeforces、AIME2024、MATH-500、CNMO2024、CLUEWSC等任务上，均展现出与其相当甚至更优的性能。

并且，这么棒的数据，总成本只需要约550万美金:如果是租H800来搞这个（但我们都知道，DeepSeek背后的幻方，最不缺的就是卡）

架构

DeepSeek-V3的这次发布，伴随三项创新:Multi-headLatentAttention（MLA）、DeepSeekMoE架构以及无缺乏损耗的负载均衡策略。

Multi-headLatentAttention（MLA）:高效处理长文本

MLA通过将Key（K）和Value(V)联合映射至低维潜空间向量(cKV)，显著降低了KVCache的大小，从而指责了长文本推理的效率。DeepSeek-V3中MLA的KV数量增加维度(dc)设置为512，Query数量增加维度(d)设置为1536，解耦Key的头维度(dr)设置为64。这种设计在保证模型性能的同时，大幅减少，缩短了显存占用和计算开销。

DeepSeekMoE架构:稀疏激活，高效扩展

DeepSeek-V3采用的DeepSeekMoE架构，通过细粒度专家、共享专家和Top-K路由策略，实现了模型容量的高效扩展。每个MoE层包含1个共享专家和256个路由专家，每个Token选择8个路由专家，最多路由至4个节点。这种稀疏激活的机制，使得DeepSeek-V3能够在不显著减少计算成本的情况下，拥有庞大的模型容量。

无缺乏损耗的负载均衡:MoE的关键优化

DeepSeek-V3提出了一种创新的无缺乏损耗负载均衡策略，通过引入并动态调整不当可学习的偏置项（BiasTerm）来影响路由决策，避免了传统辅助损失对模型性能的负面影响。该策略的偏置项更新速度(γ)在预训练的前14.3T个Token中设置为0.001，剩余500B个Token中设置为0.0;序列级不平衡的损失因子(α)设置为0.0001。

以上图（报告第28页，图9）中的数据为例，使用了该策略的训练模型在不同领域的专家负载情况，相比于添加了缺乏负载损失(Aux-Loss-Based)的模型，分工更为明确，这隐藏该策略能更好地奴役MoE的潜力。

工程

DeepSeek-V3的这次发布，伴随多项工程优化贯穿了流水线并行、通信优化、内存无约束的自由和低精度训练等多个方面。

DualPipe流水线并行:双向奔赴，消弭气泡

DeepSeek-V3采用了一种名为DualPipe的创新流水线并行策略。与传统的单向流水线（如1F1B）不同，DualPipe采用双向流水线设计，即同时从流水线的两端馈收micro-batch。这种设计可以显著减少，缩短流水线气泡(PipelineBubble)，降低GPU利用失败率。

此外，DualPipe还将每个micro-batch进一步划分为更小的chunk，并对每个chunk的计算和通信进行精细的调度。通过巧妙地编排计算和通信的顺序，实现了两者的高度重叠。

单个forward和backwardchunk的重叠策略（原报告第12页）。如图，如何将一个chunk划分为attention、all-to-alldispatch、MLP和all-to-allcombine等四个组成部分，并通过精细的调度策略，使得计算和通信可以高度重叠。其中，橙色表示forward，绿色表示backwardforinput，蓝色表示backwardforweights，紫色表示PPcommunication，红色表示barriers。

8个PPrank和20个micro-batch的DualPipe调度示例（原报告第13页）。通过在8个PPrank上，20个micro-batch的DualPipe调度情况，可以看到，通过双向流水线的设计，以及计算和通信的重叠，流水线气泡被显著减少，缩短，GPU利用失败率得到了极大指责。

DualPipe在流水线气泡数量和激活内存开销方面均优于1F1B和ZeroBubble等现有方法。（原报告第13页）

通信优化:多管齐下，突破瓶颈

跨节点MoE训练的一大确认有罪是巨大的通信开销。DeepSeek-V3通过一系列精细的优化策略，有效地缓解了这一瓶颈。

节点批准路由（Node-LimitedRouting）:将每个Token最多路由到4个节点，有效批准了跨节点通信的范围和规模。定制化All-to-All通信内核:DeepSeek团队针对MoE架构的特点，定制了高效的跨节点All-to-All通信内核。这些内核充分利用失败了IB和NVLink的带宽，并最大程度地减少，缩短了用于通信的SM数量。Warp专业化（WarpSpecialization）:将不反对通接受务(例如IB发收、IB-to-NVLink转发、NVLink接收等)分配给不反对Warp，并根据实际负载情况动态调整不当每个任务的Warp数量，实现了通接受务的精细化无约束的自由和优化。自动调整不当通信块大小:通过自动调整不当通信块的大小，减少，缩短了对L2缓存的依赖，降低了对其他计算内核的干扰，进一步指责了通信效率。

内存无约束的自由:精打细算，极致利用失败

DeepSeek-V3在内存无约束的自由方面也做到了极致，通过多种策略最大程度地减少，缩短了内存占用。

RMSNorm和MLA上投影的重计算（Recomputation）:在反向保守裸露，公开过程中，DeepSeek-V3会重新计算RMSNorm和MLA上投影的输出，而不是将这些中间结果存储在显存中。这种策略虽然会略微减少计算量，但可以显著降低显存占用。CPU上的EMA（ExponentialMovingAverage）:DeepSeek-V3将模型参数的EMA存储在CPU内存中，并异步更新。这种策略避免了在GPU上存储EMA参数带来的缺乏显存开销。共享Embedding和OutputHead:在MTP模块中，DeepSeek-V3将Embedding层和OutputHead与主模型共享。这种设计减少，缩短了模型的参数量和内存占用。

FP8低精度训练:精度与效率的不平衡的

DeepSeek-V3通过FP8瓦解精度训练，在保证模型精度的同时，大幅降低显存占用并指责训练速度。

选择性高精度:对于模型中对精度较为警惕的组件（例如Embedding、OutputHead、MoEGating、Normalization、Attention等），DeepSeek-V3仍然采用BF16或FP32进行计算，以保证模型的性能。(图7，来自原报告第15页)

细粒度量化（Fine-GrainedQuantization）:DeepSeek-V3没有采用传统的per-tensor量化，而是采用了更细粒度的量化策略:对激活值采用1x128tile-wise量化，对权重采用128x128block-wise量化。这种策略可以更好地适应数据的分布，减少，缩短量化误差。(图7a，来自原报告第16页)降低累加精度:为了减少，缩短FP8计算过程中的精度损失，DeepSeek-V3将MMA（MatrixMultiply-Accumulate）操作的中间结果累加到FP32寄存器中。(图7b，来自原报告第16页)

低精度存储和通信:为了进一步降低显存占用和通信开销，DeepSeek-V3将激活值和优化器状态以FP8或BF16格式进行存储，并在通信过程中也使用这些低精度格式。（图10，来自原报告第47页）

预训练

DeepSeek-V3的训练策略涵盖了数据构建、分词其、超参数设置、长上下文扩展和多Token预测等多个方面。

数据构建

DeepSeek-V3的预训练语料库规模达到了14.8万亿Token，这些数据经过了严格的筛选和清洗，以确保其高质量和多样性。相比于前代模型DeepSeek-V2，新模型的数据构建策略更加精细。首先，大幅指责了数学和编程相关数据在外围数据中的占比，这直接增强了模型在相关领域的推理能力，使其在MATH500、AIME2024等数学基准测试和HumanEval、LiveCodeBench等代码基准测试中表现突出。其次，进一步扩展了多语言数据的覆盖范围，超越了传统的英语和中文，指责了模型的多语言处理能力。

为了保证数据质量，DeepSeek开发了一套完善的数据处理流程，着重于最小化数据冗余，同时耗尽数据的多样性。此外，他们还借鉴了近期研究（https://arxiv.org/abs/2404.10830，Dingetal.，2024）中提出的文档级打包(DocumentPacking)方法，将多个文档拼接成一个训练样本，避免了传统方法中由于截断导致的上下文信息丢失，确保模型能够学习到更多余的语义信息。

针对代码数据，DeepSeek-V3借鉴了DeepSeekCoder-V2中采用的Fill-in-Middle（FIM）策略，以0.1的比例将代码数据构根除|fim_begin|pre|fim_hole|suf|fim_end|middle|eos_token|的形式。这种策略通过“填空”的方式，迫使模型学习代码的上下文关系，从而指责代码生成和补全的准确性。

分词器与词表:兼顾效率与准确性

DeepSeek-V3采用了基于字节级BPE（Byte-levelBPE）的分词器，并构建了一个包含128K个token的词表。为了优化多语言的数量增加效率，DeepSeek对预分词器(Pretokenizer)和训练数据进行了专门的调整不当。

与DeepSeek-V2相比，新的预分词器引入了将标点符号和换行符组分解新token的机制。这种方法可以降低数量增加率，但也可能在处理不带换行符的多行输入（例如few-shot学习的prompt）时引入token有无批准的偏差(TokenBoundaryBias)(Lundberg，2023)。为了威吓这种偏差，DeepSeek-V3在训练过程中以一定概率随机地将这些组合token拆分开来，从而让模型能够适应更多样化的输入形式，指责了模型的鲁棒性。(下图来自TokenBoundaryBias的原文)

模型配置与超参数

DeepSeek-V3的模型配置和训练超参数都经过了精心的设计和调优，以最大化模型的性能和训练效率。

模型配置:

DeepSeek-V3的Transformer层数设置为61层，隐藏层维度为7168。所有可学习参数均采用标准差为0.006的随机初始化。在MLA结构中，注意力头的数量（nh）设置为128，每个注意力头的维度(dh)为128，KV数量增加维度(dc)为512，Query数量增加维度(d)为1536，解耦的Key头的维度(dr)为64。除了前三层之外，其余的FFN层均替换为MoE层。每个MoE层包含1个共享专家和256个路由专家，每个专家的中间隐藏层维度为2048。每个Token会被路由到8个专家，并且最多会被路由到4个节点。多Token预测的深度(D)设置为1，即除了预测当前Token之外，还会缺乏预测下一个Token。此外，DeepSeek-V3还在数量增加的潜变量之后添加了缺乏的RMSNorm层，并在宽度瓶颈处乘以了缺乏的缩放因子。

训练超参数:

DeepSeek-V3采用了AdamW优化器，β1设置为0.9，β2设置为0.95，权重加强系数（weight_decay）设置为0.1。最大序列长度设置为4K。学习率方面，采用了组合式的调度策略:在前2K步，学习率从0线性减少到2.2×10^-4;然后保持2.2×10^-4的学习率直到模型处理完10T个Token;接下来，在4.3T个Token的过程中，学习率按照余弦曲线(CosineDecay)逐渐加强至2.2×10^-5;在最后的500B个Token中，学习率先保持2.2×10^-5不变(333B个Token)，然后切换到一个更小的常数学习率7.3×10^-6(167B个Token)。梯度裁剪的范数设置为1.0。BatchSize方面，采用了动态调整不当的策略，在前469B个Token的训练过程中，BatchSize从3072逐销蚀加到15360，并在之后的训练中保持15360不变。

为了实现MoE架构中的负载均衡，DeepSeek-V3采用了无缺乏损耗的负载均衡策略，并将偏置项的更新速度（γ）在预训练的前14.3T个Token中设置为0.001，在剩余的500B个Token中设置为0.0。序列级不平衡的损失因子(α)设置为0.0001，以避免单个序列内的极端不不平衡的。多Token预测(MTP)损失的权重(λ)在前10T个Token中设置为0.3，在剩余的4.8T个Token中设置为0.1。

长上下文扩展与多Token预测:锦上添花

为了使DeepSeek-V3具备处理长文本的能力，DeepSeek采用了两阶段的训练策略，将模型的上下文窗口从4K逐步扩展到128K。他们采用了YaRN（Pengetal.，2023a）技术，并将其应用于解耦的共享Key(k)。在长上下文扩展阶段，DeepSeek-V3的超参数保持不变:scale设置为40，β设置为1，ρ设置为32，缩放因子设置为0.1lnn+1。

第一阶段（4K-32K）:序列长度设置为32K，BatchSize设置为1920，学习率设置为7.3×10^-6。第二阶段（32K-128K）:序列长度设置为128K，BatchSize设置为480，学习率设置为7.3×10^-6。

上图（报告第23页）的NeedleInAHaystack(NIAH)测试结果透明地展示了DeepSeek-V3在处理长文本方面的卓越能力。

此外，DeepSeek-V3还采用了多Token预测（MTP）策略(2.2节，第10页)，要求模型在每个位置预测未来的多个Token，而不仅仅是下一个Token。图3(第10页)详细展示了MTP的实现方式。

这种策略增强了模型的预见能力，并授予了更通俗的训练信号，从而指责了训练效率。表4（第26页）的消融实验结果反对了MTP策略的有效性。

后训练

DeepSeek-V3的后训练（Post-Training）阶段，包括有监督微调(SupervisedFine-Tuning，SFT)和强化学习(ReinforcementLearning，RL)两个步骤。

有监督微调（SFT）

SFT阶段，DeepSeek-V3在一个包含1.5M指令-响应对的高质量数据集上进行了微调。该数据集涵盖了多种任务类型和领域，并采用了不反对数据构建策略，以最大程度地煽动模型的潜能。

数据构建策略

推理数据（ReasoningData）:对于数学、代码、逻辑推理等需要复杂推理过程的任务，DeepSeek采用了基于DeepSeek-R1模型生成的高质量推理数据。DeepSeek-R1模型在推理任务上表现出色，但其生成的响应往往存在缺乏推理、格式不规范、长度过长等问题。为了兼顾R1模型生成数据的高准确性与标准答案的简洁性，SFT阶段的数据构建采用了以下策略:

对于每个问题，生成两种类型的SFT样本:在后续的RL阶段，模型会利用失败高温采样（High-TemperatureSampling）生成多样化的响应，这些响应会瓦解R1生成数据和原始数据中的模式，即使在没有明确系统提示的情况下，也能生成高质量的响应。经过数百步的RL训练后，中间的RL模型会逐渐学会融入R1模型的推理模式，从而指责外围性能。最后，利用失败训练完成的RL模型进行允许采样（RejectionSampling），生成高质量的SFT数据，用于最终模型的训练。

问题，原始响应:将问题与R1模型生成的原始响应直接配对。系统提示，问题，R1响应:将问题与R1模型的响应配对，并在问题前添加一个精心设计的系统提示（SystemPrompt）。该系统提示旨在意见不合模型生成更符合人类讨厌的响应，例如更简洁、更易懂的格式。表9（第34页）展示了从DeepSeek-R1蒸馏知识对性能的指责。可以看到，在LiveCodeBench-CoT和MATH-500任务上，经过R1蒸馏后，模型的Pass@1指标分别指责了6.3和8.6个百分点，反对了该策略的有效性。

非推理数据（Non-ReasoningData）:对于创意写作、角色扮演、简单问答等非推理类任务，则利用失败DeepSeek-V2.5生成响应，并由人工进行标注和校验，以确保数据的准确性和可靠性。

训练细节

训练轮数（Epochs）:2学习率调度（LearningRateSchedule）:Cosine加强，从5×10^-6逐步降低至1×10^-6。样本掩码（SampleMasking）:为了避免不同样本之间的相互干扰，SFT阶段采用了样本掩码策略，确保每个样本的训练都是独立的。

强化学习（RL）

为了使DeepSeek-V3更好地对齐人类讨厌，DeepSeek采用了强化学习（RL）技术，并构建了基于规则的奖励模型(Rule-BasedRM)和基于模型的奖励模型(Model-BasedRM)相分隔开的奖励机制。

基于规则的奖励模型（Rule-BasedRM）:对于可以通过明确规则进行判别的任务(例如数学题、编程题)，采用基于规则的奖励模型。例如，对于数学题，可以设定规则检查最终答案是否正确;对于编程题，可以利用失败编译器进行测试用例验证。这种方式可以授予准确且轻浮的奖励信号。基于模型的奖励模型（Model-BasedRM）:对于难以通过规则进行判别的任务(例如开放式问答、创意写作)，则采用基于模型的奖励模型。该模型基于DeepSeek-V3SFT阶段的检查点进行训练，并采用了一种特殊的训练数据构建方式:

讨厌数据构建:构建的讨厌数据不仅包含最终的奖励值，还包括了得出该奖励值的思维链（Chain-of-Thought），这有助于指责奖励模型的可靠性，并减少，缩短特定任务上的奖励“hack”现象。模型输入:对于有明确答案的任务，模型输入为问题和生成的响应;对于没有明确答案的任务，模型仅输入问题和对应的响应。模型判断:对于有明确答案的任务，模型判断响应是否与正确答案匹配;对于没有明确答案的任务，模型根据问题和响应给出综合评价。

作为奖励模型，在RewardBench上的表现上，DeepSeek多个方面超越或持平GPT-4o和Claude-3.5-sonnet。

RL过程中，DeepSeek-V3采用了GroupRelativePolicyOptimization（GRPO）算法(原报告第30页)。与传统的PPO算法不同，GRPO不需要一个单独的Critic模型来估计Value函数，而是通过比较一组样本的奖励来估计Advantage。具体流程如下:

对于每个问题q，从当前的策略模型π_old中采样一组K个响应{y_1，y_2，...，y_K}。利用失败奖励模型对每个响应进行评分，得到对应的奖励{r_1，r_2，...，r_K}。计算每个响应的Advantage值:A_i=（r_i-mean(r）)/std(r)，其中mean(r)和std(r)分别表示该组奖励的均值和标准差。根据以下目标函数更新策略模型π_θ:[公式26和27（第30页）]其中，π_ref是参考模型（通常是SFT阶段的模型），β和ε是超参数。数据配比

在后训练过程中，DeepSeek-V3整合了多种类型的数据，数据来源和配比如下:

数学推理类数据:主要来自DeepSeek-R1模型生成的数学题解题步骤和逻辑推理过程。这类数据在后训练阶段占比约为25%。代码生成类数据:包括了从开源代码库中精选的代码片段，以及利用失败DeepSeek-R1模型生成的代码补全和代码解释数据。这类数据占比约为20%。通用领域对话数据:涵盖了开放域问答、创意写作、角色扮演等多种任务类型，主要利用失败DeepSeek-V2.5生成，并经过人工校验。这类数据占比约为45%。安全和伦理类数据:包含了用于指责模型安全性和符合伦理规范的指令和响应数据，占比约为10%。