新闻中心 /News
安装包下载
安装包下载电视版下载是一款模拟经营策略游戏,该版本玩家可以直接通过安卓模拟器在电脑上安装体验。该游戏采用唯美的水墨画风,将中国风元素融入游戏场景,为玩家带来极致的视觉享受,让您沉浸其中,感受y85ouztigy6ysf5y之美。在游戏中,玩家将扮演一位祖师,开宗立派,培养一众有趣的,帮助他们渡劫成仙。每位都拥有独特的命格和属性,个性迥异,让您体验到千奇百怪的修仙生活。
与此同时,手机版下载还拥有独特的挂机机制,您可以将游戏放置在后台谈球吧官方网站,解放双手,让们自动、渡劫,贴心呵护您的修仙门派。宗门地产建设也是游戏的重要内容,您可以自由摆放,打造属于自己的修仙宗门,创造仙门人的理想家园。从山海异兽到一石一木,处处充满着古韵仙风,让您仿佛置身于修仙小说般的仙境之中。
【新智元导读】原生多模态Llama 4终于问世,开源王座一夜易主!首批共有两款模型Scout和Maverick,前者业界首款支持1000万上下文单H100可跑,后者更是一举击败了DeepSeek V3。目前,2万亿参数巨兽还在训练中。
Meta官宣开源首个原生多模态Llama 4,首次采用的MoE架构,支持12种语言,首批发布一共两款:
另外,2万亿参数Llama 4 Behemoth将在未来几个月面世,288B活跃参数,16个专家。
更值得一提的是,仅用一半参数,Maverick推理编码能力与DeepSeek-v3-0324实力相当。
Llama 4 Scout最大亮点在于支持1000万上下文,相当于可以处理20+小时的视频,仅在单个H100 GPU(Int4 量化后)上就能跑。
在大模型排行榜中,Llama 4 Maverick在硬提示(hard prompt)、编程、数学、创意写作、长查询和多轮对话中,并列第一。
一个是Llama 4 Scout(拥有170亿个活跃参数和16个专家),使用Int4量化可以在单个H100GPU上运行;
另一个是Llama 4 Maverick(拥有170亿个活跃参数和128个专家),可以在单个H100主机上运行。
与传统的稠密模型相比,MoE架构在训练和推理时的计算效率更高,并且在相同的训练FLOPs预算下,能够生成更高质量的结果。
MoE层用到了128个路由专家和一个共享专家。每个token都会被送到共享专家,同时也会送到128个路由专家中的一个。
Llama 4 Maverick可以轻松部署在一台NVIDIA H100 DGX主机上运行,或者通过分布式推理来实现最高效率。
Llama 4是一个原生多模态模型,采用了早期融合技术,能把文本和视觉token无缝整合到一个统一的模型框架里。
Meta还升级了Llama 4的视觉编码器。这个编码器基于MetaCLIP,但在训练时跟一个冻结的Llama模型分开进行,这样能更好地调整编码器,让它更好地适配大语言模型(LLM)。
Meta还开发了一种叫做MetaP的新训练方法,能让他们更靠谱地设置关键的模型超参数,比如每层的学习率和初始化规模。
Llama 4通过在200种语言上预训练实现了对开源微调的支持,其中超过10亿个token的语言有100多种,整体多语言token量比Llama 3多出10倍。
此外,Meta注重高效的模型训练,采用了FP8精度,既不牺牲质量,又能保证模型的高FLOPs利用率——
训练用的整体数据包含了超过30万亿个 token,比Llama 3的预训练数据量翻了一倍还多,涵盖了文本、图片和视频数据集。
Meta用一种叫做「中期训练」的方式来继续训练模型,通过新的训练方法,包括用专门的数据集扩展长上下文,来提升核心能力。
这不仅提高了模型的质量,还为Llama 4 Scout解锁了领先的1000万输入上下文长度。
Llama 4 Scout:参数规模较小,适用多种任务,支持1000万token上下文,全球领先。
为了让不同模型适应不同的任务,针对多模态、超大参数规模等问题,Meta开发了一系列新的后训练方法。
作为产品的核心模型,Llama 4 Maverick在图像精准理解和创意写作方面表现突出,特别适合通用助手、聊天类应用场景。
训练Llama 4 Maverick模型时,最大的挑战是保持多种输入模式、推理能力和对话能力之间的平衡。
一个关键发现是,SFT和DPO可能会过度限制模型,在在线RL阶段限制了探索,导致推理、编程和数学领域的准确性不理想。
为了解决这个问题,Meta使用Llama模型作为评判者,移除了超过50%的被标记为「简单」的数据,并对剩余的更难数据进行轻量级SFT。
此外,他们还实施了持续在线RL策略,交替进行模型训练和数据筛选,只保留中等到高难度的提示。这种策略在计算成本和准确性之间取得了很好的平衡。
最后,进行了轻量级的DPO来处理与模型响应质量相关的特殊情况,有效地在模型的智能性和对话能力之间达成了良好的平衡。
新的流程架构加上持续在线RL和自适应数据过滤,最终打造出了一个行业领先的通用聊天模型,拥有顶尖的智能和图像理解能力。
作为一款通用的LLM,Llama 4 Maverick包含170亿个活跃参数,128个专家和4000亿个总参数,提供了比Llama 3.3 70B更高质量、更低价格的选择。
Llama 4 Maverick是同类中最佳的多模态模型,在编程、推理、多语言支持、长上下文和图像基准测试中超过了类似的模型,如GPT-4o和Gemini 2.0,甚至能与体量更大的DeepSeek v3.1在编码和推理上竞争。
规模较小的Llama 4 Scout是一款通用模型,拥有170亿个活跃参数、16个专家和1090亿个总参数,在同类别中性能最好。
这为多种应用打开了无限可能,包括多文档摘要、大规模用户活动解析以进行个性化任务,以及在庞大的代码库中进行推理。
Llama 4 Scout在预训练和后训练时都采用了256K的上下文长度,基础模型具备了先进的长度泛化能力。
它在一些任务中取得了亮眼成果,比如文本检索中的「大海捞针式检索」和在1000万token代码上的累积负对数似然(NLLs)。
此外,在推理时采用了温度缩放注意力,以增强长度泛化能力。Meta将其称为iRoPE架构,其中「i」代表「交替」(interleaved)注意力层,突出了支持「无限」上下文长度的长期目标,而「RoPE」则指的是在大多数层中使用的旋转位置嵌入(Rotary Position Embeddings)。
两款模型进行了大规模的图像和视频帧静态图像训练,以赋予它们广泛的视觉理解能力,包括对时间活动和相关图像的理解。
Llama 4 Scout在图像定位方面也是同类最佳,能够将用户的提示与相关的视觉概念对齐,并将模型的响应锚定到图像中的特定区域。
Llama 4 Scout在编程、推理、长上下文和图像基准测试中超过了类似的模型,并且在所有以前的Llama模型中表现更强。
秉承对开源的承诺,Meta将Llama 4 Maverick和Llama 4 Scout提供给用户下载,用户可以在和Hugging Face上获取,之后这些模型还将在最广泛使用的云平台、数据平台、边缘硅片以及全球服务集成商上陆续上线万亿巨兽,干掉GPT-4.5
Llama 4 Behemoth是一款「教师模型」,在同级别的模型里,它的智能水平相当高超。
Llama 4 Behemoth同样是一个多模态混合专家模型,拥有2880亿个活跃参数、16个专家以及近2万亿个总参数。
在数学、多语言处理和图像基准测试方面,它为非推理模型提供了最先进的性能,成为训练较小的Llama 4模型的理想选择。
通过从Llama 4 Behemoth进行共同蒸馏,能够在预训练阶段分摊计算资源密集型前向计算的成本,这些前向计算用于计算大多数用于学生模型训练的数据的蒸馏目标。
对一个拥有两万亿参数的模型进行后训练也是一个巨大的挑战,这必须彻底改进和重新设计训练方案,尤其是在数据规模方面。
为了最大化性能,不得不精简95%的SFT数据,相比之下,较小的模型只精简了50%的数据,目的是确保在质量和效率上的集中关注。
Meta还发现,采用轻量级的SFT后接大规模RL能够显著提高模型的推理和编码能力。Meta的RL方案专注于通过对策略模型进行pass@k分析来采样难度较大的提示,并设计逐渐增加提示难度的训练课程。
在训练过程中动态地过滤掉没有优势的提示,并通过从多个能力中混合提示构建训练批次,对提升数学、推理和编码的性能起到了关键作用。
最后,从多种系统指令中采样对于确保模型保持良好的指令跟随能力,在推理和编码任务中表现出色也至关重要。
与现有的分布式训练框架相比,后者为了将所有模型都加载到内存中而牺牲了计算内存,新基础设施能够灵活地将不同的模型分配到不同的GPU上,根据计算速度在多个模型之间平衡资源。
Llama 4一夜成为开源王者,甚至就连DeepSeek V3最新版也被拉下神坛,接下来就是坐等R2的诞生。
除了培养和建设仙门外,游戏还包含了炼丹、炼器、仙田等多种修仙玩法,让玩家体验到修仙的方方面面。
游戏内置丰富的社交系统,玩家可以与其他玩家组成联盟,共同对抗强敌,体验多人合作的乐趣,增加了游戏的可玩性和趣味性。
1.3优化新增仙法问道投资活动的购买提示,现在休赛期购买投资时,如果无法拿满奖励则会有二次确认提示