妈妈的朋友hd:悠跑科技李鹏:应该放下虚无缥渺的灵魂论,因为灵魂从来没被某些车厂掌握

来源:央视新闻 | 2024-03-18 13:18:51
好易购 | 2024-03-18 13:18:51
原标题:"妈妈的朋友hd"
"妈妈的朋友hd",正在加载

"妈妈的朋友hd",悠跑科技李鹏:应该放下虚无缥渺的灵魂论,因为灵魂从来没被某些车厂掌握,叙利亚北部发生触雷事件至少12人死亡



"妈妈的朋友hd",美银证券:重申友邦保险“买入”评级目标价下调至92.2港元,紧跟美联储步伐?欧洲央行管委:料于6月首降!

"妈妈的朋友hd",日媒:福岛第一核电站地下高辐射性沙袋处理或成难题

蜜柚视频在线观看免费完整版直播

蜜柚视频高清在线

双人床上打扑克的软件

年轻漂亮岳每4乱理中文

色戒2小时38分无删减版在线

树藤play树藤缠绕菇卡

么公的又大又深又硬想要



妈妈的朋友hd:美民调:八成民众不满国家现状多数人对发展前景悲观,中信里昂:重申中银航空租赁“买入”评级目标价升至69港元,影迷评《第二十条》:笑中带泪贴近生活

"妈妈的朋友hd",  作者:机器之心  开源社区有福了。  说到做到,马斯克承诺的开源版大模型Grok终于来了!  今天凌晨,马斯克旗下大模型公司xAI宣布正式开源3140亿参数的混合专家(MoE)模型‘Grok-1’,以及该模型的权重和网络架构。  这也使得Grok-1成为当前参数量最大的开源大语言模型。  封面图根据Grok提示使用Midjourney生成的:神经网络的3D插图,具有透明节点和发光连接,以不同粗细和颜色的连接线展示不同的权重。  这个时候,马斯克当然不会忘了嘲讽OpenAI一番,‘我们想了解更多OpenAI的开放部分’。  回到模型本身,Grok-1从头开始训练,并且没有针对任何特定应用(如对话)进行微调。相对的,在X(原Twitter)上可用的Grok大模型是微调过的版本,其行为和原始权重版本并不相同。  Grok-1的模型细节包括如下:基础模型基于大量文本数据进行训练,没有针对任何具体任务进行微调;3140亿参数的MoE模型,在给定token上的激活权重为25%;2023年10月,xAI使用JAX库和Rust语言组成的自定义训练堆栈从头开始训练。  xAI遵守Apache2.0许可证来开源Grok-1的权重和架构。Apache2.0许可证允许用户自由地使用、修改和分发软件,无论是个人还是商业用途。项目发布短短四个小时,已经揽获3.4k星标,热度还在持续增加。  该存储库包含用于加载和运行Grok-1开放权重模型的JAX示例代码。使用之前,用户需要确保先下载checkpoint,并将ckpt-0目录放置在checkpoint中,然后,运行下面代码进行测试:pipinstall-rrequirements.txtpythonrun.py  项目说明中明确强调,由于Grok-1是一个规模较大(314B参数)的模型,因此需要有足够GPU内存的机器才能使用示例代码测试模型。此外,该存储库中MoE层的实现效率并不高,之所以选择该实现是为了避免需要自定义内核来验证模型的正确性。  用户可以使用Torrent客户端和这个磁力链接来下载权重文件:magnet:?xt=urn:btih:5f96d43576e3d386c9ba65b883210a393b68210e&tr=https%3A%2F%2Facademictorrents.com%2Fannounce.php&tr=udp%3A%2F%2Ftracker.coppersurfer.tk%3A6969&tr=udp%3A%2F%2Ftracker.opentrackr.org%3A1337%2Fannounce  看到这,有网友开始好奇314B参数的Grok-1到底需要怎样的配置才能运行。对此有人给出答案:可能需要一台拥有628GBGPU内存的机器(每个参数2字节)。这么算下来,8xH100(每个80GB)就可以了。  知名机器学习研究者、《Python机器学习》畅销书作者SebastianRaschka评价道:‘Grok-1比其他通常带有使用限制的开放权重模型更加开源,但是它的开源程度不如Pythia、Bloom和OLMo,后者附带训练代码和可复现的数据集。’  DeepMind研究工程师AleksaGordié则预测,Grok-1的能力应该比LLaMA-2要强,但目前尚不清楚有多少数据受到了污染。另外,二者的参数量也不是一个量级。  还有一位推特用户@itsandrewgao详细分析了Grok-1的架构细节,并做出了一下几点总结。  首先Grok-1是8个专家的混合(2个活跃)、860亿激活参数(比Llama-270B还多),使用旋转嵌入而非固定位置嵌入。  tokenizer词汇大小为131,072(类似于GPT-4)2^17,嵌入大小6,144(48*128),64个transformer层(sheesh),每层都有一个解码器层:多头注意力块和密集块,键值大小128。  多头注意力块:48个head用于查询,8个用于键/值(KV)。KV大小为128。密集块(密集前馈块):加宽因子8,隐藏层大小32768。每个token从8个专家中选择2个。  旋转位置嵌入大小为6144,与输入嵌入大小相同。上下文长度为8192tokens,精度为bf16。  此外还提供了一些权重的8bit量化内容。  当然,我们还是希望xAI官方能够尽快公布Grok-1的更多模型细节。  Grok-1是个什么模型?能力如何?  Grok是马斯克xAI团队去年11月推出的一款大型语言模型。在去年11月的官宣博客中(参见《马斯克xAI公布大模型详细进展,Grok只训练了2个月》),xAI写道:  Grok是一款仿照《银河系漫游指南》设计的AI,可以回答几乎任何问题,更难能可贵的是,它甚至可以建议你问什么问题!  Grok在回答问题时略带诙谐和叛逆,因此如果你讨厌幽默,请不要使用它!  Grok的一个独特而基本的优势是,它可以通过X平台实时了解世界。它还能回答被大多数其他AI系统拒绝的辛辣问题。  Grok仍然是一个非常早期的测试版产品——这是我们通过两个月的训练能够达到的最佳效果——因此,希望在您的帮助下,它能在测试中迅速改进。  xAI表示,Grok-1的研发经历了四个月。在此期间,Grok-1经历了多次迭代。  在公布了xAI创立的消息之后,他们训练了一个330亿参数的LLM原型——Grok-0。这个早期模型在标准LM测试基准上接近LLaMA2(70B)的能力,但只使用了一半的训练资源。之后,他们对模型的推理和编码能力进行了重大改进,最终开发出了Grok-1,这是一款功能更为强大的SOTA语言模型,在HumanEval编码任务中达到了63.2%的成绩,在MMLU中达到了73%。  xAI使用了一些旨在衡量数学和推理能力的标准机器学习基准对Grok-1进行了一系列评估:  在这些基准测试中,Grok-1显示出了强劲的性能,超过了其计算类中的所有其他模型,包括ChatGPT-3.5和Inflection-1。只有像GPT-4这样使用大量训练数据和计算资源训练的模型才能超越它。xAI表示,这展示了他们在高效训练LLM方面取得的快速进展。  不过,xAI也表示,由于这些基准可以在网上找到,他们不能排除模型无意中在这些数据上进行了训练。因此,他们在收集完数据集之后,根据去年5月底(数据截止日期之后)公布的2023年匈牙利全国高中数学期末考试题,对他们的模型(以及Claude-2和GPT-4模型)进行了人工评分。结果,Grok以C级(59%)通过考试,Claude-2也取得了类似的成绩(55%),而GPT-4则以68%的成绩获得了B级。xAI表示,他们没有为应对这个考试而特别准备或调整模型。  下面这个表格展示了Grok-1的更多信息(来自2023年11月的博客,部分信息可能存在更新):模型细节:Grok-1是一个基于Transformer的自回归模型。xAI利用来自人类和早期Grok-0模型的大量反馈对模型进行了微调。初始的Grok-1能够处理8192个token的上下文长度。模型于2023年11月发布。预期用途:Grok-1将作为Grok背后的引擎,用于自然语言处理任务,包括问答、信息检索、创意写作和编码辅助。局限性:虽然Grok-1在信息处理方面表现出色,但让人类检查Grok-1的工作以确保准确性至关重要。Grok-1语言模型不具备独立搜索网络的能力。在Grok中部署搜索工具和数据库可以增强模型的能力和真实性。尽管可以访问外部信息源,但模型仍会产生幻觉。训练数据:Grok-1发布版本所使用的训练数据来自截至2023年第三季度的互联网数据和xAI的AI训练师提供的数据。评估:xAI在一系列推理基准任务和国外数学考试试题中对Grok-1进行了评估。他们与早期alpha测试者合作,以评估Grok-1的一个版本,包括对抗性测试。目前,Grok已经对一部分早期用户开启了封闭测试访问权限,进一步扩大测试人群。  在博客中,xAI还公布了Grok的构建工程工作和xAI大致的研究方向。其中,长上下文的理解与检索、多模态能力都是未来将会探索的方向之一。  xAI表示,他们打造Grok的愿景是,希望创造一些AI工具,帮助人类寻求理解和知识。  具体来说,他们希望达到以下目标:收集反馈,确保他们打造的AI工具能够最大限度地造福全人类。他们认为,设计出对有各种背景和政治观点的人都有用的AI工具非常重要。他们还希望在遵守法律的前提下,通过他们的AI工具增强用户的能力。Grok的目标是探索并公开展示这种方法;增强研究和创新能力:他们希望Grok成为所有人的强大研究助手,帮助他们快速获取相关信息、处理数据并提出新想法。  他们的最终目标是让他们的AI工具帮助人们寻求理解。  在X平台上,Grok-1的开源已经引发了不少讨论。值得注意的是,技术社区指出,该模型在前馈层中使用了GeGLU,并采用了有趣的sandwichnorm技术进行归一化。甚至OpenAI的员工也发帖表示对该模型很感兴趣。  不过,开源版Grok目前还有些事情做不到,比如‘通过X平台实时了解世界’,实现这一功能目前仍需要订阅部署在X平台上的付费版本。  鉴于马斯克对开源的积极态度,有些技术人员已经在期待后续版本的开源了。文章来源:机器之心,原文标题:《马斯克开源Grok-1:3140亿参数迄今最大,权重架构全开放,磁力下载》  风险提示及免责条款  市场有风险,投资需谨慎。本文不构成个人投资建议,也未考虑到个别用户特殊的投资目标、财务状况或需要。用户应考虑本文中的任何意见、观点或结论是否符合其特定状况。据此投资,责任自负。股市回暖,抄底炒股先开户!智能定投、条件单、个股雷达……送给你>>海量资讯、精准解读,尽在新浪财经APP

"妈妈的朋友hd",[环球时报综合报道]国际知名民调机构益普索集团日前以包括日本在内的28个国家的2万多人为调查对象,进行了“2024年民粹--**--  [环球时报综合报道]国际知名民调机构益普索集团日前以包括日本在内的28个国家的2万多人为调查对象,进行了“2024年民粹主义全球调查”。  据日本DIME网站11日报道,调查结果显示,68%的日本受访者认为“日本正在衰退”,与世界其他国家相比,认为本国正在衰退的比例在受访国家中排名第五。  报道称,从2016年以来的变化情况看,认为“日本正在衰退”的比例增加了1.7倍,而世界其他国家的同期平均水平几乎保持不变,这表明如今日本人很难对日本抱有积极、乐观的期望。  通过益普索民调所反映出的有关近七成受访日本人认为本国“正在衰退”的结果,实际与日本近年来的现状有着很大的联系。受少子老龄化、长期身陷通缩、经济增长缺乏新动能等因素影响,日本不仅失去了世界第三大经济体的地位,而且在多个领域也出现了不同程度的衰退。  以日元贬值为例,这不仅加剧了日本人的生活负担,而且进一步加强了人们对国家衰退的感觉。日本广播协会(NHK)网站援引日本瑞穗证券首席经济学家小林俊介的话称:“日元贬值时,普通家庭难以保护自己,这就是现实。”  有日本网民留言称,“与其说是衰退,倒不如说是日本被世界其他国家抛在身后。与发达国家相比,我们正在衰退;与发展中国家相比,我们正在被超越。”还有网民认为:“日本衰退是人口减少、实际工资下降和税收增加等多重因素造成的。”(王颖)

"妈妈的朋友hd",
作者:匡良志



美纽约市长抨击白宫移民政策称移民正遭受剥削虐待

"妈妈的朋友hd",悠跑科技李鹏:应该放下虚无缥渺的灵魂论,因为灵魂从来没被某些车厂掌握,钱正昊全新单曲《月光化石MoonFossil》上线,店员隐瞒"一口价"金饰信息女子买到1000多一克的黄金,女孩自己注射1mg司美格鲁肽送医抢救,快递只能上门投递?最新回应来了

"妈妈的朋友hd",房地产市场、就业、新质生产力……国家统计局回应热点

"妈妈的朋友hd",
总监制:沈松桢

监 制:仵茂典

主 编:穆一涵

编 审:真痴瑶

(文章未经授权不得转载。)

点击收起全文
扫一扫 分享到微信
|
返回顶部
最新推荐
正在阅读:妈妈的朋友hd:悠跑科技李鹏:应该放下虚无缥渺的灵魂论,因为灵魂从来没被某些车厂掌握
扫一扫 分享到微信
手机看
扫一扫 手机继续看
A- A+