欧洲人物动物交互咬:基建股早盘普涨中国中铁涨近4%中铝国际涨近2%

"欧洲人物动物交互咬",基建股早盘普涨中国中铁涨近4%中铝国际涨近2%,特朗普被曝将在这一关键州集会与德桑蒂斯隔空对阵

"欧洲人物动物交互咬",我所经历的红娘套路，远不止3·15曝光的那些,微博观影团《陌路狂刀》北京主创见面会抢票

"欧洲人物动物交互咬",北京未来9天最高温全在10℃以上！本周末公园景区周边车流量大

夫妻生活免费看麦片

娇妻系列交换27部多p小〈说

给西施做剧烈运动

亲胸揉胸膜下刺激娇喘的

老师上课把跳d突然开到最大

篮球队长被绑在器材室榨精

俄罗斯小小幼儿视频大全

欧洲人物动物交互咬:匈牙利外交部召见美国驻匈大使,央视315晚会曝光六大互联网消费黑幕你中招了吗？,巴勒斯坦新总理，面临多项艰巨任务

"欧洲人物动物交互咬",　　作者：机器之心　　开源社区有福了。　　说到做到，马斯克承诺的开源版大模型Grok终于来了！　　今天凌晨，马斯克旗下大模型公司xAI宣布正式开源3140亿参数的混合专家（MoE）模型‘Grok-1’，以及该模型的权重和网络架构。　　这也使得Grok-1成为当前参数量最大的开源大语言模型。　　封面图根据Grok提示使用Midjourney生成的：神经网络的3D插图，具有透明节点和发光连接，以不同粗细和颜色的连接线展示不同的权重。　　这个时候，马斯克当然不会忘了嘲讽OpenAI一番，‘我们想了解更多OpenAI的开放部分’。　　回到模型本身，Grok-1从头开始训练，并且没有针对任何特定应用（如对话）进行微调。相对的，在X（原Twitter）上可用的Grok大模型是微调过的版本，其行为和原始权重版本并不相同。　　Grok-1的模型细节包括如下：基础模型基于大量文本数据进行训练，没有针对任何具体任务进行微调；3140亿参数的MoE模型，在给定token上的激活权重为25%；2023年10月，xAI使用JAX库和Rust语言组成的自定义训练堆栈从头开始训练。　　xAI遵守Apache2.0许可证来开源Grok-1的权重和架构。Apache2.0许可证允许用户自由地使用、修改和分发软件，无论是个人还是商业用途。项目发布短短四个小时，已经揽获3.4k星标，热度还在持续增加。　　该存储库包含用于加载和运行Grok-1开放权重模型的JAX示例代码。使用之前，用户需要确保先下载checkpoint，并将ckpt-0目录放置在checkpoint中，然后，运行下面代码进行测试：pipinstall-rrequirements.txtpythonrun.py　　项目说明中明确强调，由于Grok-1是一个规模较大（314B参数）的模型，因此需要有足够GPU内存的机器才能使用示例代码测试模型。此外，该存储库中MoE层的实现效率并不高，之所以选择该实现是为了避免需要自定义内核来验证模型的正确性。　　用户可以使用Torrent客户端和这个磁力链接来下载权重文件：magnet：？xt=urn：btih：5f96d43576e3d386c9ba65b883210a393b68210e&tr=https%3A%2F%2Facademictorrents.com%2Fannounce.php&tr=udp%3A%2F%2Ftracker.coppersurfer.tk%3A6969&tr=udp%3A%2F%2Ftracker.opentrackr.org%3A1337%2Fannounce　　看到这，有网友开始好奇314B参数的Grok-1到底需要怎样的配置才能运行。对此有人给出答案：可能需要一台拥有628GBGPU内存的机器（每个参数2字节）。这么算下来，8xH100（每个80GB）就可以了。　　知名机器学习研究者、《Python机器学习》畅销书作者SebastianRaschka评价道：‘Grok-1比其他通常带有使用限制的开放权重模型更加开源，但是它的开源程度不如Pythia、Bloom和OLMo，后者附带训练代码和可复现的数据集。’　　DeepMind研究工程师AleksaGordié则预测，Grok-1的能力应该比LLaMA-2要强，但目前尚不清楚有多少数据受到了污染。另外，二者的参数量也不是一个量级。　　还有一位推特用户@itsandrewgao详细分析了Grok-1的架构细节，并做出了一下几点总结。　　首先Grok-1是8个专家的混合（2个活跃）、860亿激活参数（比Llama-270B还多），使用旋转嵌入而非固定位置嵌入。　　tokenizer词汇大小为131，072（类似于GPT-4）2^17，嵌入大小6，144（48*128），64个transformer层（sheesh），每层都有一个解码器层：多头注意力块和密集块，键值大小128。　　多头注意力块：48个head用于查询，8个用于键/值（KV）。KV大小为128。密集块（密集前馈块）：加宽因子8，隐藏层大小32768。每个token从8个专家中选择2个。　　旋转位置嵌入大小为6144，与输入嵌入大小相同。上下文长度为8192tokens，精度为bf16。　　此外还提供了一些权重的8bit量化内容。　　当然，我们还是希望xAI官方能够尽快公布Grok-1的更多模型细节。　　Grok-1是个什么模型？能力如何？　　Grok是马斯克xAI团队去年11月推出的一款大型语言模型。在去年11月的官宣博客中（参见《马斯克xAI公布大模型详细进展，Grok只训练了2个月》），xAI写道：　　Grok是一款仿照《银河系漫游指南》设计的AI，可以回答几乎任何问题，更难能可贵的是，它甚至可以建议你问什么问题！　　Grok在回答问题时略带诙谐和叛逆，因此如果你讨厌幽默，请不要使用它！　　Grok的一个独特而基本的优势是，它可以通过X平台实时了解世界。它还能回答被大多数其他AI系统拒绝的辛辣问题。　　Grok仍然是一个非常早期的测试版产品——这是我们通过两个月的训练能够达到的最佳效果——因此，希望在您的帮助下，它能在测试中迅速改进。　　xAI表示，Grok-1的研发经历了四个月。在此期间，Grok-1经历了多次迭代。　　在公布了xAI创立的消息之后，他们训练了一个330亿参数的LLM原型——Grok-0。这个早期模型在标准LM测试基准上接近LLaMA2（70B）的能力，但只使用了一半的训练资源。之后，他们对模型的推理和编码能力进行了重大改进，最终开发出了Grok-1，这是一款功能更为强大的SOTA语言模型，在HumanEval编码任务中达到了63.2%的成绩，在MMLU中达到了73%。　　xAI使用了一些旨在衡量数学和推理能力的标准机器学习基准对Grok-1进行了一系列评估：　　在这些基准测试中，Grok-1显示出了强劲的性能，超过了其计算类中的所有其他模型，包括ChatGPT-3.5和Inflection-1。只有像GPT-4这样使用大量训练数据和计算资源训练的模型才能超越它。xAI表示，这展示了他们在高效训练LLM方面取得的快速进展。　　不过，xAI也表示，由于这些基准可以在网上找到，他们不能排除模型无意中在这些数据上进行了训练。因此，他们在收集完数据集之后，根据去年5月底（数据截止日期之后）公布的2023年匈牙利全国高中数学期末考试题，对他们的模型（以及Claude-2和GPT-4模型）进行了人工评分。结果，Grok以C级（59%）通过考试，Claude-2也取得了类似的成绩（55%），而GPT-4则以68%的成绩获得了B级。xAI表示，他们没有为应对这个考试而特别准备或调整模型。　　下面这个表格展示了Grok-1的更多信息（来自2023年11月的博客，部分信息可能存在更新）：模型细节：Grok-1是一个基于Transformer的自回归模型。xAI利用来自人类和早期Grok-0模型的大量反馈对模型进行了微调。初始的Grok-1能够处理8192个token的上下文长度。模型于2023年11月发布。预期用途：Grok-1将作为Grok背后的引擎，用于自然语言处理任务，包括问答、信息检索、创意写作和编码辅助。局限性：虽然Grok-1在信息处理方面表现出色，但让人类检查Grok-1的工作以确保准确性至关重要。Grok-1语言模型不具备独立搜索网络的能力。在Grok中部署搜索工具和数据库可以增强模型的能力和真实性。尽管可以访问外部信息源，但模型仍会产生幻觉。训练数据：Grok-1发布版本所使用的训练数据来自截至2023年第三季度的互联网数据和xAI的AI训练师提供的数据。评估：xAI在一系列推理基准任务和国外数学考试试题中对Grok-1进行了评估。他们与早期alpha测试者合作，以评估Grok-1的一个版本，包括对抗性测试。目前，Grok已经对一部分早期用户开启了封闭测试访问权限，进一步扩大测试人群。　　在博客中，xAI还公布了Grok的构建工程工作和xAI大致的研究方向。其中，长上下文的理解与检索、多模态能力都是未来将会探索的方向之一。　　xAI表示，他们打造Grok的愿景是，希望创造一些AI工具，帮助人类寻求理解和知识。　　具体来说，他们希望达到以下目标：收集反馈，确保他们打造的AI工具能够最大限度地造福全人类。他们认为，设计出对有各种背景和政治观点的人都有用的AI工具非常重要。他们还希望在遵守法律的前提下，通过他们的AI工具增强用户的能力。Grok的目标是探索并公开展示这种方法；增强研究和创新能力：他们希望Grok成为所有人的强大研究助手，帮助他们快速获取相关信息、处理数据并提出新想法。　　他们的最终目标是让他们的AI工具帮助人们寻求理解。　　在X平台上，Grok-1的开源已经引发了不少讨论。值得注意的是，技术社区指出，该模型在前馈层中使用了GeGLU，并采用了有趣的sandwichnorm技术进行归一化。甚至OpenAI的员工也发帖表示对该模型很感兴趣。　　不过，开源版Grok目前还有些事情做不到，比如‘通过X平台实时了解世界’，实现这一功能目前仍需要订阅部署在X平台上的付费版本。　　鉴于马斯克对开源的积极态度，有些技术人员已经在期待后续版本的开源了。文章来源：机器之心，原文标题：《马斯克开源Grok-1：3140亿参数迄今最大，权重架构全开放，磁力下载》　　风险提示及免责条款　　市场有风险，投资需谨慎。本文不构成个人投资建议，也未考虑到个别用户特殊的投资目标、财务状况或需要。用户应考虑本文中的任何意见、观点或结论是否符合其特定状况。据此投资，责任自负。股市回暖，抄底炒股先开户！智能定投、条件单、个股雷达……送给你>>海量资讯、精准解读，尽在新浪财经APP

"欧洲人物动物交互咬",新浪娱乐讯北京时间1月31日消息，据外国媒体报道，刚拿下个人首个奥斯卡提名的科尔曼·多明戈加盟迈克尔·杰克逊传记片《迈克尔》，饰演迈克尔父亲、杰克逊家族的族长乔·杰克逊，以其强硬的管理和对杰克逊五兄弟充满争议的养育方式而出名。MJ的侄子贾法--**--杰克逊父子　　新浪娱乐讯北京时间1月31日消息，据外国媒体报道，刚拿下个人首个奥斯卡提名的科尔曼·多明戈加盟迈克尔·杰克逊传记片《迈克尔》，饰演迈克尔父亲、杰克逊家族的族长乔·杰克逊，以其强硬的管理和对杰克逊五兄弟充满争议的养育方式而出名。　　MJ的侄子贾法尔·杰克逊担任主演，贾法尔从12岁开始唱歌跳舞，父亲杰梅因·杰克逊是迈克尔的哥哥，也是杰克逊五兄弟组合一员。　　安东尼·福奎阿（《伸冤人》《训练日》）执导，《波西米亚狂想曲》《雨果》制片人格拉汉姆·金打造，获得了杰克逊遗产委员会的支持。　　约翰·洛根（《角斗士》《飞行家》《理发师陶德》《007：大破天幕杀机》）编剧，故事将深度展现一个复杂的男人，他后来成为了流行音乐之王，也会再现杰克逊最具标志性的表演，让人们深入了解他的艺术过程和个人生活。　　该片2025年4月18日全球上映，狮门负责北美发行，环球负责全球其他地区。　　迈克尔·杰克逊是美国流行音乐歌手、作曲家、唱片制作人、舞蹈家、演员、慈善家，常被尊称为“流行乐之王”。杰克逊在音乐、舞蹈、时尚方面的巨大贡献，加上备受关注的个人生活，使他成为全球流行文化的代表人物。　　迈克尔是杰克逊家族的第7个孩子，他与4位兄弟杰基、蒂托、杰梅因、马龙一同组建杰克逊5人组，并于1964年初次登上职业音乐舞台，后在1971年开始单飞。20世纪80年代初期，透过《OffTheWall》的崭露头角和《Thriller》的巨大成功令杰克逊成为流行音乐的主导人物。他的MV，包括《BeatIt》、《BillieJean》、《Thriller》等，将媒体转化为艺术形式和宣传工具，对打破种族障碍作出了巨大贡献。这些音乐视频大受欢迎，当时创立不久的电视频道“全球音乐电视台”名扬天下。20世纪90年代，杰克逊录制了《BlackOrWhite》、《Thriller》等多部音乐影片，这些作品标志着他持续不断的创新能力，这一阶段的大量巡演让他在国外同样名利双收。　　由于杰克逊的名气及其舞台和影片的表演，一些由他所命名的舞蹈技术如“机械步”、“月球漫步”得到普及。他独特的声音和风格影响了很多嘻哈音乐、后期迪斯科、现代节奏布鲁斯、流行音乐、摇滚音乐的艺术家。杰克逊获多项吉尼斯世界纪录，共有13个格莱美奖、“格莱美传奇奖”、“格莱美终身成就奖”，26个全美音乐奖，为所有艺人之最。　　（孟卿）

"欧洲人物动物交互咬",
作者：郝奉郦

监管出动！3·15曝光问题梅菜扣肉涉事企业已被查封

"欧洲人物动物交互咬",基建股早盘普涨中国中铁涨近4%中铝国际涨近2%,网传小米汽车21.9万起售，小米王化发文辟谣,“两高”首次将签订“阴阳合同”明确列举为逃税手段,首场主场外交大戏，受邀的为何是中亚五国？,悠跑科技李鹏：应该放下虚无缥渺的灵魂论，因为灵魂从来没被某些车厂掌握

"欧洲人物动物交互咬",油价再回舞台中心？今年夏季油价或将吓到所有人！

"欧洲人物动物交互咬",
总监制：剧曼凝

监 制：蒯淑宜

主 编：姒泽言

编 审：顿盼雁

（文章未经授权不得转载。）