每周AI和NLP新闻——2024年6月第1周

Gemini Pro在LMSYS排行榜中排名第二，仅次于GPT-4o，xAI获得60亿美元融资，中国设立470亿美元芯片基金。

以下是NLPlanet为您精选的每周有关NLP和AI的文章、指南和新闻！如果你想了解更多关于AI和NLP的新闻，可以阅读以下这些文章：
每周AI和NLP新闻——2024年6月第2周
每周AI和NLP新闻——2024年6月第1周
每周AI和NLP新闻——2024年5月第4周
每周AI和NLP新闻 – 2024年4月23日

网络新闻

• Gemini 1.5 Pro/Advanced在LMSYS排行榜中排名第二，仅次于GPT-4o。最新的LMSYS排行榜显示，Gemini 1.5 Pro/Advanced排名第二，仅次于GPT-4o，而Gemini 1.5 Flash排名第九，超越了Llama-3–70b，并与GPT-4–0120紧密竞争。（链接：https://x.com/lmsysorg/status/1795512202465845686）
• Anthropic聘请前OpenAI安全负责人领导新团队。Jan Leike从OpenAI跳槽至Anthropic，领导一个新的AI安全团队，专注于“超对齐”研究，致力于提升可扩展的监督和大规模AI对齐研究。（链接：https://techcrunch.com/2024/05/28/anthropic-hires-former-openai-safety-lead-to-head-up-new-team/）
• xAI宣布完成60亿美元的B轮融资。xAI在B轮融资中筹集了60亿美元，以扩大AI技术部署，包括他们的Grok-1系列，并创新新产品，基于一年内的显著AI进展和Grok-1开源发布。（链接：https://x.ai/blog/series-b）
• Mistral发布Codestral。Codestral是Mistral AI的新一代生成式AI模型，专注于编程，支持超过80种编程语言，并拥有32k的上下文窗口，在基准测试中表现优异。（链接：https://mistral.ai/news/codestral/）
• 中国投资470亿美元设立有史以来最大的芯片基金。中国投入470.48亿美元用于新的芯片基金，旨在推进国内半导体生产，这是实现自给自足和在包括AI在内的技术领域竞争力的关键步骤。（链接：https://techxplore.com/news/2024-05-china-invests-billion-largest-chip.html）

网络指南

• 在llm.c中复现GPT-2(124M)，耗时90分钟，费用20美元。Karpathy创建了一份指南，介绍如何使用基于C/CUDA的llm.c实现来复现GPT-2(124M)。该指南适用于单GPU和多GPU设置，训练过程使用包含100亿个标记的FineWeb数据集，耗时约90分钟，费用约20美元。指南提供了安装说明、数据集准备指导，并旨在通过可能的未来增强来提高原始GPT-2的性能。（链接：https://github.com/karpathy/llm.c/discussions/481）
• 使用Sentence Transformers v3训练和微调嵌入模型。文章讨论了Sentence Transformers v3.0的发布，重点介绍了用于增强任务特定性能的训练和微调嵌入模型的增强功能，并展示了更新的组件，包括数据集、损失函数、评估器和改进的训练器。（链接：https://huggingface.co/blog/train-sentence-transformers）
• LLMs不适用于（高级）头脑风暴。文章批评了当前的LLMs在高级头脑风暴中的无效性，原因在于它们模仿现有数据模式并倾向于一致性思维。文章建议LLMs需要在训练过程中进行演变，以培养真正的创造力。（链接：https://piaoyang0.wordpress.com/2024/05/15/llms-are-not-suitable-for-brainstorming/）
• 媒体公司在AI方面犯了一个大错误。作者强调了媒体公司进入AI合作关系面临的陷阱，这可能会削弱新闻业的价值和可持续性。她主张媒体公司应专注于生产高质量的新闻，而不是通过可能低估价值的AI实体许可协议寻求立即的财务缓解。（链接：https://www.theatlantic.com/technology/archive/2024/05/fatal-flaw-publishers-making-openai-deals/678477/）
• Mergoo：高效构建自己的MoE LLM。Mergoo是一个旨在通过使用专家混合、适配器混合和逐层合并等方法来简化各种LLM合并和训练的库。（链接：https://huggingface.co/blog/alirezamsh/mergoo）

有趣的论文和库

• llmware-ai/llmware：构建企业级RAG管道的统一框架，使用小型专用模型。Llmware提供了一个全面的框架，用于构建企业级可检索增强生成（RAG）管道，提供集成的RAG管道并访问超过50个专用模型（如问答和摘要功能）。它促进了知识驱动AI应用程序的快速开发，并兼容开源模型，同时消除了对GPU服务器基础设施的需求。（链接：https://github.com/llmware-ai/llmware）
• Transformer在正确的嵌入下可以进行算术运算。这篇论文强调，向transformer模型添加位置编码显著增强了其执行算术运算的能力，在加法100位数时达到99%的准确率，并提高了其他推理任务的性能。（链接：https://arxiv.org/abs/2405.17399v1）
• lavague-ai/LaVague：构建AI Web代理的大型动作模型框架。LaVague是一个开源的AI框架，旨在构建Web代理。它利用世界模型将网站数据和目标转换为命令，这些命令由与Selenium或Playwright等工具兼容的动作引擎执行。（链接：https://github.com/lavague-ai/LaVague）
• 视觉语言建模简介。这篇论文概述了视觉语言模型（VLM），讨论了其基础、功能、训练技术和评估策略。它还解决了与视觉数据复杂性和视频内容整合相关的挑战，适合对这一人工智能研究领域的新手。（链接：https://arxiv.org/abs/2405.17247）
• Matryoshka多模态模型。这篇论文介绍了Matryoshka多模态模型（M3），通过提供可调整的视觉标记粒度来匹配推理期间图像的复杂性，从而提高了大型多模态模型（LMMs，如LLaVA）的效率。（链接：https://arxiv.org/abs/2405.17430）

感谢阅读！你还可以订阅我们的YouTube频道，观看大量大数据行业相关公开课：https://www.youtube.com/channel/UCa8NLpvi70mHVsW4J_x9OeQ；在LinkedIn上关注我们，扩展你的人际网络！https://www.linkedin.com/company/dataapplab/。

原文作者：Fabio Chiusano
翻译作者：Qing
美工编辑：过儿
校对审稿：Jason
原文链接：https://medium.com/nlplanet/weekly-ai-and-nlp-news-june-3rd-2024-97d3e1fb5653