每周AI和NLP新闻——2024年6月第2周

每周AI和NLP新闻——2024年6月第2周

Gemini Pro在LMSYS排行榜中排名第二,仅次于GPT-4o,xAI获得60亿美元融资,中国设立470亿美元芯片基金。

以下是由NLPlanet(https://www.nlplanet.org/精选的关于NLP和AI的每周文章、指南和新闻。如果你想了解更多关于AI和NLP的新闻,可以阅读以下这些文章:
每周AI和NLP新闻——2024年6月第2周
每周AI和NLP新闻——2024年6月第1周
每周AI和NLP新闻——2024年5月第4周
每周AI和NLP新闻 – 2024年4月23日

  • 从GPT-4提取概念。研究人员使用稀疏自动编码器将GPT-4的神经网络分解为1600万个人类可解释的特征,以增强对AI过程的理解。然而,完全解读这些特征仍然具有挑战性,限制了现有自动编码器的有效性。(链接:https://openai.com/index/extracting-concepts-from-gpt-4/
  • 消除任何LLM的审查。(链接:https://huggingface.co/blog/mlabonne/abliteration
  • KL是你所需要的一切。作者强调了Kullback-Leibler散度作为机器学习中基本目标的重要性,对于测量概率分布之间的差异和优化各种方法中的模型至关重要。(链接:https://blog.alexalemi.com/kl-is-all-you-need.html
  • AI驱动的工具正在改变任务管理和调度。文章介绍了生产力平台中的AI进展,例如Motion、Reclaim AI、Clockwise、ClickUp、Taskade和Asana,详细说明了它们如何使用机器学习改进任务管理、调度和整体工作流程优化。(链接:https://www.topbots.com/ai-tools-task-management-scheduling/
  • 从一年构建LLMs中学到的东西(第二部分)。文章讨论了使用LLMs开发应用程序的复杂性,强调了高质量数据的重要性、仔细管理模型输出的必要性以及有效整合和维护LLM版本的策略。它强调了早期设计师参与、组建一支技能熟练的团队和培养创新工作环境对于应对 LLM基础产品开发中的独特运营挑战至关重要。(链接:https://www.oreilly.com/radar/what-we-learned-from-a-year-of-building-with-llms-part-ii/
  • Seed-TTS:高质量多功能语音生成模型家族。Seed-TTS包括先进的自回归和非自回归文本到语音模型,能够生成具有情感多样性、说话者相似性和自然性的类人语音,还展示了通过扩散式架构在端到端语音生成和编辑中的熟练程度。(链接:https://arxiv.org/abs/2406.02430
  • 你好 Qwen2。Qwen2系列是对Qwen1.5的进步,推出了五个增强型AI模型,新增支持27种语言以及改进的编码和数学功能。最突出的是Qwen2-72B,提供了更高的安全性,并能理解长达128K词元的上下文。这些模型可在Hugging Face和ModelScope上获得。(链接:https://qwenlm.github.io/blog/qwen2/
  • Transformers是SSMs:通过结构化状态空间对偶的广义模型和高效算法。本文通过矩阵分析展示了Transformers与状态空间模型(SSMs)之间的结构关系,提出了一种理论框架连接二者。它还引入了一种改进的架构Mamba-2,基于其前身Mamba,速度快2-8倍,在语言建模任务中保持了可比的性能。(链接:https://arxiv.org/abs/2405.21060
  • LLM合并竞赛:通过合并高效构建LLMs。本文介绍了一项竞赛,挑战参与者整合多个微调 LLMs以提高其性能和适应新任务的能力。竞争者将利用Hugging Face Model Hub中的预训练专家模型(最多80亿参数),这些模型在研究友好许可下可用。竞赛的目标是通过利用现有模型来最小化从头训练LLMs的成本和挑战。(链接:https://llm-merging.github.io/
  • 基于语法树扩散的程序合成。该论文提出了一种使用神经扩散模型的程序合成方法,通过对语法树进行迭代编辑来细化代码,确保语法正确性,解决现有大型语言模型在没有输出反馈的情况下基于词元的代码生成的局限性。(链接:https://arxiv.org/abs/2405.20519

感谢阅读!你还可以订阅我们的YouTube频道,观看大量大数据行业相关公开课:https://www.youtube.com/channel/UCa8NLpvi70mHVsW4J_x9OeQ;在LinkedIn上关注我们,扩展你的人际网络!https://www.linkedin.com/company/dataapplab/

原文作者:Fabio Chiusano
翻译作者:Dou
美工编辑:过儿
校对审稿:Jason
原文链接:https://medium.com/nlplanet/weekly-ai-and-nlp-news-june-3rd-2024-97d3e1fb5653