【新智元导读】OpenAI送走一波人，又来了一波人。最新报道称，微软Phi系列模型核心leader准备加入OpenAI，未来继续研究AGI。同时，离职后的CTO被曝或在创业融资，还要从OpenAI挖人。
Information爆料称，微软AI副总Sebastien Bubeck即将离职，加入OpenAI继续投身开发AGI。另一边，前脚离职OpenAI的CTO Mira Murati似乎也要自立门户寻求融资。而且，她还要从前东家挖人，一直与OpenAI员工讨论可能创业的下一个项目。此前，离职后的Karpathy创办了一家名为Eureka Labs的AI教育公司；Ilya创办了SSI安全超级智能公司...有网友表示，OpenAI正打开AI初创企业的生态系统。
有Sebastien Bubeck这样的大佬加入，也是OpenAI幸事。Bubeck在微软任职已有十年，此前在普林斯顿大学担任了3年的助理教授。过去两年里，他在微软最为人熟知的贡献在于——领导团队开发了Phi系列小模型。23年6月，Phi-1小模型首次亮相，便以优异的成绩击败了GPT-3.5。正如论文标题所言，「教科书级」数据才铸就了高性能的小模型。至此，「教科书级数据质量」成为了他们的一种坚定信仰。
论文地址：https://arxiv.org/pdf/2306.116443个月后，研究人员迭代出Phi-1.5，13亿参数就能跑通代码、聊天问答等场景。12月Phi-2横空出世，更是取得了「以小博大」的成功。仅以27亿参数，就击败了比自己大25倍的模型。再到今年4月，原团队发布了Phi-3系列模型，包含了mini（38亿参数）、small（70亿参数）和medium（140亿参数）三个版本。论文称，Phi-3可以在iPhone上运行，每秒即可生成12个token。
论文地址：https://arxiv.org/pdf/2404.14219到了8月，最新一版的Phi-3.5出世，上下文达到了128k，并且首次引入了MoE架构、视觉模型。这些模型在测试基准上，击败了谷歌Gemini 1.5 Flah、Llama 3.1-8B。甚至，在某些基准上，还超越了GPT-4o。在Scaling Law信仰下，一直奔向万亿参数LLM科技巨头，转向SLM领域在业界引发一场热议。Bubeck曾在去年一篇研究论文中指出，Phi模型使用OpenAI模型生成数据进行了训练，相较于GPT系列模型，它的参数规模更小，运行成本更低，还能够实现几乎一致的性能。OpenAI每次发布模型后，微软紧跟着将其植入到自家产品，必应搜索、聊天机器人、办公全家桶、Copilot AI中。但随着时间推移，微软已经在某些功能中，逐步采用Phi模型。微软CEO纳德拉在过去一年里多次赞扬 Phi，将其定位为微软掌握的几个开源AI模型之一，表明公司并不完全依赖OpenAI的模型。Bubeck表示，自己目前更加专注于理解「智能如何在LLM中出现的」，以及如何利用这种理解来提升LLM性能，最终建立AGI。他更愿将这样的方法称之为「AGI物理学」，通过在不同尺度（参数、神经元、层、数据课程...）中发现。AI系统的各个部分如何组合，才能创造出LLM惊人的行为？
地址：https://www.youtube.com/watch?v=XLNmgviQHPA目前，Bubeck在OpenAI的具体职责，尚不清楚。网友有一种强烈预感，OpenAI下一代小模型即将要来。微软发言人在声明中表示，Bubeck已经决定离开，未来将进一步推进AGI的研发工作。我们期待他在OpenAI工作继续保持合作。虽然领头人已经离开，Phi论文大多数合著者依然留在微软，并计划继续开发模型。
在招聘和留住人才方面，OpenAI可谓是腹背受敌。是的，它如今正要应对来自一位刚刚离职员工的挑战——前首席技术官Mira Murati。正如前文所说，Murati下一个可能计划去创业，但还有一种可能性，是加盟前OpenAI副总Barret Zoph即将创办的新公司。据称，OpenAI的一些研究员，可能会对Murati创业提议感兴趣。Fedus实际上接棒了Barret Zoph的职位，他们曾在谷歌AI团队任职。后者在上个月25日，与Murati、研究主管Bob McGrew同时突然宣布离职。最近，还有一位ChatGPT开发者之一Luke Metz宣布离职，这一事件早于OpenAI员工股份回购计划。OpenAI正努力应对，来自竞争对手的高薪招募。尤其是， Ilya Sutskever创业的新公司。
巧的是，OpenAI的安全研究副总裁Lilian Weng，同一天在推上发了一条招聘启事：「我们正在招聘安全研究领域的研究科学家和工程师，热忱欢迎各路人才加入！研究方向广泛，包括但不限于：安全模型行为训练、对抗性鲁棒性研究、AI在医疗保健领域的应用、前沿风险评估等多个激动人心的领域。」不过，对于现在的OpenAI，网友们并不相信他们会搞什么模型安全。https://www.theinformation.com/briefings/microsoft-ai-researcher-sebastien-bubeck-to-join-openai?rc=epv9gihttps://www.theinformation.com/articles/openais-newest-possible-threat-ex-cto-murati-googles-mini-chatgpt-moment
https://x.com/lilianweng/status/1845833878256120004
