OpenAI多模态团队负责人Alexander Kirillov离职，GPT-4o研发受双重打击

刚刚， 多模态团队负责人 官宣离职。

一位GPT-4o多模态核心离职，一位加入前CTO阵营，对来说简直是双重打击。

GPT-4o多模态关键大佬

在， 带领团队致力于多模态模型的研发工作，推动模型不仅能够处理文本，还能同时理解和生成图像、音频等多种数据。

他参与并主导了备受瞩目的「 」项目，该项目不仅推出了一个交互式演示系统，还发布了包含11亿个mask的大规模数据集及相关代码。

在，他领导了GPT-4o的训练后多模态工作，负责将GPT-4o的文本、图像、音频和视频处理能力整合到一个统一的模型中，并优化其性能。

论文地址：

GPT-4o是一种自回归全能模型，可以接受文本、音频、图像和视频的任意组合作为输入，并生成文本、音频和图像的任意组合作为输出。

它在英语文本和代码方面的性能与GPT-4 Turbo相当，但在非英语语言文本方面有显著改进，同时在API中速度更快，成本降低了50%。

的工作对于GPT-4o实现多模态理解和生成至关重要，使得GPT-4o能够更好地理解和处理多种类型的信息，并以更自然、更直观的方式与用户交互。

SAM一作，多次与何恺明、谢赛宁联手

在Meta任职期间， 曾与何恺明、谢赛宁等大佬一起合作了多篇论文。

在爆火论文「分割一切」（ ）中，他是项目负责人。

构建了一个用于图像分割的基础模型，它包含三个相互关联的组件：可提示的分割任务、分割模型 (SAM) 和数据引擎。

此外，团队还使用数据引擎构建了当时最大的分割数据集SA-1B，其中包含1100万张图像和超过10亿个掩码。

论文地址：

于2023年8月加入。

在此之前，他曾担任 AI研究院（FAIR）的研究科学家，专注于计算机视觉研究。

2018年，他在德国海德堡大学获得计算机科学博士学位，导师是 。

他的研究兴趣集中在视觉推理和结构化计算机视觉问题。研究成果多次发表于CVPR、ICCV、NIPS和ICRA等国际顶级学术会议。

2017年，他作为主要成员，赢得了COCO Stuff分割挑战赛。2018年，他在ECCV组织了COCO全景分割挑战赛。

截至目前，总被引数高达4万。

联创火速入职前CTO初创

昨天，联合创始人John 才刚刚官宣离职；今天又被曝出加入了由前首席技术官Mira 创立的 Lab 。

作为一位资深AI研究员，曾带领团队开发了多项创新技术，为的成功做出了重要贡献。

在去年秋季高层出现动荡期间，包括在内的多位高管相继离职。当时也选择加入了竞争对手。

如今，在短短的半年之后，两位老同事再次重聚。

Lab

并不是Mira 唯一的「前同事」。

初创企业 Lab，已经成功从挖来多位重量级研究人员，其中包括：

前后训练负责人 Zoph：致力于对齐、工具使用、评估、、搜索、多模态等等。

前高级研究员Luke Metz：初始团队的一员，参与了的前身「低调的研究预览」产品

前研究员Sam ：专研机器学习和统计物理

据了解，在与潜在投资者沟通时表示，公司的目标是开发能够执行复杂任务的AI系统。

2024年，进行新一轮股权融资时，Mira 突然辞去首席技术官一职。

随后，她迅速开始招募原来的同事，筹备创立自己的AI初创公司，并已完成逾10亿美元融资。

计划将新公司命名为 Lab，可能是向科幻小说《沙丘》里的智能「思考机器」致敬。

特拉华州的注册文件显示， Lab是一家公益公司。

这种架构允许企业在追求利润的同时兼顾社会影响，能在一定程度上防范激进投资者的干预。

这与正在寻求的转型不同，采用公益公司结构的初创企业，如和xAI，在决策时必须声明其公共效益目标，并在股东利润之间寻求平衡。

目前，公司具体的业务方向还未明朗。但根据她对潜在投资者的说法，公司致力于开发AI智能体。

至少有一点是确定的： Lab正在重点从挖人。