上世纪80年代,如今的Meta AI首席科学家杨立昆还在读大学。

那时候,深度学习是一个“已被证伪”的技术路线,只有一小撮人在死磕,这其中就包括了一批日本科学家。

杨立昆发现,当时大部分的深度学习论文,都是日本研究人员用英文写的,这些论文给了当时杨立昆很大的启发。

有趣的是,当2024年有人都在发力大模型,日本却在这场浪潮中几乎销声匿迹。

直到前几天,一家要做日语专用生成式AI的本土独角兽才冲了出来。据《朝日新闻》上周六报道,日本生成式AI初创公司SakanaAI即将获得一笔新的重大投资,本月底之前筹集约200亿日元资金(约1.27亿美元),这将使该公司估值达到1800亿日元(约11.42亿美元)。

这是日本独角兽中增长最快的,至此它成立还不到一年。

那么,日本这家人工智能公司是什么来头?日语专用生成式AI的诞生对大模型的发展有什么启示?

/ 01 / “黑魔法”模型合并,日语理解融合语言/数学/视觉

“ChatGPT之父”阿尔特曼(Sam Altman)在5月末预测,中国会诞生有自身特色的大模型。这让我们思考更多的民族拥有文化专属大模型的必要性。

Sakana AI注意到要让AI生成物的文化属性与艺术质感贴近日本文化和用户价值观。“sakana”本身是日语音,写作さかな,读作萨嘎那,意思为鱼。而Sakana AI的logo是鱼形的,官网网站里随处可见各种生成式AI绘制的鱼。

3月,Sakana AI在Hugging Face和GitHub上开源了模仿生物进化机制、结合多个AI来生成高级AI的技术,包括视觉语言模型EvoVLM-JP。4月22日,Sakana AI宣布推出面向教育与日语兼容的高速图像生成模型,用日语解决数学问题的EvoLLM-JP,生成并理解日语图像和文本的模型EvoSDXL-JP。至此,该公司已经推出3个日语专用的生成式AI。

SakanaAI在社交平台X的账号@hardmaru,我还发现模型不局限于日本风格,包括可以生成多种电影风格,效果也十分不错。比如输入“马斯克”和“扎克伯格”等相关提示词,生成图片立马幻视成《搏击俱乐博》的杰克和泰勒在对垒;学友的经典表情包被扩展成“和猫咪共进晚餐”的场景,害我笑了一下。

具体来看, Sakana AI三个模型精通日语,他们在理解复杂的问题,还可以用日本关西方言开玩笑。视觉语言模型EvoVLM-JP了解日本文化的细微差别,例如知道在日本通行灯实际上是蓝色;而EvoSDXL-JP模型注重速度和精度,并能生成符合日本美学的作品。

Sakana AI提出一种进化算法混合匹配人工智能模型的方法,对生成文本和图像的AI基本模型进行研究,他们将现有模型相互交叉组合。(进化算法借鉴了自然进化的概念,使人工智能能够随着时间的推移而进化、适应和改进。)

有意思的是,Sakana AI将模型合并比作为一种“黑魔法”,并在技术博客里放上了中国AI初创公司零一万物“套壳Llama”争议的“黑图”。

从Sakana AI的产品历程来看,今年早些,他们开始利用进化算法来开发更好的方法来训练LLM等基础模型。最近,他们使用LLM作为更好的进化算法,让“LLM发明更好的办法来培训LLM”。

Sakana AI探索了模型合并的两条主要途径,一是修改模型的数据流——可以将其视为基于个性的匹配;二是则侧重于混合其他模型的参数,例如将两个模型的最佳特征结合起来,创造出一个更加出色的模型。

进化算法文化差异的融合是Sakana AI重点关注的方面,他们致力于用日本本土文化叙事提供了AI可能的影响和错误的基本背景解释,在文化细微差别和社会动态的情况下进行AI决策的研究,改善此前缺乏AI可解释性的状况。

/ 02 / 日系生成式AI独苗,外资话语权高

在计算资源似乎非常丰富的时代,人们对扩大机器学习规模并在更大的数据集上训练越来越大的模型感到非常兴奋。

在大模型领域的激烈角逐中,日本AI模型的身影缺席,无论是基础大模型还是应用层模型。在Sakana AI之前,Open Calm、Rinna等“日系”前沿模型在评测中的表现要远逊于GPT-3.5。

难道人工智能的未来是就是由一个耗费大量能源进行训练、运行和维护,并且庞大、单一、无所不知的系统组成吗?日本东京大学哲学博士、谷歌知名研究者David Ha并不认为,他在博客中写到“智慧生命的出现并非源于丰富的资源,而是源于资源的匮乏……人工智能的发展将遵循集体发展路径”。

在上述理念的指引下,David Ha和另一位谷歌研究者Llion Jones,以及日本二手交易平台Mercari执行董事的伊藤錬,三人在去年7月共同在日本东京港区创立Sakana AI。

生成AI是风险投资公司等的资金集中的方向,这支技术背景强大、价值观特别的日本初创AI很快吸引了众多资本的目光。

1月,Sakana AI宣布从Khosla Ventures等公司、NTT集团以及索尼集团共计筹集约45亿日元。2月,Sakana AI被日本政府列入七家获得赠款的公司和实验室之一,以获得使用配备最新图形处理单元的超级计算集群的权限。

就在上周,SakanaAI被推动到冲刺独角兽的位置。该公司在本月底之前将筹集约200亿日元资金(约1.27亿美元,9.23亿元人民币),由美国知名风投New Enterprise Associates(NEA)和现有投资者Lux Capital及Khosla Ventures共同主导,这将使该公司估值达到1800亿日元(约11.42亿美元,83亿元人民币)。

虽然融资形势是鲜花着锦、烈火烹油,但看看身下是AI产业羸弱的日本,Sakana AI有它不得不面临的管理结构和人才问题。

首先是日系资本话语权的问题。从投资股东看,上一轮和这一轮领投的机构都是美国风投,尽管这些美国风投持股比例尚不清楚,但可以确定的是,美国风投的话语权应该不低。

另外,Sakana AI成立在港区,这里以聚集诸多外国大使馆、国际气氛浓厚著称。

联合创始人Ha表示,他们在湾区创立公司是战略错误,因为这很难有差异化。不过,美资在日本开设办事处并投资日本初创,这也许是最好的局面,部分原因是美资的信托责任致所有非日本基金支持者。

另外是本土人才有限的问题。现在日本的AI研究非常依赖“老外”。

RIKEN(理化学研究所)是日本唯一的国家级科研机构,顶级头脑聚集地。汤川秀树等日本诺奖得主,都曾在这儿搞过研究。RIKEN革新智慧综合研究中心负责人杉山将,曾做过一笔统计:

那些被AI顶会收录的RIKEN论文,近一半的作者都隶属于外国大学,其中约一半的人来自中国。

最新消息显示,Sakana AI已收到近1000份工作申请,但只有1/3 来自日本,2/3 来自海外。

/ 03 / 结语:“日本”会诞生有自身特色的大模型

AIGC的主导征地根植于欧美视角,在非欧美文化的情景中的适用性有限,Sakana AI这只日本AI独角兽的诞生标志着人工智能大模型向具备全球能力且适应当地文化的方向迈出一步。

日本的AI,晚开的花,日本是世界第三大经济体,有体量、有钱、有AI发展空间。Khosla Ventures合伙人Jon Chu表示,如果Sakana AI能成为日本的OpenAI,那么它的价值虽然不如美国那个,但它仍然非常有价值。

或许可以仿写一下阿尔特曼的话,“日本”会诞生有自身特色的大模型。

参考链接

[1] https://twitter.com/deedydas/status/1801690724116926941

[2] https://hub.baai.ac.cn/view/37482

[3] https://otoro.net/ml/

[4] https://huggingface.co/spaces/SakanaAI/EvoSDXL-JP