详情

作家 | 邵斌团队开云(中国)Kaiyun官方网站 登录入口

剪辑|ScienceAI

2024 年 10 月 30 日，北京理工大学邵斌训诫团队在《Nature Communications》杂志上发表了题为：《A long-context language model for deciphering and generating bacteriophage genomes》的最新接头恶果，好意思满了首个生成式 DNA 大语言模子，megaDNA。

该模子讹诈无标注的（感染细菌的病毒）基因组数据进行预锻真金不怕火，不仅能准确掂量噬菌体的必需基因，更大略生成长达 10 万碱基对的新鲜基因组片断，即像写稿当然语言相通生成 DNA 序列。

另外，模子在学习经由中取得的镶嵌层信息（embedding），还能应用于卵白质功能掂量、基因调控接头，以及无标注 DNA 片断分类等多个下贱任务。

著作结合：https://www.nature.com/articles/s41467-024-53759-4

配景先容

什么是「生成式」语言模子？简单来说，就所以 GPT 为代表的语言模子。自 transformer 架构建议以来，发展出了语言模子的两个门户，一个是 BERT 模子，罗致近似完形填空的形式来锻真金不怕火；一个是 GPT 模子，罗致词语接龙的形式来进行锻真金不怕火。

不错想见，后者更接近普通东说念主言语或者写稿的经由，即逐字地构建句子和段落，因而它具备更遒劲的生成材干，亦然刻下大语言模子的主流架构。生成式任务一方面与东说念主类语言和疏导的神色自然一致，因为遣意造句是交流的基础。另一方面，词语接龙自己是一类比拟难的任务，大略完成这类任务的语言模子本色上还是很好地掌持了序列数据中所蕴含的信息和主意。

为什么要造就针对 DNA 序列的大语言模子？

咱们知说念东说念主类的语言是一种序列信息，而人命的语言 DNA 亦然一种序列信息。生成式大语言模子在东说念主类语言处理和生成上取得了浩大的告捷，成为咱们阅读，学习和写稿的有劲助手。

咱们就想能否把这套材干应用在人命的序列上，即在人命的语言 DNA 上锻真金不怕火大语言模子，从而匡助咱们解读 DNA 编码的信息，贪图出具有特定功能的 DNA 片断，致使构建具有医疗或者工业应用价值的新式微生物。

倘若咱们能像写稿颠倒旨的翰墨相通编写具有功能的 DNA 序列，像阅读论文相通从 DNA 编码中获取有价值的信息，那么这么的模子将具有浩大的学术和应用价值。

模子架构

锻真金不怕火基于 DNA 序列的语言模子既有上风，也有挑战。上风在于锻真金不怕火数据的范围。历史的告戒标明，语言模子的锻真金不怕火效果高度依赖于锻真金不怕火数据的范围大小，数据越多，模子不错作念的更大，锻真金不怕火的效果也会越好。

跟着 DNA 测序时间的速即发展，DNA 序列蓄积的速率非常快，比如一个完好意思东说念主类基因组的测序资本还是从本世纪初的约一亿好意思元着落到刻下的几百好意思元。而这些大范围数据还莫得得到灵验的应用，对机器学习来讲无疑是很大的一个「富矿」。

但是，锻真金不怕火这类 DNA 语言模子也存在艰涩，主要挑战是生成式语言模子难以应用于长序列，输入序列越长而显存消费越大。而关于 DNA 序列，即使是简单的噬菌体（针对细菌的病毒）也经常长达几万个碱基对，传统的 transformer 模子难以对其进行处理。

从旧年头始，语言模子的输入长度问题得到了极大珍摄，接头者建议了好多处分这一问题的时间。

咱们模仿了最新的长读长语言模子的接头适度，即刻下在 Meta 职责的大语言模子大家 Yu Lili 博士建议的多层 Transformer 结构。

咱们模子贪图了三层的 Transformer 结构，用来处理不同精度的 DNA 信息，最终好意思满了约莫 10 万个碱基对的输入长度，这个长度诚然小于东说念主类基因组或者细菌基因组的长度，但还是实足笼罩噬菌体的基因组了。因此，咱们使用完好意思的噬菌体基因组序列看成模子的输入来进行锻真金不怕火。况且，咱们收集了约莫 10 万个高质料噬菌体基因组序列，锻真金不怕火后得到 megaDNA 模子。

图示：模子玄虚。（开头：论文）

重更生成基因组DNA序列

以 GPT 为代表的生成式语言模子最紧迫的材干之一是产生全新的具有丰富内涵的翰墨序列。咱们讹诈 megaDNA 模子生成了一千条新鲜的基因组 DNA 序列，并讹诈软件 geNomad 对序列进行系统评估。

这些东说念主工生成的基因组序列平均长度为 4.3 万碱基对，包含 67 个掂量基因，这些特征与锻真金不怕火数据中的真正噬菌体基因组高度相似。其中 22% 的序列被识别为有尾噬菌体目（Caudoviricetes）。

在抒发调控方面，这些序列具有完好意思的可能领路功能的基因抒发系统，包括典型的细菌启动子序列（-35 和-10 区），其 5 端非翻译序列的转录活性显赫高于立地 DNA。同期在肇端密码子 ATG 前具有富含 A 和 G 碱基的核糖体结合位点（RBS）。通过 EMSFold 进行结构掂量，适度表示这些掂量的基因大略酿成灵验的卵白质折叠结构。

在功能方面，掂量基因编码了噬菌体所需的重要功能卵白，涵盖尾部结构、DNA 代谢、头部拼装以及细胞裂解等功能。值得一提的是，这些生成的基因组序列以及掂量基因跟已有的锻真金不怕火数据具有极低的序列相似性。

必需基因的无监督掂量

megaDNA 模子的另外一个应用是之前模子或者生物信息学软件很难好意思满的，即是必需基因的掂量。必需基因的含义在于如若这些基因丧失了功能，噬菌体就不可完成完好意思的复制的经由。

施行上笃定必需基因十分繁琐而耗时，经常需要对每个基因进行敲除施行来不雅察噬菌体能否频频复制。而咱们的模子大略在不经过任何调理和颠倒锻真金不怕火的情况下，对必需基因进行计较掂量。

咱们在 lambda 噬菌体这种全球庸碌接头的模式生物上作念了考据，针对基因组序列进行了基因敲除的模拟施行，对基因组不同位置片断进行突变，讹诈语言模子计较序列蚀本，并与本色的 CRISPR 基因敲除施行适度进行平直比对。

计较发现模子掂量的高突变蚀本区域与施行考据的必需基因高度重合，相应的掂量准确度（AUROC）达到0.86。

进一步念念考，咱们的模子不错在几万个噬菌体基因组上得到应用，极大提高找寻对应必需基因的效力。

论断

综上，该接头展示了生成式语言模子在基因组序列分析和生成上的浩大后劲，为噬菌体基因组细心和功能序列贪图拓荒了全新的旅途。

诚然刻下生成的基因组片断还未能好意思满噬菌体的完好意思人命功能（如灵验自我复制）。但该接头及后续职责为重新贪图以噬菌体为代表的完好意思生物体基因组奠定了新的计较基础，有望在医疗、农业、食物安全等多个范围取得庸碌应用。

北京理工大学准聘训诫邵斌（前 Broad Institute 计较科学家）为著作的第一作家兼通信作家。上海孤立接头者闫嘉伟博士为该职责提供了紧迫复旧。

代码：https://github.com/lingxusb/megaDNA