2022 ICLR | CONTRASTIVE LEARNING OF IMAGE- AND STRUCTURE BASED REPRESENTATIONS IN DRUG DISCOVERY

CLOOME:一个基于多模态对比学习的分子表征工具

本文章是约翰·开普勒林茨大学Ana Sanchez-Fernandez 团队最新发表在ICLR 2022，其主要内容：此前，对比学习方法CLIP和CLOOB就已经证明，当在多个模态数据上进行训练时，学习到的表征可以高度迁移到大量不同的任务中去。在药物发现领域，分子图像和化学结构是类似的多模态数据集，目前还没有在这两者上做对比学习的工作，这种方法在标签成本高昂的药物发现领域极具研究价值。因此该工作从易获取的分子显微图像和结构入手，提出一种基于CLOOB(Contrastive Leave One Out Boost)的新的对比学习方法——CLOOME(Contrastive Leave One Out Boost for Molecule Encoders)。通过对分子活性预测任务进行线性探测，证明了该方法可迁移表征的能力，此外，这种表征同样可以用于生物异构的替代任务。

方法

该工作从分子的显微图像和化学结构数据对中对比学习分子的表征，以获得高度可迁移的分子编码器(如图1所示)。CLOOME相比于传统分子编码器或手工提取分子特征，其最大的创新在于能在没有活性分子数据的输入或者人工先验知识的情况下优化分子的表征。

训练数据由N对扰动分子细胞显微镜图像和分子化学结构组成：$\{(x_1,z_1),...(x_n,z_N)\}$。假设自适应图像编码器$h^x(.)$和自适应结构编码器$h^z(.)$可以将图像和化学结构分别映射到$embedding{x}_n=h^x(x_n)$和$z_n=h^z(z_n)$。如图1(a)，将堆叠的显微图像的embeddings（即经过图片编码器编码后的特征）记为$X=(x_1,...x_N)$，经过结构编码器的embeddings记为z={z1…，zN}z=\{z_1…，z_N\}z={z1​…，zN​}。对比学习的目标旨在提高匹配对的相似度，降低不匹配对的相似度。该目标通常通过最小化InfoNCE损失以最大化嵌入的相互信息来实现：
$$L_{infoNCB}=-\frac{1}{N}\sum _{i=1}^{N}In\frac{exp({\tau }^{-1}{x}_i^T{z}_i)}{{\sum }_{j=1}^{N}exp({\tau }^{-1}{x}_i^T{z}_j)}-\frac{1}{N}\sum _{i=1}^{N}ln\frac{exp({\tau }^{-1}{x}_i^T{z}_i)}{{\sum }_{j=1}^{N}exp({\tau }^{-1}{x}_j^T{z}_i)}$$

但使用这种InfoLoss容易过度呈现部分特征，而其他特征被忽略。因此本工作以CLOOB为基础进行对比学习的优化。

CLOOB方法。首先从存储的图像嵌入$U$和结构嵌入$V$中检索图像嵌入和结构嵌入，$U_{x_i}$，$U_{z_i}$；分别表示图像检索到的图像嵌入和结构嵌入，与CLOOB类似，利用modern Hopfield 网络进行检索：

$$\begin{gathered} U_{x_i}=Usoftmax(\beta U^T{x}_i) \\ {V}_{x_i}=Vsoftmax(\beta V^T{x}_i) \\ {U}_{z_i}=Usoftmax(\beta U^T{z}_i) \\ {V}_{z_i}=Vsoftmax(\beta V^T{z}_i) \end{gathered}$$
然后，将InfoLOOB损失作为目标函数:

显微镜图像编码器显微图像与自然图像存在着些许差异，比如染色会影响图像通道数，本文所有实验都采用5个输入通道的ResNet-50作为编码器，并将显微镜图像缩小到320*320。

分子结构编码器 CLOOME使用基于描述符的全连接网络。此外，经过了适当池化操作的图神经网络、消息传递神经网络或基于序列的神经网络都能作为结构编码器。

结果

图 2. 检索任务结果示例。给定一张显微图片，CLOOME能从数个分子结构中检索到与显微图片对应的分子结构(图中蓝色框为匹配到的分子结构)。CLOOME可用于提取可对处理过的细胞产生类似生物效应的分子，即生物异构体。