摘要
MicroRNA（miRNA）是短的非编码RNA，通过与信使RNA结合来调节基因表达和生物学过程。预测miRNA及其靶标之间的关系对于研究和临床应用至关重要。已经开发出许多工具来预测miRNA与靶标的相互作用，但是不同的预测工具之间的可变结果导致用户感到困惑。为了解决这个问题，我们开发了miRgo，这是一个集成了许多工具的应用程序。为了训练预测模型，通过能量分布函数获得的来自四个不同数据组合的极值和中值被用来找到最具代表性的数据集。支持向量机用于集成11种预测工具，为了简化特征选择，将这些工具中使用的众多特征类型分为六类：结合能，评分功能，进化证据，结合类型，序列属性和结构。此外，还开发了一种新颖的评估指标Chu-Hsieh-Liang（CHL）指数，以提高用于特征选择的正面数据的预测能力。通过独立的测试集及其功能上重要的基因子集，miRgo在评估方面取得了比所有其他预测工具更好的结果。该工具位于 通过独立的测试集及其功能上重要的基因子集，miRgo在评估方面取得了比所有其他预测工具更好的结果。该工具位于 通过独立的测试集及其功能上重要的基因子集，miRgo在评估方面取得了比所有其他预测工具更好的结果。该工具位于http://predictor.nchu.edu.tw/miRgo。
MicroRNA（miRNA）是短的非编码RNA（〜21个核苷酸），在细胞生物学中具有重要作用。miRNA由结合，然后沉默靶mRNA的翻译参与多种生理过程，包括发育，细胞增殖，凋亡，组织分化和代谢，控制1，2，3，4。研究C的研究人员首先描述了miRNA在基因表达调控中的作用。线虫 ; 他们发现的miRNA 的lin-4能够抑制表达LIN- 14靶基因5。在动物中，miRNA沉默基因表达的机制可以分为三个步骤。第一步，用Drosha和Pasha将编码miRNA的DNA的发夹状转录物（称为初级miRNA）修剪成长度约70个核苷酸的环状结构，从而产生pre-miRNA。然后，pre-miRNA被exportin-5转运到细胞质中，然后被Dicer加工成将发夹结构切割成两条单链。其中一条链成为成熟的miRNA，然后与Argonaute蛋白结合形成RNA诱导的沉默复合物，该复合物阻断mRNA的翻译或诱导mRNA的降解6。
要了解miRNA的功能，首先必须确定其靶基因和结合位点，但是这一任务可能具有挑战性，因为miRNA–mRNA的结合在体内常常是不完全的7，而miRNA靶向特定基因的机制主要是未知。大多数miRNA在5'端附近的2至8个核苷酸区域（“种子区域” 8）与目标mRNA的3'非翻译区（UTR）结合。因为通常在种子区域外部存在不匹配，缺口和G：C摆动，所以有可能通过基于这些特征识别种子区域来推断结合位点。但是，G：C摆动经常发生在种子区域，因此这种方法不可靠9。为了研究miRNA与mRNA的关系，采用了许多实验室方法，例如蛋白质印迹，荧光素酶报告基因分析，绿色荧光蛋白（GFP）报告基因分析，逆转录聚合酶链反应（RT-PCR），细胞中氨基酸的脉冲稳定同位素标记培养已被研究人员使用（脉冲SILAC或pSILAC），微阵列分析，分支DNA探针测定和Northern blotting，但这些实验室方法通常需要大量资源10。为了节省时间和资源，许多研究人员开发了预测miRNA-mRNA结合位点和miRNA基因调控作用的工具11。
先前发布的miRNA目标位点预测工具可分为五类：基于序列的工具，例如TargetScan 12，miRanda 13，PITA 14和PACCMIT-CDS 15；基于能源的工具，例如PicTar 16，RNAhybrid 17，RNAduplex 18和microT-CDS 19；基于机器学习的工具，例如MBSTAR 20，MiRTDL 21，TarPmiR 22和miRDB 23；基于统计的工具，例如RNA22 24；和基于数据库的工具，例如StarMirDB 25。不同工具生成的结果并不总是一致的。在其他在不同工具之间的结果可变性方面存在问题的研究领域中，研究人员通常将多个工具组合到集成系统中。该方法已被证明可成功预测蛋白质相互作用26，蛋白质亚细胞位置27，转录本中的miRNA 28和蛋白质稳定性变化29。在这项研究中，我们集成了现有工具以开发一种新颖的预测系统miRgo，该系统可供全球研究人员免费使用。该系统集成了11种预测工具，并使用miRTarBase 30进行了培训，这是一个miRNA-mRNA相互作用的精选数据库，具有从蛋白质印迹，荧光素酶报告基因分析，微阵列分析和下一代测序获得的360,000个实验室数据条目。
miRgo是使用支持向量机（SVM）算法31和最小冗余-最大相关性（mRMR）特征选择方法32开发的。为了减少训练集的大小和尺寸，根据结合能的极值和中间值进行了滤波，从而获得了三个较小的数据集，这是使用能量分布函数计算的。包括另一个从数据库中随机选择的数据集以进行比较。为了减少特征的数量，将来自不同预测工具的预测结果分为六类-结合能，评分功能，进化证据，结合类型，序列属性和结构-以简化特征选择过程。与其他工具相比，miRgo在10倍交叉验证中显示出更高的准确性33训练集的前30％的功能。对于使用独立测试集的测试，由于马修斯相关系数（MCC），准确性（Acc）以及测试结果解释中的F1得分有限，因此设计了评估函数CHL指数并将其定义为MCC，Acc和F1分数的归一化谐波均值。该索引防止了准确性悖论34问题，并强调了对正数据的预测。通过CHL指数和F1分数评估时，miRgo在独立测试集中及其功能重要基因的子集中表现优于所有其他工具。建立了一个基于miRgo的网站工具，并报告了使用miRgo生成的预测数据，供研究人员将来使用。
miRBase 35版本V21中有2588个人类成熟miRNA序列。我们从miRTarBase 7.0 30版本中获取了322,352条记录，这些记录描述了2588个人类miRNA与14886个靶标之间的关系。为了减少数据的数量和维度，使用了CD-HIT工具包中的CD-HIT-EST 36聚类工具，其序列同一性阈值为0.8。去除序列冗余后，获得了与2588个miRNA相关的292686条记录，并将其定义为总阳性数据集。总负数据集是由Zhang 等人描述的置换方法生成的。37。
为了训练模型，使用了四个训练集：trA，trB，trC和trR。使用由RNAhybrid 17和RNAduplex 18获得的结合能分布函数（图1）从上述记录中选择前三个训练集（trA，trB和trC）。 。通过能量分布函数的正/负（P / N）比分析，可以调整训练集中的正负数据比例。trA数据集共有5176条记录，其中包括正向子集trA_P和负子集trA_N，其中正向子集trA_P包含从最稳定的miRNA-靶对到2588个选定的miRNA的2588条记录，负子集trA_N包含从最不稳定的miRNA-靶对到2588条记录。trB数据集共有10,352条记录，其中包括来自最稳定对和第二稳定对（trB_P子集）的5,176条记录以及来自最不稳定对和第二不稳定对（trB_N子集）的5,176条记录。trC数据集共有10,352条记录，由具有极端和中端结合能的对组成。最后的训练集trR由10,532个随机选择的记录组成。使用21（最初来自TarBase v7.0 38）。在删除了在训练集中重复的数据之后，测试数据包括1,248个阳性记录和241个阴性报告。另外，选择上述测试集中具有基因本体论 39注释的基因以评估模型的准确性。
阳性（红色）和阴性（蓝色）的miRNA–mRNA对结合能的分布。
自2005年以来，已经发布了许多用于预测miRNA与靶标相互作用的计算工具（表 1）。为了构建miRgo预测系统，通过SVM集成了14种预测工具中的11种，开发了一种元预测器：RNA22，RNAhybrid，TargetScan，PITA，miRanda，RNAduplex，microT-CDS，StarMirDB，PACCMIT-CDS，MBSTAR和TarPmiR。PicTar由于其数据库已过时而被排除在集成之外，由于缺少提供的信息而未将miRDB排除在外，并且由于将其用作miRgo的测试集而未集成来自MiRTDL的信息。
要集成预测工具的结果，必须首先集成特征编码系统。预测工具的结果之间的特征编码有所不同。一些预测工具的结果被编码为1和0，分别表示一个绑定对和一个非绑定对。miRanda 13的预测结果被编码为四类：良好的mirSVR 13得分，保守的miRNA（miRanda_S_C）；mirSVR评分高，miRNA非保守（miRanda_S_0）；mirSVR评分不佳，保守的miRNA（miRanda_0_C）；mirSVR得分不高，miRNA保守（miRanda_0_0）。STarMirDB 25的预测结果分为六类：3'UTR种子站点（STMDB_3US），3'UTR无种子站点（STMDB_3ULS），CDS种子站点（STMDB_CS），CDS无种子站点（STMDB_CLS），5'UTR种子站点（STMDB_5US） ）和5'UTR无种子站点（STMDB_5ULS）。为了开发miRgo，从各种工具结果中选择了32种特征类型进行编码，并将其整合为6类：能量，评分功能，进化证据，结合类型，序列特性和结构。表2中列出了所选的功能类型， 并在下面进行了说明。补充表S1中列出了包括的所有特征编码系统 。
基于预测工具STarMirDB 25，PITA 14，MBSTAR 20和TargetScan 12的结果，miRNA与基因结合的种子类型被视为编码特征。为了对这些工具中使用的七个规范种子类型进行编码，构建了一个七维向量。如果在miRNA靶对中存在特定的种子类型，则该种子在载体中的值将设置为1；否则，该值将设置为1。否则，该值设置为0。功能代码显示在补充表 S2中。
TargetScan中的数据集包括结合位置和范围，可以将其编码成结合位点序列的核苷酸组成。此外，来自miRanda，RNAduplex和StarMirDB的预测结果的每个记录（包括有关结合位点开始和结束位置的信息）也可以转换为结合位点序列的核苷酸组成。PITA和MBSTAR中不包含范围信息，因此仅从这些工具获取绑定位置并将其编码为数据。对于没有预测结果的miRNA-靶标对，位置和核苷酸比例的值设置为0。
构建训练集并整合预测方法和特征编码系统后（如上所述，我们基于10倍交叉验证选择了用于训练分类器的数据集。为进一步提高分类器的准确性，许多该模型包括通过增量特征选择（IFS）方法40选择的特征，然后是mRMR方法32的互信息商（MIQ）方案；通过比较Weka工具包中的七个分类器来选择SVM分类器和学习方法41 —贝叶，函数，惰性，元，杂项，规则和树—以及使用LIBSVM的47种学习方法31。由于难以使用当前的评估指标来评估miRgo和其他工具的性能来获得一致的结果，因此开发了一种新颖的评估指标CHL指数，并将在下一段中进行介绍。miRgo开发流程图如图2所示 。
miRgo预测系统的流程图。
为了评估分类器的性能，通常测量四个值：（1）真阳性率（TP），即相互结合并被分类器正确预测为结合对的miRNA-靶标对的比例；（2）假阴性率（FN），是指相互结合但被分类器错误地预测为非结合对的比率；（3）假阳性率（FP），是指彼此不绑定但被分类器错误地预测为绑定对的对的比例；（4）真实负利率（TN），是指彼此不绑定且被分类器正确预测为非绑定对的对的比例。几个评估指标-准确性（Acc），灵敏度（Sn），特异性（Sp），精度，F 1分数和Matthews相关系数（MCC）-可以从TP，FN，FP和TN获得。这些指标示于公式 1 - 6。
如公式1所示，计算总体预测精度的指标Acc 。
Sn（也称为召回率）是检测阳性的能力的指标，如公式2所示 。
Sp是检测负值的能力的指标，如公式3所示 。
精度是预测阳性的准确性的指标，如公式4所示 。
F 1分数或F度量是精度和Sn的加权算术平均值。此分数的范围是从0到1。它表示肯定数据的预测准确性。F 1分数显示在公式 5中。
MCC是一种客观指标，用于评估正面或负面的预测能力。通过平衡正负预测精度的影响，它通常比Sn，Sp或精度更可靠。MCC的范围是-1到1。如果MCC等于1，则预测是完全正确的；如果MCC等于-1，则预测是完全错误的。全正或全负预测将得出MCC为0。MCC如公式6所示 。
在上述预测指标中，Acc似乎是准确性的有用指标，但由于准确性悖论（实际上也会影响F1得分），其实用性实际上受到了限制42。使用MCC可以避免准确性悖论，但是由于仅专注于负面数据预测的工具仍可能会获得较高的MCC分数，因此当正面数据预测很重要时，这是不可靠的。在构建miRgo的过程中，我们发现当比较各种模型时，Acc，F1分数和MCC不一致。为了避免这三个指标的陷阱并解决这些矛盾，我们开发了一个指标CHL指数，它代表Acc，F1得分和MCC'（值范围为0的归一化MCC）的谐波平均值–1）。正向和负向预测数据对CHL指数的影响介于F1分数和MCC之间，因此正向预测数据对CHL指数的权重将高于MCC，负向预测数据对CHL的权重更大指数比F1得分高。 7和8。
正负数据之间的不平衡可能会导致机器学习出现偏差。为了搜索训练集的最佳P / N比，我们设计了使用四种不同P / N比训练的模型。图 3显示，通过CHL指数评估时，P / N比为1：1可获得最佳结果。阳性数据基于2588个miRNA-靶标对。负数据是通过排列和组合生成的。通过随机选择数据集的10次连续SVM运行对模型进行训练。
根据不同的P / N比为各种训练集建立模型性能。对于每个P / N比率，使用六个指标Sn，Sp，Acc，MCC，F1得分和CHL指数生成十个随机采样的训练集，用于绩效评估。
在选择P / N比为1：1的最佳训练集后，使用所选集测试了各种分类器的准确性。测试了Weka工具箱中的五个分类器，包括贝叶斯，函数，惰性，元和树，以及七个算法，并将其与LIBSVM进行了比较。结果显示在补充表 S3中。
为了选择用于模型构建的最佳数据集，对数据集trA，trB，trC和trR进行了10倍交叉验证，选择的子集作为训练集，其他子集作为验证或测试集。表3显示了性能最高的数据集trA的结果 。其他数据集的结果显示在补充表 S4 – S6中。
当使用trA进行测试时，预测模型miRgo-trA在18种工具中的所有指标中均取得了最佳结果（表 3）。在所测试的指标中，Sn显示工具间的差异最大，而Sp显示的差异最小。MCC也显示出明显的差异。工具之间的CHL指数差异小于MCC，但大于Sp。当使用trB进行测试时，预测模型miRgo–trB在18种工具中的所有指标中均取得了最佳结果，但准确性不如miRgo–trA（补充表 S4）。）。其较差的性能可能是因为某些miRNA仅具有一个靶标（即这些miRNA不具有第二稳定的对），因此将使用其他miRNA的第三稳定的结合对（可能具有较弱的结合能）。而是因为某些第二稳定的对具有较弱的结合能。当使用trC进行测试时，预测模型miRgo–trC的性能优于大多数工具，但显示出比TargetScan和TarPmiR更差的Acc，F1分数和MCC，这两个工具可能更侧重于中档数据（补充表 S5）。当使用trR进行测试时，预测模型miRgo-trR在18种工具中的所有指标上均取得了最佳结果，但仍比miRgo-trA差（补充表 S6）。
最佳数据集trA用于最终模型训练。为了评估准确性指标的特征，通过使用trA和各种工具进行测试来测量Acc，F1得分，MCC'和CHL指数之间的相关性（补充图 S1）。Acc与MCC'密切相关，并且与F1得分明显不同；CHL指数与F1评分密切相关，但与Acc和MCC'明显不同。因此，CHL索引可以赋予负数据预测能力更多的权重。
为了选择合适的特征选择方法，我们首先比较了Weka 41工具包中六种特征选择方法（CVAttributeEval，GainRatioAttributeEval，InfoGainAttributeEval，OneRAttributeEval，CorrelationAttributeEval和SymmetricalUncertAttributeEval）在通过trA构建模型时的性能。因为没有有意义的性能差异，所以可以任意选择CVAttributeEval表示Weka方法。然后，将CVAttributeEval与基于增量特征选择（IFS）程序40的mRMR特征选择方法进行比较。表4显示了没有特征选择方法miRgo_trA和两种特征选择方法miRgo_trA_FS-mRMR和miRgo_trA_FS-CVAE的性能 。
在没有特征选择的情况下，由trA集合训练的模型在Sn，MCC和CHL指数上的得分分别为0.9990、0.9973和0.9986。进行CVAttributeEval特征选择后，Sn，MCC和CHL指数分别增加到1.0000、0.9977和0.9988。进行mRMR功能选择后，Sn，MCC和CHL指数分别增加到1.0000、0.9981和0.9990。由于性能更好，因此选择了mRMR方法的MIQ方案进行模型构建。基于通过mRMR方法评估的排名特征，然后使用IFS程序确定最佳特征数。在IFS过程中，已排序的特征列表中的特征从高到低逐一添加，然后获得184个不同的特征子集。IFS曲线 如图4所示，这表明不超过11个最重要特征的几个子集将使CHL指数达到最大值。然后，我们从6种工具中选择11种特征，包括最小的自由能，预测的结合位置和RNAhybrid的p值。TargetScan的上下文得分和种子类型；来自miRanda（A，C）和RNAduplex的核苷酸比例; 来自StarMirDB的预测结合位点的终点，来自RNA22的p值和来自DIANA-microT的miTG得分，用于模型构建。这些功能包括能量，评分功能，绑定类型和序列属性。
特征组合的增量特征选择（IFS）曲线。将按mRMR方法排序的特征从高到低逐一添加到模型中，并通过CHL指数构建和评估184个具有不同特征组合的模型。可以看到，11个最重要的特征的组合使CHL指数达到最大值0.99903。
为了检查是否发生过拟合，在特征选择之前和之后构建的模型上进行了独立测试。该测试表明，对于Sn，A和F1得分，miRgo_trA_FS-CVAE的得分均优于miRgo_trA_FS-mRMR，而对于同时考虑了Sn和Sp的两个指标，MCC和CHL指数的得分则低于miRgo_trA_FS-mRMR。如果考虑阳性和阴性数据，miRgo_trA_FS-mRMR更好，并且CHL指数增强了阳性数据的重要性，同时保留了MCC的准确性悖论解决能力（表 5）。
为了将miRgo_trA_FS-mRMR与其他预测工具的性能进行比较，使用独立的数据集进行了测试。通过Acc，F1得分和CHL指数衡量，miRgo_trA_FS-mRMR的性能优于所有其他工具。miRgo_trA_FS-mRMR表现比任何工具都要差的唯一指标是MCC，其中MBSTAR的得分为0.2807，而miRgo_trA_FS-mRMR的得分为0.1810。MBSTAR的MCC得分较高的原因可能是由于灵敏度低，用1,525条独立数据记录进行测试时，仅生成451条记录。由于缺少833条阳性数据记录和241条阴性数据记录，使用MBSTAR测量MCC可能会错误地高估了基于阴性数据的准确性。由于大多数对miRNA与靶标相互作用的预测都集中在阳性数据上，因此更好的衡量标准是CHL指数，这避免了准确性悖论，同时仍然关注正数据；miRgo_trA_FS-mRMR和MBSTAR的得分分别为0.7316和0.5273。独立测试结果见表 6。
基因本体论资源（GO；http：//geneontology.org）收集有关基因功能的最新科学知识，并提供基因产物的功能注释39。有关基因功能的所有知识均得到科学文献的支持43。因此，带有GO注释的基因表明已经对这些基因的功能进行了某种程度的研究，这暗示这些基因可能是有趣的或功能上重要的。我们对miRgo预测GO注释这些基因的miRNA-靶标关系的表现感兴趣。通过根据基因本体数据库中的三种功能数据进行测试来进行分析：生物学过程，分子功能和细胞成分。独立的测试数据分为三类，所有工具均根据每个类别进行测试。在通过CHL指数评估时，miRgo在所有三种功能数据中的表现均优于所有其他工具，在生物学过程，分子功能和细胞成分方面的得分分别为0.6841、0.6899和0.6945。 5。
功能重要基因集上不同microRNA靶位点预测方法的CHL指数比较。（一）对于具有生物学过程注释的基因。（B）对于具有分子功能注释的基因。（C）对于具有细胞成分注释的基因。
预测miRNA与靶标之间的关系在生物学中很重要，因为预测结合对可为实验生物学家节省时间和材料。在这里，我们描述了集成的工具miRgo，该工具结合了11种功能，涵盖来自六个不同预测工具的结合能，评分功能，结合类型和序列特征。通过能量过滤器分布函数选择最稳定和最不稳定的结合对，获得用于发育的训练集trA。所得分类器在预测正负数据方面显示出很高的准确性，而不会过度拟合。与11个工具的集成相比，六个工具和11个功能的集成在速度和准确性上都更为出色。
关于miRNA与靶标的相互作用，阳性数据的预测比阴性数据的预测更为重要。为了满足这一特定需求，我们开发了一种新的指标CHL指数，该指数更关注Sp而不是F1得分，更关注Sn而不是MCC。例如，STMDB_3US和MBSTAR具有相似的Sn值，但Sp值却大不相同（0.7303和1.0000）（表 6））。这两个工具显示出F1分数相差0.3，但CHL指数相差0.6，表明CHL指数比F1分数更注重Sp。miRNADA_S_0和MBSTAR具有相似的Sp值，但Sn值却大不相同（0.0093和0.3512）。这两个工具的MCC差异为0.2421，而CHL指数差异为0.4789，这表明CHL指数比MCC更关注Sn。因此，CHL指数可能对检查miRNA目标预测模型具有更大的区分能力。
与以前的预测工具相比，使用来自miRBase的最新数据训练了miRgo，其中包含2588个miRNA。当使用来自Gene Ontology数据库的功能数据进行测试并通过CHL索引进行评估时，它的性能要优于所有其他工具。已建立了一个网站（http://predictor.nchu.edu.tw/miRgo）供用户评估miRgo。该工具将基因名称，基因集合ID，Refseq ID，基因序列和miRNA序列作为输入，并生成可能的结合miRNA以外的结合状态预测。
|
|
