专利内容由知识产权出版社提供
专利名称：深层神经网络的辨别预训练专利类型：发明专利
发明人：弗兰克塞得,邓丽,俞栋,李钢申请号：CN201210488501.X申请日：20121126公开号：CN103049792A公开日：20130417
摘要：本发明公开了深层神经网络的辨别预训练。提出了预训练深层神经网络（DNN）的隐层的辨别预训练技术实施例。大体上，首先利用误差反向传播（BP）使用标签来辨别地训练单隐层神经网络。然后，在丢弃之前的单隐层神经网络的输出层之后，连同新输出层在之前训练的隐层的顶上添加另一随机初始化的隐层，所述新输出层表示分类或识别的目标。然后利用同一策略辨别地训练作为结果产生的多隐层DNN等等，直到达到期望数量的隐层。这产生了预训练的DNN。所述辨别预训练技术实施例具有如下的优点：使得DNN层权重接近良好的局部最优，而仍使其留在具有高梯度的范围内，从而能够有效地对其进行微调。
申请人：微软公司
地址：美国华盛顿州
国籍：US
代理机构：北京集佳知识产权代理有限公司
更多信息请下载全文后查看