问：
- 为什么深度网络会比浅层网络效果更好？众所周知，有一个隐含层的网络实际上是一个全局逼近器，添加更多全联通层次通常会改进效果，这种情况有没有理论依据呢？我所接触到的论文都声称确实改进了效果，但是都语焉不详。
- 在您没有发表的想法里面，您最中意哪一个？
- 您曾经审阅过的最可笑或者最奇怪的论文是什么？
- 如果我没弄错的话，您用法语授课，这是个人爱好还是学校的要求？
答：全局逼近器并不会告诉你需要多少个隐含层。对于不确定的函数，增加深度并不会改进效果。然而，如果函数能够拆分成变量组合的形式，深度能够起到很大作用，无论从统计意义（参数少所需训练数据就少）来讲，还是从计算意义（参数少，计算量小）来讲。
我用法语教书是因为Montreal大学的官方语言是法语。不过我的毕业生里面四分之三都不是以法语为主要语言的，感觉没什么影响。关于在Montreal生活，我的学生写了一个生活描述，提供给申请的同学们参考。Montreal 是个很大的城市，有四所大学，非常浓厚的文化氛围，贴近自然，生活质量（包括安全）全北美排第四。生活成本相对其他类似城市也低很多。
问：众所周知，深度学习已经在图像、视频和声音上取得了突破，您觉得它能否在文本分类上也会取得进展呢？大部分用于文本分类的深度学习，结果看起来跟传统的SVM和贝叶思相差无几，您怎么认为？
答：我预感深度学习肯定会在自然语言处理方面产生非常大的影响。实际上影响已经产生了，跟我在NIPS 2000年和JMLR 2003年的论文有关：用一个学习出来的属性向量来表示单词，从而能够对自然语言文本中单词序列的概率分布建模。目前的工作主要在于学习单词、短语和句子序列的概率分布。可以看一看Richard Socher的工作，非常的深入。也可以看看Tomas Mikolov的工作，他用递归神经网络击败了语言模型的世界纪录，他研究出来的分布，在一定程度上揭示了单词之间某些非线性的关系。例如，如果你用“意大利”这个单词的属性向量来减去“罗马”的属性向量，再加上“巴黎”的属性向量，你能得到“法国”这个单词或者相近的意思。类似的，用“国王”减去“男人”加上“女人”，能得到“王后”。这非常令人振奋，因为他的模型并没有刻意的设计来做这么一件事。
问：我看到越来越多的杂志报道深度学习，称之为通往真正人工智能（AI）的必经之路，连线杂志是“罪魁祸首”啊。鉴于人工智能在七八十年代的低潮（当时的人们也是对此期望颇高），您觉得深度学习和机器学习研究者应该做一些什么来防止类似再次发生呢？
答：我的看法是，还是要以科学的方式来展示研究进展（就这一点，很多标榜自己从事深度研究的公司都做不到）。别过度包装，要谦虚，不能将目前取得的成绩过度消费，而是立足一个长远的愿景。
问：首先您实验室开发的theano和pylearn2非常赞。四个问题：
- 您对于Hinton和Lecun转战工业界啥看法？
- 比起私人公司里闷头赚大钱，您觉得学术研究和发表论文的价值在于？
- 您觉得机器学习会不会变得和时间序列分析领域一样，很多研究都是封闭的，各种知识产权限制？
- 鉴于目前判别式神经网络模型取得的进展，您觉得产生式模型未来能有什么发展？
答：我觉得Hinton和Lecun投身工业界，会带动更多更好的工业级神经网络应用，来解决真正有趣的大规模问题。遗憾的是深度学
习领域可能短期少掉很多给博士申请同学们的offer。当然，深度研究领域的第一线还是有很多成长起来的年轻研究者，很愿意招收有能力的新同学。深度学习
在工业界的深入应用，会带动更多的同学了解和理解这个领域，并投身其中。
个人来讲，我喜欢学术界的自由，而非给薪水上多加几个零。我觉得就论文发表来讲，学术界会持续产出，工业界的研究所也会保持热情高涨。
产生式模型未来会变得很重要。你可以参考我和Guillaume Alain关于非监督学习方面的文章（注意这两者并不是同义词，但是通常会一起出现，尤其是我们发现了自动编码器（auto-encoder）的产生式解释之后）。
问：在您工作的启发下，我去年用概率模型和神经网络完成了关于自然语言处理（NLP）的本科论文。当时我对此非常感兴趣，决定从事相关领域的研究，目前我在攻读研究生，还听了一些相关课程。
但是，过了几个月，我发现NLP并没有我想象的那么有意思。这个领域的研究人员都有那么一点迟钝和停滞，当然这是我的个人片面看法。您觉得NLP领域的挑战是什么？
答：我相信，NLP里面真正有意思的挑战，即“自然语言理解”的关键问题，是如何设计学习算法来表示语意。
例如，我现在正在研究给单词序列建模的方法（语言模型）或者将一个语言里的一句话翻译成另一个语言里同样意思的一句话。这两种情况，我们都是在尝试学习短
语或者句子的表示（不仅仅是一个单词）。就翻译这个情况来讲，你可以把它当成一个自动编码器：编码器（比如针对法语）将一句法语句子映射到它的语意表示
（用一个通用方法表示），另一个解码器（比如针对英语），可以将这个表示依照概率分布映射到一些英文句子上，这些句子跟原句都有一样或者近似的语意。同样
的方法，我们显然可以应用到文本理解，稍微加上一点额外的工作，我们就可以做自动问答之类的标准自然语言处理任务。目前我们还没有达到这个水平，主要的挑战我认为存在于数值优化部分（训练数据量大的时候，神经网络很难训练充分）。此外，计算方面也存在挑战：我们需要训练更大模型（比如增大一万倍）的能力，而且我们显然不能容忍训练时间也变成一万倍。并
行化并不简单，但是会有所帮助。目前的情况来讲，还不足以得到真正好的自然语言理解能力。好的自然语言理解，能通过一些图灵测试，并且需要计算机理解世界
运行所需要的很多知识。因此我们需要训练不光仅仅考虑了文本的模型。单词序列的语意可以同图像或者视频的语意表示相结合。如上所述，你可以把这个结合过程
认为是从一个模态向另一个模态的转化，或者比较两个模态的语意是否相似。这是目前Google图片搜索的工作原理。
问：我正在写本科论文，关于科学和逻辑的哲学方面。未来我想转到计算机系读硕士，然后攻读机器学习博士学位。除了恶补数学和编程以外，您觉得像我这样的人还需要做些什么来吸引教授的目光呢？
答：
- 阅读深度学习论文和教程，从介绍性的文字开始，逐渐提高难度。记录阅读心得，定期总结所学知识。
- 把学到的算法自己实现一下，从零开始，保证你理解了其中的数学。别光照着论文里看到的伪代码复制一遍，实现一些变种。
- 用真实数据来测试这些算法，可以参加Kaggle竞赛。通过接触数据，你能学到很多；
- 把你整个过程中的心得和结果写在博客上，跟领域内的专家联系，问问他们是否愿意接收你在他们的项目上远程合作，或者找一个实习。
- 找个深度学习实验室，申请；
这就是我建议的路线图，不知道是否足够清楚？
问：教授您好，蓝脑项目组的研究人员试图通过对人脑的逆向工程来建造一个能思考的大脑。我听说Hinton教授在某次演讲的时候抨击了这个想法。这给了我一个印象，Hinton教授觉得机器学习领域的方法才更可能造就一个真正的通用人工智能。
让我们来假想一下未来的某一个时候，我们已经创造出了真正的人工智能，通过了图灵测试，它活着并且有意识。如果我们能看到它的后台代码，您觉得是人脑逆向工程造就了它，还是人造的成分居多？
答：我不认为Hinton教授实在抨击人脑逆向工程本身，即他并不反对从人脑中学习如何构建智能机器。我猜测他可能是对项目本身的质疑，即一味的尝试拿到更多大脑的生理细节，而没有一个全局的计算理论来解释人脑中的计算是如何进行和生效的（尤其是从机器学习的角度）。我记得他曾经做过这么一个比喻：想象一下我们把汽车所有的细节都原封不动的复制过来，插上钥匙，就期待汽车能够在路上自己前进，这根本就不会成功。我们必须知道这些细节的意义是什么。
问：有没有人将深度学习应用到机器翻译中呢？您觉得基于神经网络的方法，什么时候才能在商业机器翻译系统中取代基于概率的方法呢？
答：我刚开了一个文档，
罗列一些机器翻译方面的神经网络论文。简单来说，由于神经网络已经从语言模型上胜出了n-grams，你可以首先用它们来替代机器翻译的语言模型部分。然
后你可以用它们来代替翻译表（毕竟它只是另一个条件概率表）。很多有意思的工作都正在开展。最宏大和让人兴奋的是完全摒弃现在的机器翻译流水线方法，直接
用深度模型从头到尾学习一个翻译模型。这里有意思的地方在于，输出结果是结构化的（是一个单词序列的联合分布），而不简单的是一个点预测（因为对于一个原
句来说，有很多翻译的可能性）。
网有补充资料：纽约时报有一篇文章谈到了从英语到普通话的，微软出品。
| 
