正文

深度学习的浪潮已向我们袭来已久，可惜自己的研究方向不是深度学习，倍感惋惜。最近在和同学讨论时，对深度学习方法和传统方法进行了一些思考。现在，我做的仍然是传统的研究方法，在传统方法中，我们趋向于用简单的公式，优化函数等将问题进行建模，然后去寻找最优解。这样的方法简单，有较好的理论基础，并且我们发现这些方法可以适合很多实际应用中的问题，也就是说泛化性能更强。传统的方法更符合我们的认知，即偏向于把复杂的问题进行归纳，简化，然后进行建模求解。传统的方法研究多年，性能提升越来越慢，甚至有的已经到了瓶颈。后来深度学习的方法出现，又刷新了我们新的认知，但是深度学习的理论基础却相对薄弱，这两者对比其实是个有意思的事情。
传统的方法公式函数简单，因此描述能力有限，而各种问题也许并不是我们想像的那么直接。我们以前学过的定理公式很简单优美，但是在有些方面却有着很多近似条件的约束，因此要想精确的描述问题，公式还是会偏向复杂化。深度学习方法中，我把它看作是很多个基函数的组合，这些函数组合在一起经过训练最终能描述一个复杂的问题，至于理论这也许就很难去归纳，推倒。但是，它却能通过函数的组合，网络深度的加深来更好地描述问题，从而也能更好的去解决问题。深度学习方法也有其局限，复杂的东西可能对特定问题解决能力更强，但是对另外的相似问题可能不怎么work，也就是说神经网络需要对特定问题进行训练，它的泛化能力较弱。
我认为深度学习方法是一种更直接的认知问题的方式，问题本身也许就是复杂的，那就用复杂的方法去建模求解，至于理论，很难通过单纯的数学建模问题去解释。目前，我们传统方法的发展也是在偏向复杂化，很多时候，我们发现多加一些约束，或者多设置一些参数，可能就会达到比以前更好的效果。未来，也许就是这样，特定问题用特殊的方法去求解，而不是用一套方法去解决很多问题。

声明

若有错误，欢迎讨论。该博客欢迎分享，转载，但请声明出处，严禁抄袭，仅用于学习。