深度学习是数学与编程结合最紧密的领域之一，对计算有着大量的需求，而显卡GPU的CUDA引擎，在处理矩阵等数据量庞大的并行计算的时候，CUDA计算优势明显。人工智能发展至今，我们见识了从1998年LetNet的诞生到当今的百花齐放，得益于大数据和云计算，开发者们在本地尝试原型设计，然后在云端上开展最终的训练，可以说当今已经不受计算速度的影响了，只要你感想、感设计，基本就足够了。
0. 本地GPU天梯图
在桌面端，做深度学习计算，有点类似做影视后期合成，设计阶段只需要符合一定标准就行，输出阶段的快慢，就看你的时间成本。以我个人5年前配置的GTX 1070为例，当时售价3K多，现在淘宝已经降价到1.6K。如果拿来做影视设计或者深度计算的原型设计，基本够用。
深度计算依赖显卡的专业内存和CUDA核心数，两者是越大越好。想要查看CUDA核心数，可以安装CUDA驱动，然后到C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.0\extras\demo_suite目录下执行deviceQuery.exe就可以查看到。
总的来说，最好的经验法则是：如果用RNN，请看带宽；如果用卷积，请看FLOPS；如果有钱，上Tensor Cores（GTX2080/3080Ti）。个人认为，深度学习的体验，只要达标了，基本就足够了，毕竟我们在本地只是用来做原型设计，数万或百亿数据资源，在原型设计的时候可以少用一些数据或训练次数，探索好原型之后，再去云端计算，是非常友好的顺序。
1. 云端GPU
云端GPU计算，当今已经非常成熟了，市场价格为3元~百元不等梅/小时，对一般的计算而言，花不了百元就可以训练好结果。国内如阿里云GPU、百度云AI实验室等等，还有百度能搜索到的一些小公司，都有付费业务。海外主要以谷歌、微软、aws为主。下面就来列举下使用体验。
我常用的是谷歌的Colab实验室，GitHub的资源可以直接使用，也可以对接谷歌云盘，最重要的是资源随时可用，想要GPU硬件资源也是可以设置的。不过免费资源有限，要稳定使用高配显卡资源，可以付费，价格非常低，每月9.99$。Colab 中的可用 GPU 通常包括 Nvidia K80、T4、P4 和 P100。
昨天在谷歌collab跑了一段最新的BiT-L分类CIFAR-10的算法，谷歌免费提供了P100显卡，整个过程用时大概2分钟左右，相同环境的代码，在个人电脑上运行的时候，整整跑了快3小时多。
国内GPU计算相对而言不太友好，阿里云目前不提供免费的云计算服务，百度云AI实验室提供云计算，不过非常头疼的是，实测tensorflow pytorch都不给装，必须得用paddlepaddle，这无疑掐断了深度学习的一大批爱好者。
我入门深度学习，都是从Pytorch开始的，主要是因为其代码为python风格，以及文献研究中Pytorch使用率超过tensorflow已经成为主流。
2. 如何正确使用本地资源和云端资源？
个人建议，对于不熟悉的GitHub项目，可以在云端跑，顺便看下解决问题的思路及结果。如果非常感兴趣，肯定要在本地跑起来，前前后后多折腾几遍，借鉴别人的代码结构和模型，以方便用于个人项目。在本地跑原型的时候，训练次数甚至资源量都可以调低一点，卷积神经网络，只要输入输出正常，剩下的就是原始数据扩展和训练次数增加了，这个可以迁移到云端去操作。
vscode里写jupyter是非常友好的，毕竟整个扩展插件都支持。云端微调还可以，如果你非得在云端从头写代码肯定是件不科学的事情。
3. 深度计算究竟有何魅力？
经过近一周的学习，我发现这才是计算机对人类的最大用途，传统软件依靠人类设计规则，而深度计算，则是数亿个神经网络的自拟和过程，不论是图像资源、语音文本资源，还是纯数据分析，深度计算带给我们预测未知的能力，这就是最大的魅力。
4. 深度计算究竟能干些什么？
用途非常广泛，我们已经见识过围棋AI、游戏剧本AI、人像转漫画、COVID19疫情CT阳性AI检测、植物分类AI等等。都有一个共同的特点，就是面向未知，准确的说是面向特定领域的未知，给出非常拟人的识别度、准确度，甚至基于计算性能的博弈结果。这方面的社区资料，堪比GitHub，最常用的网站有kaggle.com、paperswithcode.com，国内这方面只有百度AI实验室比较活跃，有兴趣的可以去积极学习下。
