2012年10月29日，傍晚。
义大利，佛罗伦斯。
古老的文艺復兵之城在夕阳下泛著金色的光芒。
阿诺河静静流淌，远处圣母百花大教堂的穹顶在晚霞中显得格外壮丽。
陈阳站在酒店房间的窗前，看著窗外的风景。
这是他第一次来欧洲，第一次参加国际学术会议。
身后，传来敲门声。
“陈阳，准备好了吗？晚上的欢迎晚宴快开始了。“
开口的是朱军教授，水木大学计算机系的教授，这次也来参加eccv会议。
得知陈阳要来做演讲，朱军主动提出带他一起来，一路上照应这个第一次出国的大一学生。
“好了，朱老师。“陈阳拿起西装外套穿上。
镜子里的少年，穿著得体的深蓝色西装，头髮梳得整齐，眼神中带著超越年龄的沉稳。
“走吧。“
朱军笑著说，“今晚来的都是计算机视觉领域的顶尖人物，好好认识一下。“
会议酒店的宴会厅里，水晶吊灯发出柔和的光芒。
身著正装的学者们三三两两地聚在一起，端著红酒交谈著。
空气里瀰漫著香檳和烤牛排的味道，还有各种语言交织的低语声。
陈阳跟著朱军走进大厅，立刻感受到了几道目光落在自己身上。
“朱，好久不见！“
记住我们101看书网
一个满头银髮的老者走过来，用略带口音的英语打招呼。
“安德鲁！“
朱军热情地握手，“你也来了！“
安德鲁·齐瑟曼，牛津大学的教授，计算机视觉领域的传奇人物之一。
“这位是？“齐瑟曼的目光落在陈阳身上。
“我的学生，陈阳。“
朱军介绍道，然后压低声音补充，“star city data的那个。“
齐瑟曼的眼睛瞬间亮了。
“你就是陈阳？“
他用力握住陈阳的手，“天啊，我还以为你至少是个博士后！“
“您好，齐瑟曼教授。“
陈阳用流利的英语回应，“很荣幸见到您。“
“荣幸的是我！“
齐瑟曼激动地说，“6.5%！你知道吗，当我看到那个数字的时候，我以为是系统出错了！“
周围几个学者听到这边的动静，也围了过来。
“你就是star city data的作者？“
“天啊，这么年轻？“
“你真的只是大一学生？“
陈阳被围在中间，礼貌地点头回应。
“各位，“
朱军笑著帮他解围，“陈阳刚下飞机，让他先喘口气吧。明天的演讲，他会详细介绍技术细节的。“
“对对对，明天！“
齐瑟曼拍了拍陈阳的肩膀，“小伙子，我会坐在第一排听你的演讲。“
人群渐渐散开，但不时还有人投来好奇的目光。
“习惯就好。“
朱军低声对陈阳说，“从今天开始，你就是这个圈子的焦点了。“
陈阳端起一杯果汁，看著大厅里那些学术界的传奇人物。
他们中有的写出了开创性的论文，有的培养了无数顶尖人才，有的创办了改变世界的公司。
而现在，他们都在谈论著同一个话题——那个来自中国的6.5%。
宴会厅的另一端，几个年轻人也在討论著。
“听说了吗？今年的冠军是个中国大一学生。“
“6.5%的错误率，简直不可思议。“
“明天一定要去听他的演讲。“
10月30日，下午两点。
eccv 2012闭幕式。
会议主厅里座无虚席，走廊上都站满了人。
讲台上，李飞飞正在做开场介绍。
“今年的imagenet挑战赛，出现了一个令人震惊的成绩。“
大屏幕上显示出排行榜前三名：
**rank 3: oxford vgg | 26.5%**
**rank 2: supervision (toronto)| 16.4%**
**rank 1: star city data (china)| 6.5%**
台下响起一阵惊嘆声。
“第二名团队的成绩已经是巨大的突破，將错误率从26%降到了16%。“
李飞飞说，“但第一名的成绩，则完全超出了我们的想像。“
她顿了顿，目光扫过台下：
“6.5%的top-5错误率，这意味著什么？意味著我们距离人类的识別水平，已经非常接近了。“
“接下来，让我们有请star city data团队的代表，来自清华大学的陈阳，为我们带来今天的闭幕演讲——《deep residual learning for image recognition》。“
掌声响起。
陈阳从第一排站起身，走上讲台。
聚光灯打在他身上，台下数百双眼睛盯著他。
他深吸一口气，接过话筒。
“各位下午好，我是陈阳。“
他的声音平静而清晰，英语发音標准。
“在开始之前，我想先问一个问题：为什么深度神经网络不能无限加深？“
大屏幕上出现了一张图表，显示著网络层数和准確率的关係。
“传统观点认为，网络越深，表达能力越强。但事实上，当网络超过一定深度后，准確率反而会下降。“
陈阳点击翻页。
“这就是所谓的退化问题。很多人认为这是过擬合导致的，但实际上，即使在训练集上，深层网络的表现也不如浅层网络。“
台下的学者们点头，这確实是困扰业界多年的难题。
“那么，问题出在哪里？“
陈阳的语气突然变得锐利：
“问题在於，我们让网络学习的东西太难了。“
他点击下一页，屏幕上出现了一个简单的示意图。
左边是传统网络：输入x经过两层网络，输出h(x)。
右边是残差网络：输入x经过两层网络得到f(x)，然后加上原始输入x，输出h(x)= f(x)+ x。
“这就是残差学习的核心思想。“
陈阳的声音在寂静的会场里迴荡：
“与其让网络直接学习h(x)，不如让它学习残差f(x)= h(x)- x。“
“为什么这样更简单？因为在很多情况下，最优映射接近於恆等映射。也就是说，f(x)接近於0，比直接学习h(x)要容易得多。“
台下开始有窃窃私语声。
“太简单了……“
“为什么我们之前没想到？“
“等等，这真的有效吗？“
陈阳似乎听到了这些质疑，他点击下一页。
屏幕上出现了一系列实验结果。
“在cifar-10数据集上，我们测试了不同深度的网络。“
红色曲线代表传统网络，蓝色曲线代表残差网络。
在20层以下，两条曲线几乎重合。
但当层数超过20层后，红色曲线开始下降，而蓝色曲线却持续上升。
在110层时，残差网络的准確率依然在提升。
“这意味著什么？“
陈阳的目光扫过台下，“这意味著，残差学习解决了退化问题。我们可以训练真正的深度网络了。“
掌声开始零星地响起，然后越来越热烈。
“在imagenet上，我们构建了一个152层的残差网络。“
大屏幕上出现了网络结构图，层层叠叠，像一座摩天大楼。
台下响起一阵倒吸冷气的声音。
“152层？！“
“这怎么训练的？“
陈阳继续说：“很多人问我，这么深的网络，需要多强大的硬体？超级计算机？“
他点击下一页。
“我们的集群：12块nvidia gtx 680显卡。“
台下一片譁然。
“gtx 680？“
“那不是游戏显卡吗？“
“2gb显存怎么可能训练152层？“
“我知道大家在想什么。“陈阳笑了，“152层的网络，模型大小超过20gb，怎么可能在2gb显存的卡上运行？“
他点击下一页：
“答案是：模型並行和数据並行的混合框架。“
屏幕上出现了一张复杂的架构图，展示了如何將模型切分到多张显卡上，同时保持高效的训练速度。
“我们设计了一套自適应的並行策略，根据每一层的大小和计算量，动態分配到不同的gpu上。“
“通过精心设计的显存管理和梯度累积策略，我们实现了在消费级显卡上训练超深度网络。“
台下的学者们疯狂地记笔记。
齐瑟曼坐在第一排，眼睛一眨不眨地盯著屏幕。
这不只是一个天才的算法，还是一个天才的工程实现。
“最终，在imagenet验证集上，我们的resnet-152达到了6.5%的top-5错误率。“
大屏幕上出现了最终的结果对比：
2011年冠军：26.2%
2012年第二名：16.4%
resnet-152：6.5%
“相比去年的冠军，我们將错误率降低了75%。“
陈阳停顿了一下，目光扫过台下每一个人：
“这不是终点，而是起点。残差网络的出现，意味著深度学习真正进入了可以实用化的阶段。“
“它可以应用在图像识別、目標检测、语义分割等各个领域。“
“在星城数据，我们已经將resnet应用到了实际业务中。“
屏幕切换到新的页面，显示著几个应用案例。
“第一，验证码识別。我们的星眼系统，基於resnet架构，对各类复杂验证码的识別准確率达到99.7%以上。“
“第二，证件识別。身份证、驾驶证、发票等各类证件的ocr识別，准確率超过99.5%，处理速度是传统方法的10倍以上。“
“第三，我们正在探索更多应用场景，包括人脸识別、医疗影像分析等。“
台下开始有人窃窃私语。
“原来他们已经在做商业化了。“
“难怪能做出这么强的模型。“
陈阳继续说：
“深度学习不应该只停留在实验室里。resnet的目標，就是让ai技术真正走进现实世界，解决实际问题。“
他的声音坚定有力：
“这就是星城数据的使命——让每一个企业、每一个开发者，都能用上最先进的ai技术。“
陈阳鞠了一躬：
“谢谢大家。“
掌声如雷鸣般响起。
整个会场的人都站了起来。
持续了將近两分钟的掌声，才逐渐平息。
演讲结束后，陈阳被一群学者围住。
“能详细讲讲混合併行框架吗？“
“残差连接在目標检测上效果如何？“
“你们的证件识別系统是如何实现的？“
“星城数据现在接商业合作吗？“
陈阳耐心地回答著每一个问题。
齐瑟曼教授挤到前面，激动地说：
“陈阳，你愿意来牛津做访问学者吗？我们有最好的实验室，最优秀的团队。“
话还没说完，旁边一个教授打断道：
“陈，考虑一下mit吧！我们可以为你提供全额奖学金，还有独立的研究经费。“
陈阳有些不知所措，朱军在一旁笑著说：
“各位，陈阳还是大一学生，让他先把本科读完吧。“
人群中，一个穿著考究西装的中年人递上名片：
“陈先生，我是红杉资本的汤姆·詹森。您的公司非常有潜力，不知道是否考虑接受投资？“
陈阳接过名片，礼貌地说：
“谢谢您的关注。星城数据確实在寻求资金支持，不过我们更看重战略投资而不只是资金。“
“理解。“
汤姆点头，“那我们保持联繫。如果需要，隨时可以找我。“
类似的投资人，今天找上陈阳的已经有七八个了。
还有几家科技公司的代表，想谈技术授权。
甚至有猎头想挖他去谷歌和facebook，开出的薪水高达百万美元。
陈阳一一应对，不卑不亢。
人群散去后，一个年轻人走过来。
“你好，陈阳。“
他伸出手，“我是亚歷克斯·克里热夫斯基。“
“你好。“陈阳握住他的手。
“你的resnet很厉害。“
亚歷克斯真诚地说，“我们的工作和你比起来，差得太远了。“
“不，每个工作都有它的价值。“
陈阳说，“深度学习的发展需要所有人的努力。“
亚歷克斯愣了一下，然后笑了：“你真会说话。不过，我確实很好奇，你是怎么想到残差连接这个idea的？“
“灵感来源於高速公路网络的概念，加上一些数学上的直觉。“陈阳简单地说，“如果你感兴趣，我们可以交流。“
“好。“亚歷克斯点头。
两人交换了联繫方式。
当晚，陈阳回到酒店房间。
手机里塞满了各种邮件和消息。
学术界的邀请函、投资人的bp、媒体的採访请求、企业的合作意向。
他打开笔记本，开始整理今天收集到的名片和联繫方式。
义大利，佛罗伦斯。
古老的文艺復兵之城在夕阳下泛著金色的光芒。
阿诺河静静流淌，远处圣母百花大教堂的穹顶在晚霞中显得格外壮丽。
陈阳站在酒店房间的窗前，看著窗外的风景。
这是他第一次来欧洲，第一次参加国际学术会议。
身后，传来敲门声。
“陈阳，准备好了吗？晚上的欢迎晚宴快开始了。“
开口的是朱军教授，水木大学计算机系的教授，这次也来参加eccv会议。
得知陈阳要来做演讲，朱军主动提出带他一起来，一路上照应这个第一次出国的大一学生。
“好了，朱老师。“陈阳拿起西装外套穿上。
镜子里的少年，穿著得体的深蓝色西装，头髮梳得整齐，眼神中带著超越年龄的沉稳。
“走吧。“
朱军笑著说，“今晚来的都是计算机视觉领域的顶尖人物，好好认识一下。“
会议酒店的宴会厅里，水晶吊灯发出柔和的光芒。
身著正装的学者们三三两两地聚在一起，端著红酒交谈著。
空气里瀰漫著香檳和烤牛排的味道，还有各种语言交织的低语声。
陈阳跟著朱军走进大厅，立刻感受到了几道目光落在自己身上。
“朱，好久不见！“
记住我们101看书网
一个满头银髮的老者走过来，用略带口音的英语打招呼。
“安德鲁！“
朱军热情地握手，“你也来了！“
安德鲁·齐瑟曼，牛津大学的教授，计算机视觉领域的传奇人物之一。
“这位是？“齐瑟曼的目光落在陈阳身上。
“我的学生，陈阳。“
朱军介绍道，然后压低声音补充，“star city data的那个。“
齐瑟曼的眼睛瞬间亮了。
“你就是陈阳？“
他用力握住陈阳的手，“天啊，我还以为你至少是个博士后！“
“您好，齐瑟曼教授。“
陈阳用流利的英语回应，“很荣幸见到您。“
“荣幸的是我！“
齐瑟曼激动地说，“6.5%！你知道吗，当我看到那个数字的时候，我以为是系统出错了！“
周围几个学者听到这边的动静，也围了过来。
“你就是star city data的作者？“
“天啊，这么年轻？“
“你真的只是大一学生？“
陈阳被围在中间，礼貌地点头回应。
“各位，“
朱军笑著帮他解围，“陈阳刚下飞机，让他先喘口气吧。明天的演讲，他会详细介绍技术细节的。“
“对对对，明天！“
齐瑟曼拍了拍陈阳的肩膀，“小伙子，我会坐在第一排听你的演讲。“
人群渐渐散开，但不时还有人投来好奇的目光。
“习惯就好。“
朱军低声对陈阳说，“从今天开始，你就是这个圈子的焦点了。“
陈阳端起一杯果汁，看著大厅里那些学术界的传奇人物。
他们中有的写出了开创性的论文，有的培养了无数顶尖人才，有的创办了改变世界的公司。
而现在，他们都在谈论著同一个话题——那个来自中国的6.5%。
宴会厅的另一端，几个年轻人也在討论著。
“听说了吗？今年的冠军是个中国大一学生。“
“6.5%的错误率，简直不可思议。“
“明天一定要去听他的演讲。“
10月30日，下午两点。
eccv 2012闭幕式。
会议主厅里座无虚席，走廊上都站满了人。
讲台上，李飞飞正在做开场介绍。
“今年的imagenet挑战赛，出现了一个令人震惊的成绩。“
大屏幕上显示出排行榜前三名：
**rank 3: oxford vgg | 26.5%**
**rank 2: supervision (toronto)| 16.4%**
**rank 1: star city data (china)| 6.5%**
台下响起一阵惊嘆声。
“第二名团队的成绩已经是巨大的突破，將错误率从26%降到了16%。“
李飞飞说，“但第一名的成绩，则完全超出了我们的想像。“
她顿了顿，目光扫过台下：
“6.5%的top-5错误率，这意味著什么？意味著我们距离人类的识別水平，已经非常接近了。“
“接下来，让我们有请star city data团队的代表，来自清华大学的陈阳，为我们带来今天的闭幕演讲——《deep residual learning for image recognition》。“
掌声响起。
陈阳从第一排站起身，走上讲台。
聚光灯打在他身上，台下数百双眼睛盯著他。
他深吸一口气，接过话筒。
“各位下午好，我是陈阳。“
他的声音平静而清晰，英语发音標准。
“在开始之前，我想先问一个问题：为什么深度神经网络不能无限加深？“
大屏幕上出现了一张图表，显示著网络层数和准確率的关係。
“传统观点认为，网络越深，表达能力越强。但事实上，当网络超过一定深度后，准確率反而会下降。“
陈阳点击翻页。
“这就是所谓的退化问题。很多人认为这是过擬合导致的，但实际上，即使在训练集上，深层网络的表现也不如浅层网络。“
台下的学者们点头，这確实是困扰业界多年的难题。
“那么，问题出在哪里？“
陈阳的语气突然变得锐利：
“问题在於，我们让网络学习的东西太难了。“
他点击下一页，屏幕上出现了一个简单的示意图。
左边是传统网络：输入x经过两层网络，输出h(x)。
右边是残差网络：输入x经过两层网络得到f(x)，然后加上原始输入x，输出h(x)= f(x)+ x。
“这就是残差学习的核心思想。“
陈阳的声音在寂静的会场里迴荡：
“与其让网络直接学习h(x)，不如让它学习残差f(x)= h(x)- x。“
“为什么这样更简单？因为在很多情况下，最优映射接近於恆等映射。也就是说，f(x)接近於0，比直接学习h(x)要容易得多。“
台下开始有窃窃私语声。
“太简单了……“
“为什么我们之前没想到？“
“等等，这真的有效吗？“
陈阳似乎听到了这些质疑，他点击下一页。
屏幕上出现了一系列实验结果。
“在cifar-10数据集上，我们测试了不同深度的网络。“
红色曲线代表传统网络，蓝色曲线代表残差网络。
在20层以下，两条曲线几乎重合。
但当层数超过20层后，红色曲线开始下降，而蓝色曲线却持续上升。
在110层时，残差网络的准確率依然在提升。
“这意味著什么？“
陈阳的目光扫过台下，“这意味著，残差学习解决了退化问题。我们可以训练真正的深度网络了。“
掌声开始零星地响起，然后越来越热烈。
“在imagenet上，我们构建了一个152层的残差网络。“
大屏幕上出现了网络结构图，层层叠叠，像一座摩天大楼。
台下响起一阵倒吸冷气的声音。
“152层？！“
“这怎么训练的？“
陈阳继续说：“很多人问我，这么深的网络，需要多强大的硬体？超级计算机？“
他点击下一页。
“我们的集群：12块nvidia gtx 680显卡。“
台下一片譁然。
“gtx 680？“
“那不是游戏显卡吗？“
“2gb显存怎么可能训练152层？“
“我知道大家在想什么。“陈阳笑了，“152层的网络，模型大小超过20gb，怎么可能在2gb显存的卡上运行？“
他点击下一页：
“答案是：模型並行和数据並行的混合框架。“
屏幕上出现了一张复杂的架构图，展示了如何將模型切分到多张显卡上，同时保持高效的训练速度。
“我们设计了一套自適应的並行策略，根据每一层的大小和计算量，动態分配到不同的gpu上。“
“通过精心设计的显存管理和梯度累积策略，我们实现了在消费级显卡上训练超深度网络。“
台下的学者们疯狂地记笔记。
齐瑟曼坐在第一排，眼睛一眨不眨地盯著屏幕。
这不只是一个天才的算法，还是一个天才的工程实现。
“最终，在imagenet验证集上，我们的resnet-152达到了6.5%的top-5错误率。“
大屏幕上出现了最终的结果对比：
2011年冠军：26.2%
2012年第二名：16.4%
resnet-152：6.5%
“相比去年的冠军，我们將错误率降低了75%。“
陈阳停顿了一下，目光扫过台下每一个人：
“这不是终点，而是起点。残差网络的出现，意味著深度学习真正进入了可以实用化的阶段。“
“它可以应用在图像识別、目標检测、语义分割等各个领域。“
“在星城数据，我们已经將resnet应用到了实际业务中。“
屏幕切换到新的页面，显示著几个应用案例。
“第一，验证码识別。我们的星眼系统，基於resnet架构，对各类复杂验证码的识別准確率达到99.7%以上。“
“第二，证件识別。身份证、驾驶证、发票等各类证件的ocr识別，准確率超过99.5%，处理速度是传统方法的10倍以上。“
“第三，我们正在探索更多应用场景，包括人脸识別、医疗影像分析等。“
台下开始有人窃窃私语。
“原来他们已经在做商业化了。“
“难怪能做出这么强的模型。“
陈阳继续说：
“深度学习不应该只停留在实验室里。resnet的目標，就是让ai技术真正走进现实世界，解决实际问题。“
他的声音坚定有力：
“这就是星城数据的使命——让每一个企业、每一个开发者，都能用上最先进的ai技术。“
陈阳鞠了一躬：
“谢谢大家。“
掌声如雷鸣般响起。
整个会场的人都站了起来。
持续了將近两分钟的掌声，才逐渐平息。
演讲结束后，陈阳被一群学者围住。
“能详细讲讲混合併行框架吗？“
“残差连接在目標检测上效果如何？“
“你们的证件识別系统是如何实现的？“
“星城数据现在接商业合作吗？“
陈阳耐心地回答著每一个问题。
齐瑟曼教授挤到前面，激动地说：
“陈阳，你愿意来牛津做访问学者吗？我们有最好的实验室，最优秀的团队。“
话还没说完，旁边一个教授打断道：
“陈，考虑一下mit吧！我们可以为你提供全额奖学金，还有独立的研究经费。“
陈阳有些不知所措，朱军在一旁笑著说：
“各位，陈阳还是大一学生，让他先把本科读完吧。“
人群中，一个穿著考究西装的中年人递上名片：
“陈先生，我是红杉资本的汤姆·詹森。您的公司非常有潜力，不知道是否考虑接受投资？“
陈阳接过名片，礼貌地说：
“谢谢您的关注。星城数据確实在寻求资金支持，不过我们更看重战略投资而不只是资金。“
“理解。“
汤姆点头，“那我们保持联繫。如果需要，隨时可以找我。“
类似的投资人，今天找上陈阳的已经有七八个了。
还有几家科技公司的代表，想谈技术授权。
甚至有猎头想挖他去谷歌和facebook，开出的薪水高达百万美元。
陈阳一一应对，不卑不亢。
人群散去后，一个年轻人走过来。
“你好，陈阳。“
他伸出手，“我是亚歷克斯·克里热夫斯基。“
“你好。“陈阳握住他的手。
“你的resnet很厉害。“
亚歷克斯真诚地说，“我们的工作和你比起来，差得太远了。“
“不，每个工作都有它的价值。“
陈阳说，“深度学习的发展需要所有人的努力。“
亚歷克斯愣了一下，然后笑了：“你真会说话。不过，我確实很好奇，你是怎么想到残差连接这个idea的？“
“灵感来源於高速公路网络的概念，加上一些数学上的直觉。“陈阳简单地说，“如果你感兴趣，我们可以交流。“
“好。“亚歷克斯点头。
两人交换了联繫方式。
当晚，陈阳回到酒店房间。
手机里塞满了各种邮件和消息。
学术界的邀请函、投资人的bp、媒体的採访请求、企业的合作意向。
他打开笔记本，开始整理今天收集到的名片和联繫方式。