今天的卷积网络,Yann LeCun在93年就已经玩得很溜了

机器之心报道

作者:泽南、张倩

卷积神经网络的成功是否超出了其发明者的想象?Yann LeCun 说:「是的,我们一直在尝试更加疯狂的写法,而它的进步却从未中断过。」


手写数字识别是很多人入门神经网络时用来练手的一个项目,但就是这么简单的一个项目,最近在 reddit 上又火了一把,因为在 MIT 计算机科学和人工智能实验室,有人挖到了一个「祖师爷」级别的视频……


这段视频录制于 1993 年,主人公是图灵奖得主 Yann LeCun(杨立昆)。彼时 LeCun 才 32 岁,刚刚进入贝尔实验室工作,而视频里机器学习识别的第一段数字 201-949-4038,是 LeCun 在贝尔实验室里的电话号码。
从这段视频中我们可以看到,LeCun 在 90 年代初创造的文本识别系统已经达到了惊人的速度和准确率,这在当时的条件下是非常难能可贵的。

今天的卷积网络,Yann LeCun在93年就已经玩得很溜了


这段视频由贝尔实验室自适应系统研究部门主任 Larry Jackel 拍摄(Larry 当时是 LeCun 的 boss,现任英伟达自动驾驶顾问)。视频中出镜的还有实验室负责人 Rich Howard(Larry 的 boss)和研究工程师 Donnie Henderson。Yann LeCun 本人表示:「Donnie Henderson 将整个演示系统整合在了一起…… 整套系统在算力为 20MFLOPS 的 DSP 版上运行。」

今天的卷积网络,Yann LeCun在93年就已经玩得很溜了


‍‍‍几位工程师在视频中洋溢的笑容也颇具感染力。

今天的卷积网络,Yann LeCun在93年就已经玩得很溜了

今天的卷积网络,Yann LeCun在93年就已经玩得很溜了


LeCun 表示,1993 年的文字识别系统已经用上了卷积神经网络(CNN),自己在这套系统中编写了一种网络数据结构的编译器,并生成了可编译的 C 语言代码,在源代码中以权重和网表(netlist)代表文字。
这段视频的惊艳之处还在于,它比经典手写数字数据集 MNIST 的问世还要早 6 年。

今天的卷积网络,Yann LeCun在93年就已经玩得很溜了


其实,早在 1989 年,LeCun 就已经发表了「将反向传播用于手写邮政编码识别」的相关研究,而且已经在美国的邮政系统中成功应用。随后,这一系统的应用范围扩展至银行支票。90 年代末期,该系统已经处理了美国 10%-20%的支票识别。

今天的卷积网络,Yann LeCun在93年就已经玩得很溜了


1999 年,LeCun 等人联合发表了「MNIST」手写数字数据集。这一数据集包含数万个样本,被称为「计算机视觉领域的 hello world 数据集」、「机器学习界的果蝇」,如今已经作为基准被使用了二十余年。

今天的卷积网络,Yann LeCun在93年就已经玩得很溜了


在看了这段视频之后,有研究者感叹,「不要再抱怨 GPU 算力不够了」。

今天的卷积网络,Yann LeCun在93年就已经玩得很溜了


深度学习先驱 Yann LeCun
说起 Yann LeCun,熟悉人工智能领域的人肯定不会陌生,Yann LeCun 现在是纽约大学教授、美国工程院院士、Facebook 副总裁和首席 AI 科学家。
在深度学习还未流行的 20 世纪八九十年代,LeCun 与另两位先驱者 Yoshua Bengio、Geoffrey Hinton 一道探索了深度学习领域的概念基础,并通过实验向人们展示了新方法的前景。此外,他们还贡献了一系列工程进展,展示了深度神经网络的实用优势。
虽然在二十世纪八十年代,研究者就开始试用人工神经网络帮助计算机识别模式、模拟人类智能,但直到二十一世纪的前几年,这种方式仍未获得广泛认同,LeCun 等研究者试图重燃 AI 社区对神经网络兴趣的努力曾经一直被人们质疑,但如今他们的想法带来了重大的技术进步,他们的方法也已成为该领域的主导范式。
自 2012 年以来,深度学习方法促进计算机视觉、语音识别、自然语言处理和机器人技术等应用领域取得极大突破。
在 2019 年,美国计算机协会 ACM 公布了上一年度的图灵奖,Yoshua Bengio、Geoffrey Hinton 和 Yann LeCun 三位深度学习巨头同时获奖。

今天的卷积网络,Yann LeCun在93年就已经玩得很溜了

从左至右:Yoshua Bengio、Geoffrey Hinton、Yann LeCun。
ACM 表示,Yann LeCun 主要作出了三大贡献:
  • 提出卷积神经网络

  • 改进反向传播算法

  • 拓宽神经网络的视角


20 世纪 80 年代后期,LeCun 就职于多伦多大学和贝尔实验室,也是在这一时期,他利用手写数字图像训练了第一个卷积神经网络系统。如今,卷积神经网络已成为计算机视觉、语音识别、语音合成、图像合成和自然语言处理领域的行业标准。卷积神经网络有着广泛的应用,如自动驾驶、医学图像分析、语音助手和信息过滤等。
这可不是搞定 MNIST 那么简单
与我们通常为 MINIST 数据集构建文字识别系统不同,Yann LeCun 在 1993 年展示的技术可是用摄像头直接拍摄的,还需要搞定文字缩放、位置等问题,后来也确实在邮政系统里获得了应用。
如此看来在当年就能实现这样的效果确实不容易,更何况在 20 世纪 90 年代,研究者们是没有 TensorFlow 可用的,全靠 C 语言手写,这个问题求解的非机器学习部分与其说是困难,不如说是繁琐。
在社交网络中,人们对 LeCun 展示的算法除了感兴趣,还有赞誉和膜拜,有人说道:「这并不是说他们在 1993 年就解决了 MNIST 上的问题,比那还要更进一步。」
在深度学习被 GPU 带动开展大规模应用以前,人工智能算法其实已经实现了相当的聪明程度。在 1993 年的文字识别之后,昨天,人们又挖出了 LeCun 参与的另一项研究:人脸检测。

今天的卷积网络,Yann LeCun在93年就已经玩得很溜了


在 2003 年,一个视频展示了 Rita Osadchy、Matt Miller 以及 Yann LeCun 等人在 NEC 实验室的研究,使用卷积神经网络进行人脸检测研究。
虽然只是人脸检测而不是人脸识别,但这种技术的意义不言而喻,如今自动驾驶汽车上的障碍物检测方法使用的就是和它相同的技术。在推特上,LeCun 也点赞了这段视频。

今天的卷积网络,Yann LeCun在93年就已经玩得很溜了


看来,如今我们在机器学习领域广泛使用的方法,早在几十年前就已完成了整体架构。
不过与此同时,也有网友发出了直击灵魂的提问:「既然 LeCun 在 1993 年就可以让 AI 这样识别文字了,为啥直到今天大多数网站仍然认为文字验证码是识别机器人的好办法?」
参考链接:https://twitter.com/MIT_CSAIL/status/1347237563342340097https://www.reddit.com/r/MachineLearning/comments/kuc6tz/d_a_demo_from_1993_of_32yearold_yann_lecun/

©THE END

转载请联系本公众号获得授权

投稿或寻求报道:[email protected]

上一篇:三大运营商的物联网扩张之路
下一篇:

相关推荐

网络炮轰+现实吊打,戈贝尔幸福的烦恼雪上加霜!洛城双“熊”挖坑大赛火热进行中!

网络炮轰+现实吊打,戈贝尔幸福的烦恼雪上加霜!洛城双“熊”挖坑大赛火热进行中!

1669 NBAToday

法国吴彦祖最近流量炸裂烦恼太多,明明是自己凭本事谈下来的2亿续约,却不得不承受随之而来的“幸福的烦恼”。比如被奥尼尔公开处刑连环暴击:“在NBA场均11分能拿到2个亿,这对孩子们来说是一种励志。”“我能在三节贡献45分16篮板10个不中的罚球,他三节11分4篮板犯满离场。”狠人奥尼尔,损敌一千,自伤八百。网络流量只是一方面,戈贝尔用实际表现硬是把自己送上头条

章子怡再上热搜,包贝尔李晟被狂赞,这一次,我被你们圈粉了

章子怡再上热搜,包贝尔李晟被狂赞,这一次,我被你们圈粉了

1153 周冲的影像声色

《我就是演员》第三季的第3期播出了。金莎、金子涵被骂上热搜。因为实在是毫无演技,也毫无信念感。章子怡当场翻脸,怒怼金莎金子涵:“演员难道是最低级的职业吗?谁都想来分一杯羹......”但与此同时,另外两个艺人的戏,却赢得满堂彩。他们就是包贝尔、李晟。包贝尔和李晟的《最爱》上热搜了。许多人说,直接刷新认知,原来他们是这么有想法的演员。在此之前,他们二人都不被看

董事长遭实控人指责“三宗罪”,拉夏贝尔内讧背后是什么?

董事长遭实控人指责“三宗罪”,拉夏贝尔内讧背后是什么?

1866 野马财经

作者|王洪臣来源|野马财经一位是实控人,一位是董事长,走在退市边缘的拉夏贝尔被夹在了两位大佬中间。从牵手到闹翻,邢加兴和段学峰只用了7个月。当初将总部从上海迁到新疆,3换董事长,6换总裁,股权悉遭冻结的邢加兴没少折腾,手握资源的段学峰也没少出力,如今却落得公开反目。“三宗罪”的指控下,公司两次延期回复监管函,到底为了什么?三国演义中,益州刘璋面对北方曹操的威

阴道分娩产后出血:2大原因识别及8大防治要点,全面讲透!

阴道分娩产后出血:2大原因识别及8大防治要点,全面讲透!

339 泰怡康成

产后出血是产妇死亡的主要原因,阴道分娩时软产道撕裂是导致产后出血的重要环节,应当及时识别,认真处理,积极防控。应当记住:失血量评估要到位;重视高危产妇,重视团队协作;正确按摩子宫,正确使用药物,正确选择手术。尽管阴道分娩率在下降,但由于阴道分娩导致的产后出血没有减少的趋势。产后出血应该指产后难以止住的大量出血,是一种非常严重的并发症,一旦发生死亡率高,世界范

夫妇旅行遇见命中注定流浪猫,疫情爆发本可以快速回家,却滞留原地一年只为它!
萌宠

夫妇旅行遇见命中注定流浪猫,疫情爆发本可以快速回家,却滞留原地一年只为它!

339 宠物帮萌星球

生命中有些东西,是无论怎样,也都不会轻言放弃的。这对英国夫妻(33岁的LeeHodges和29岁的WillowRolfe)在19年8月的时候毅然决然的辞去教师的工作,并展开了一场悠闲的冒险探索旅程……他们二人开着露营车在北美穿州过省,享受着令人羡慕的人生。因为Willow夫妇一直都是猫奴,这次旅行突然“猫瘾大发”,很渴望再拥有一只猫咪。起初他们在街头遇到一只

男人说出这些话,说明他把你当备胎了,别后知后觉
私房话

男人说出这些话,说明他把你当备胎了,别后知后觉

439 头发这样扎更有范

男人深爱着女人的时候,女人肯定会有感觉,肯定会知道的。男人若是不爱一个女人,对待女人不认真,其实再怎么掩饰,话语中也能展现出来。有些男人只是把女人当成备胎了,根本没有想着好好在一起。要知道一段恋情若早知道没有结果,不如早点放弃。男人说出这些话,说明他把你当备胎了,别后知后觉:1.我没时间呢。忙是男人最常用的借口了,但是也分什么事情对什么忙。男人若是爱着一个女

【冷兔趣闻】如何说服父母养猫
萌宠

【冷兔趣闻】如何说服父母养猫

667 冷兔

推上有一个账号“whyyoushouldhaveacat”,里面全都是可可爱爱的猫猫图,如果你想让爸妈同意养猫,那就可以直接把这些图片给他们看。不开心的时候看看,嘴角疯狂上扬~内容自@boredpanda

直播  |  2021年的第一场直播 晚上记得来看
游戏

直播 | 2021年的第一场直播 晚上记得来看

945 Y车评

Y车评yautoshow|把事实带走将观点留下|筒子们新年好啊,2021年的第一场直播如期而至,晚上8点都来看看呗。PS,哦,对了。抱枕快递已经打包一部分发货了。但是数量实在太多了,我们还得继续发货。中奖的各位在耐心等等。直播平台:视频号直播时间:周五晚20:00-21:00长按下面的二维码,先关注一波【Y车评】的视频号,然后晚上到点就可以收看直播啦。主播内

刺激!2021年第一天,华为跟腾讯“干起来”:全面下架腾讯游戏,背后发生了什么?
游戏

刺激!2021年第一天,华为跟腾讯“干起来”:全面下架腾讯游戏,背后发生了什么?

1987 中国基金报

中国基金报泰勒2021年第一天,两大巨头华为、腾讯就干起来了,好不热闹!来看看发生了什么事情。华为全面下架腾讯游戏2021年1月1日凌晨1点,华为游戏中心APP发布《致华为游戏中心腾讯游戏用户》官方公告(以下简称“官方公告”),称不得不依照腾讯单方面要求暂停相关合作,将腾讯游戏从华为平台下架。以下为华为游戏中心社区公共全文:致华为游戏中心腾讯游戏用户:首先,

游戏

平安庆典·月盈《决战!平安京》山兔新皮肤登场

1006 游戏天天看点

满月送福,招财进宝。又到了一年的庆典时节,今年的月亮似乎格外的皎洁呢,洁白的月光映衬之下,有着圆滚滚肚皮的魔蛙,载着可爱的兔妖一路蹦蹦跳跳,奔向庆典的现场。快一点,再快一点,趁着满月把好运都送给大家吧!2020年12月31日游戏维护更新后,山兔全新典藏皮肤「平安庆典·月盈」,即将限时开启兑换!可爱的送福使者,无论走到哪里,都会成为人群中最受欢迎的存在吧?只是

2021第一架!华为下架腾讯游戏,两巨头新年第一天游戏分成“闹掰” ?
游戏

2021第一架!华为下架腾讯游戏,两巨头新年第一天游戏分成“闹掰” ?

1353 华夏时报

华夏时报记者卢晓北京报道2021年的第一天,华为与腾讯这两个同处深圳的近邻“闹掰”了,原因在于游戏。1月1日,华为游戏中心社区账号发布公告称,因腾讯游戏于2020年12月31日17点57分单方面就双方合作做出重大变更,导致双方的继续合作产生重大障碍,经过法务谨慎评估,华为不得不依照腾讯单方面要求暂停相关合作,将腾讯游戏从华为平台下架。“我们敬佩腾讯游戏在行业

游戏

这个小团队「神作」频出的宝藏品类,可能不再香了

943 游戏葡萄

小众并非其最大局限,更难的是做出新意。文/菲斯喵前段时间,一名开发者找到葡萄君,希望我们能报道他们的游戏。点开对方发来的链接一看,是个剧情解谜类作品,尚在打磨中。我对它的第一印象并不好,觉得玩法平平无奇,题材和美术也不够吸引人。随后我抛出疑惑,问他立项初衷和预期。大约过了二十分钟,开发者回以长篇文字,其中重点在于:小团队势单力薄,但愿能通过低成本制作获得认可