AutoML(Automated Machine Learning,自动化人工智能),通俗来说就是让AI去学习AI,从而减少人工的参与,让机器完成更复杂的工作。
在钟钊来到华为工作之前,华为诺亚方舟实验室已经在进行AutoML方向的相关研究。在这基础之上,钟钊团队实现了业内首个AutoML大规模商用。
钟钊本人也在知乎上亲自回应了最近的热议。他表示“手机拍照团队第一次做大规模验证的业务。简单说是计算摄影/AI-ISP,就是用AI方法对RAW图处理,来替换加强传统图像处理的过程。这个是端侧功耗和速度要求最高的任务,一方面我们有DXO评分(DXOMARK,评估智能手机镜头与相机的商业测评网站)和消费者效果的压力,另一方面要维持消费者的是否卡顿和发热基础体验。”
钟钊在知乎回应,图源知乎截图
尽管钟钊在知乎上表示“自己并不是天才,这个title带来了许多压力。还是希望能低调一点,真正做点我喜欢的事情”,但他进入华为正是通过“天才少年”计划被招募进去的。
2019年,华为创始人任正非发起“天才少年”计划,旨在吸引顶尖人才。钟钊正是被招募而来的首批“天才少年”,目前华为已招募17名“天才少年”。钟钊入职后,正是作为AutoML研究组的领导,带领团队研究相关应用。
据连线Insight了解,AutoML其实已经发展多年,国内外其他科技企业,在AutoML技术上也有了相关成果。谷歌在2018年推出了AutoML Vision平台,百度也有专门的AutoML平台——EasyDL,阿里、腾讯等企业也在AutoML领域有不同的研究方向与应用。
从商业价值来看,AutoML可以应用在各行各业,这也是国内外科技企业纷纷入局的重要原因。
华为天才少年,只是揭开了AutoML大规模商用的序幕,今后在其他领域或能看见更多AutoML应用的场景。
一位天才少年,让AutoML技术一夜成名。
据近期华为内刊《华为人》在一篇文章提到,首批“天才少年”钟钊,在入职不到一年的时间里,与团队将AutoML技术应用到了数千万台华为手机上,做到了在业界第一次将AutoML大规模商用的突破。
据钟钊在自述中提到,他入职后第一个任务就是研究如何用算法弥补光学的不足,以此实现手机拍照超越单反拍照的效果。
“手机拍照的竞争力一直是手机产品线关注的重点。由于手机上的光源器件很小,但是又需要它达到单反相机的效果,所以我们部门一直在努力研究如何用算法来弥补光学的不足,实现手机拍照超越单反拍照的效果。”钟钊在自述中提到。
从描述中可以看到,手机拍照的效果要想超越单反拍照,实现难度可想而知,但这就是钟钊团队接到的任务。
公开资料显示,在2019年,华为M系列手机决定要上线钟钊所在团队的一个重要的拍照算法,当时M系列手机拍照算法包含有一个很大的AI模型。尽管拍照效果不错,但在功耗、出图速度上一直无法达到产品交付标准,进而严重影响了整个产品的交付进度。
此时钟钊所在的团队,必须要解决这一问题,保证产品的交付进度。而当时钟钊的导师,也就是所在部门最顶级的专家建议用AutoML技术来解决这个难题。
从纯技术角度来看,AutoML技术既可以保证拍照出图效果,又能将算法简化,满足产品功耗、速度等指标要求。
但关键问题是,此前关于功耗、速度等难题,早就有众多算法专家研究过,但一直没能完全解决,初出茅庐的钟钊与团队人员能够解决吗?
在钟钊的自述中,他提到当时不仅学术界没有任何公开的将AutoML应用在像素级任务上的研究,更不用说是直接商用AutoML的样例了。
为此,钟钊与团队人员是跨过了学术研究,直接将基础研究与商用落地同时进行了,通过商用实战来使用AutoML这个最新技术,“可以说是在一边打仗一边造武器”。
具体做了哪些工作,钟钊也在知乎上亲自进行了回答。他提到早期工作主要是用AutoML自动进行各种成像模型压缩加速,同时针对华为自研的麒麟芯片,基于硬件在环反馈,做自动化的模型亲和设计,所以最终的模型会和市面上的常见模型有许多细节不同。这个问题的难点在于不能降低效果,对功耗和速度要求又特别高,同时还没有很有效的评价方法。
2019年,钟钊团队希望整个AutoML应该从自动造数据集,覆盖到最后的量化阶段。也就是通过AutoML技术在保证拍照出图效果的前提下,把算法简化下来,满足产品功耗、速度等指标的要求。
事实证明,钟钊团队商用实战的效果获得了不错的突破,如今AutoML这套拍照系统或者说算法在华为M、P系列多款手机中实现了不可替代的作用,这一技术也应用到了数千万台华为手机。
华为P50 Pro拍摄的图片,图源华为官网
据华为表示,AutoML技术已成为部门的核心公共能力,也支持了视频、ARVR、河图等众多媒体的关键业务。
钟钊也在知乎上表示,目前,很多技术还没有完全商用,后续华为手机视频效果还有待继续提升。
这位华为天才少年,可谓将AutoML技术彻底带火了。
追溯AutoML的起源,最早源自2012年学术界提出的一个新观念——Programming by Optimization(PbO),意思为最优化程序开发,但实际上这是解决程序开发时人工调校参数的问题,即将这部分工作交由机器来做。
理论上,如果机器可以自行调校参数,的确可以大幅度解放人力,进而让人力去干更具有创造性的工作。但如何让机器拥有自我调校的能力,这是一个难题。
为此,AutoML的概念提出后,一直没有太多声响。直到在2018年谷歌云全球NEXT大会上,谷歌云人工智能和机器学习首席科学家李飞飞宣布谷歌AutoML Vision进入公共测试版,并推出了两款新的AutoML产品:AutoML Natural Language和AutoML Translation。
这两款产品的基本原理是可以用AI设计AI,让更多对机器学习了解有限的人,将Google的AI技术运用到产品打磨中,从而降低使用机器学习的门槛。
具体来讲,AutoML Natural Language可以解析文本的结构和意义,可用于从文本文档、新闻或博文中提取有关人物、地点、事件等信息。AutoML Translation则可以使用最新的神经机器翻译技术将字符串翻译成任何支持的语言。
也就是从这时开始,AutoML在更大的范围内被世人所知。
Google AutoML发布后,业内将其称之为Google Cloud发展的战略转型。这是因为一直以来面向机器学习人工智能开发者的Google Cloud,现在开始服务更为广大的人群了。
简单来说,Google AutoML是开发“利器”。即使是一个对人工智能不太懂的人,在Google AutoML平台上,上传标签数据后,也能得到一个定制化的机器学习模型。而从导入数据到标记,最后训练模型完成,都可以通过拖放界面完成。
当时,Google AutoML的服务仅支持计算机视觉模型,但谷歌表示后续会支持所有标准机器学习模型,包括语音、翻译、视频、自然语言处理等。
其实,在谷歌发布Google AutoML时,迪士尼等企业已经在测试这项服务。
迪士尼消费产品和互动媒体CTO及高级副总裁Mike White曾提到:“Cloud AutoML的技术能帮我们创建计算机视觉模型,根据迪士尼的角色、产品类别和颜色来标注我们的产品,这些标注可以整合到我们的搜索引擎中,在shopDisney商店中通过更相关的搜索结果、更快地发现速度和产品推荐,来加强用户体验。”
此外,服装品牌Urban Outfitters也在尝试使用Google AutoML服务,优化客户购物体验。
一般来说,服饰品牌产品属性多样,这就导致消费者选择空间很大,而为了能根据消费者需求推荐相关产品,以及输出准确的搜索结果。Urban Outfitters此前需要创建和维护一组极其细致的产品属性列表,而通过Google AutoML,可以通过识别花纹、领口样式等细微差别,自动将产品归类,帮助消费者更好的发现适合自己的产品。
可以看到,AutoML的应用场景极为广泛,不仅可以在视觉领域进行应用,还可在语音、视频、搜索等领域发挥所长。
据谷歌云人工智能研发负责人李佳曾在博客中透露,目前AutoML的注册用户也已经超过1.8万家,服务行业横跨媒体、零售、金融、保险、能源、医疗、环境等。同时,AutoML超过10%的用户来自医疗和生命医学行业,产品也推动了用户在医疗影像辅助检测,以及推动了哮喘、婴儿猝死综合征方面的创新。
目前来看,AutoML可以应用在各行各业,只不过由于当前技术原因,暂时只适用于某些领域。而AutoML的应用前景如此广阔,自然也吸引了国内外的科技企业纷纷入局。
AutoML作为AI技术中的一份子,其发展自然也紧跟时代的步伐。
今年6月,知名数据公司IDC中国发布《中国AI公有云服务市场研究报告-2020》,该报告显示,2020年中国AI公有云服务整体市场规模达24.1亿元人民币,占比整体AI软件市场10.4%。预计到2025年,中国AI软件市场公有云服务占比将达到36.1%。
2020年中国AI公有云服务市场格局上,百度智能云、阿里云、腾讯云、华为云位居前四。在产品上,各大厂商陆续推出各个技术领域的自学习平台,作为不同形式的AutoML产品。
百度多年以来在AI领域的积累,也终于发挥了重要作用。从报告来看,百度智能云在国内AI公有云服务市场份额最高,其AI应用全面开花、多行业落地。
百度旗下的AutoML平台名为“EasyDL”,不同于传统意义上的AutoML,EasyDL是一个专门针对深度学习模型训练与发布的平台。而且在EasyDL平台之前,百度已经有深度学习计算引擎 PaddlePaddle,这是一个专业级计算平台,目标群体为具有一定计算机与算法基础的专业AI算法工程师。
此外,百度还有AI开放平台,用户可以根据平台提供的API(应用程序接口)付费调用百度的AI算法能力,以此实现自己的需求。但是AI开放平台的算法模型无法覆盖全领域场景,这就导致很多企业的定制化需求无法被满足。
EasyDL的技术方向,图源EasyDL官网
基于此,百度推出了EasyDL平台,目的是为了解决AI赋能行业的痛点,以及满足企业定制化深度学习模型的需求。当前,该平台有经典版、专业版和零售版,提供图像识别、文本分类、声音分类、视频分类等服务分类。
据百度EasyDL官方显示,当前已经携手90多万用户,服务20多个行业场景,在零售、医疗、农业、工业等领域得到广泛应用。
从技术与应用范围来看,百度的EasyDL平台在国内外科技企业中都能够排在前列。而阿里、腾讯等国内知名科技企业也不甘落后,均推出了相关服务。
阿里云机器学习 PAI(Platform of Artificial Intelligence)就是一站式的机器学习平台,其中PAI 提供了从模型自动调参到一键部署,再到线上的流式计算服务等一系列的工业级模型部署方案。PAI-AutoML也支持几种调参方法,如自定义参数、网格搜索、随机搜索以及进化算法等,也支持不同情况下的调参需求。
PAI 自动调参这一功能,既可以让不清楚算法原理的入门者也能进行部署,也解放了资深算法工程师的时间,其自定义调参功能替代了工程师在细节参数上的重复性劳动。
除了大厂之外,国内独立AI公司也推出了AutoML平台,如第四范式对AutoML算法进行了产品化封装,推出了一款自动化AI生产力平台Sage HyperCycle ML。
在第四范式的介绍中,其表示HyperCycle ML将原本繁琐的机器学习应用构建过程提炼为行为、反馈、学习和应用四个步骤,用户只需完成简单的配置,即可轻松启动一个自动机器学习圈的持续学习和预估服务,实现了业务人员也可以用的AI产品。
当前,第四范式的HyperCycle ML平台主要应用在精准营销、逾期预测、反欺诈、反洗钱等领域,客户则大多为中国工商银行、广发银行等银行为主。
在华为天才少年爆火之前,国内外科技企业其实早已在研究AutoML技术,并且将其应用在了各个领域。
或许,我们现在使用的某个互联网服务背后,AutoML正在发挥着无可取代的作用。
转自-36氪