6月9日,“2021年人工智能交叉学科前沿国际论坛”暨“二十四届西安电子科技大学学术之春”在西安电子科技大学老科技楼报告厅成功举办。包括IEEE Fellow、国家杰出青年基金获得者、高校永利皇宫463cc院长等在内的18位海内外人工智能领域的专家学者共擎学术之火炬,围绕人工智能交叉学科与科技革命和产业革命趋势的紧密结合、关键基础问题研究、推动信息化、智能化,探索双一流学科及专业建设、人才培养与人工智能技术的有机结合等主题展开了对话交流。论坛以线下为核心,同时以线上嘉宾+云观众+线上直播形式在全球范围内进行直播,吸引了各高校师生、科研院所、企业研究人员等60000余人次到场和观看线上直播。
本文根据论坛期间的现场速记进行整理归纳,将专家们提出的主要观点以文字形式再次呈现,以供参考。
达意自然交互
西安电子科技大学副校长
教育部“长江学者”特聘教授
教育部科技委学部委员
IEEE Fellow
石光明教授
石光明教授的报告主要从四个方面介绍了达意自然交互。一、智能时代交互需求。石教授首先介绍了人机交互发展的历史。智能体出现、万物互联、万物智联,时代发展的大趋势,影响各行各业。智能体不再是主机、屏幕、键盘、鼠标,交互对象变成机-机、人-机。智能时代的交互需求变成了快速接收理解信息、准确理解交互信息、稳健恶劣环境干扰等。二、达意交互核心-语义。石教授指出交互的目的是达意,通信的目的是达意和传真,语义通信是基于语义的感知、通信、理解一体化。通信有三个层面:信号层面、语义层面和信息层面。传统的观点认为,语义是主观与客观的联系,语义是难表征、难提取(感知)、难计算(推理)的,最新脑科学的观点认为,语义具有普适性、而且是可表征的。三、信号语义基础问题。石教授指出交互的本质是通信,通信的本质是达意。语义通信与传统通信相比,传统通信是从信号到信号,先传信号后被理解,语义通信是先理解后传输,然后直接被理解的通信模式。信号语义的四大要素包括信号、语义、信息和知识。石教授从名词性语义刻画、动词性语义刻画和属性语义刻画三个方面阐述了语义的数学刻画。他还指出语义的层级结构是由点至面、由面至体、从细节到主体,语义分解的特点包括可分性和抽象性。四、石教授介绍了团队的最新研究进展,包括智能体类人声波传输视频,基于知识嵌入图卷积网络的行为识别,基于语义引导的多模态行为识别,基于语义知识规约的水声目标识别,基于语义度量和计算的图像识别框架,以及正在研制中的语义头盔,多模态数据语义的刻画与度量等。
遥感影像+深度学习的研究进展
国家杰出青年基金获得者
武汉大学王密教授
伴随着人工智能技术与遥感相结合的蓬勃发展和广泛应用,王密教授从四个方面介绍了遥感影像与深度学习相结合的研究进展。一、遥感技术+深度学习。王教授首先介绍了卫星遥感的发展历程,我国遥感卫星逐步实现了业务化、商业化和国际出口。接着介绍了高分专项遥感卫星发展历程。王教授指出,遥感影像数据海量,知识难觅,其核心问题在于特征的提取和表征,深度学习技术是空间信息的特征提取与稀疏表征的有效途径,遥感影像处理的深度学习技术,需要大规模的遥感影像样本库,以及遥感专用深度学习框架与模型来进行支撑。现阶段,针对遥感技术与深度学习相结合面临的问题,王教授团队提出了对应的研究方案和具体措施。二、样本库与网络框架。王教授指出,遥感特性嵌入的大幅影像处理方法包括四个步骤:利用四叉树分裂-合并算法对金字塔每层影像进行初步划分,地理空间索引,构造尺度记忆池,提取关联影像块内完整的地物对象。王教授还提出顾及遥感数据及任务特性的深度神经网络优化理论与方法。王教授及其团队选取全球范围内重点区域,构建样本库与专用框架模型试验平台进行实验验证。目前,已开展的部分验证包括:高光谱影像、光学影像和SAR影像。三、AI+遥感影像大赛。学校连续多年举办了多届遥感影像稀疏表征与智能处理算法大赛,鼓励更多人参与遥感影像的研究。四、王教授就遥感技术与深度学习的融合进行了总结与展望。希望构建遥感领域最大、覆盖多重类型的遥感样本库、研发开源遥感框架模型,组织遥感与人工智能大赛,推动本领域技术发展。
学科现状及发展规划—郑州大学电气工程学院
郑州大学电气工程学院院长
国家优秀青年基金获得者
梁静教授
梁静教授从学校简介、学院现状、学科建设及团队的发展规划四个方面展开报告。梁教授首先介绍了郑州大学的概况,接着从学院的历史沿革,师资概况和本科教学三个方面介绍了电气工程学院的现状。梁教授介绍到,电气工程学院包括自动化系、电气工程系和生物医学工程系三个专业系和电工电子实验中心。学院分为控制科学与工程和电气工程两个学科。其中控制科学与工程学科的方向包括:复杂系统控制理论与技术,智能优化与控制、机器人感知与控制,脑信息智能处理与神经工程;电气工程学科包括的方向有:电力电子与电能系统、高压电器与电子绝缘、先进电磁驱动与控制以及电网储能与电池应用。梁教授介绍了学院的9个学科建设团队:机器人与智能系统研究团队;脑科学与脑机接口技术研究团队;中医药智能科学与工程技术研究团队;计算智能与优化控制研究团队;电网储能与能源电工材料研究团队;输配电装备与电气绝缘研究团队;先进电磁驱动及控制研究团队;公共安全研究团队。最后,梁教授介绍了学院未来的发展规划,将医学、人工智能、材料科学、电气工程、控制科学与工程多学科进行交叉融合;从学科建设方面、师资队伍方面以及科学研究方面进行规划;将智能化落地实施,与控制科学与工程、电气工程两个学科相结合,进一步推进学科发展。
人工智能本科人才培养:思考与探索
南京大学永利皇宫463cc副院长
国家优秀青年基金获得者
黎铭教授
报告伊始,黎铭教授从人工智能目前发展的现状出发,指出全球范围内人工智能技术发展突飞猛进,学术界、各国政府和工业界均高度重视人工智能;同时强调各行业对人工智能技术的需求日益增加,导致目前人工智能人才供需严重失衡的现象。而现行的高薪挖人的人才抢夺方式对整个社会而言没有增量,无法从根本解决问题。进而点出解决问题的根本途径是培养人工智能方面的专业人才。
随后,黎教授通过解答“关注什么人工智能?人工智能专业人才应该具备何种知识结构?和如何构建培养体系?”三个子问题,阐述了人工智能专业人才应如何培养的大问题。接着以强人工智能和弱人工智能(科学人工智能)为引,黎教授指出作为“教育”,所关注的“人工智能”内容应该是:有助于为人类社会谋福祉、有助于解决产业创新需求和有助于学生未来职业发展,这与目前学术界所关注的一样都属于弱人工智能,这种人工智能不等同于人造智能,而约等于智能启发式的计算(Intelligence-inspired computing)。一方面,通过分析人工智能任务的求解过程(现实抽象建模-模型算法分析设计-编码实现-高效扩展),黎教授总结到人工智能高水平人才的知识结构包括:数学基础好;计算、程序功底扎实;人工智能专业知识全面。另一方面,黎教授进一步表明,人工智能从诞生开始历经三个阶段(推理期、知识期和学习期),经过60多年的发展,已经形成庞大的知识体系。内核基础层:机器学习、知识表示与处理;支撑技术层:模式识别与计算机视觉、NLP、自动规划等;平台系统层:机器学习系统平台、人工智能程序设计、机器人等;学科应用层:和其他学科交叉。
报告的最后,黎铭教授分享了南京大学永利皇宫463cc的人才培养体系。并结合实际内容作了详细的讲述,诸如:现设方向包括机器学习与数据挖掘和智能系统与应用;出版了《南京大学人工智能本科专业教育培养体系》书籍;培养目标是培养具备源头创新能力、具备解决企事业单位关键技术难题能力的人才;培养措施是夯实基础、深化专业、复合知识和加强实践。培养路径主要是依托南京大学“三三制”本科生培养体系,培养学术创新型、交叉复合型和创业就业型的人工智能专业人才;还有具体的课程设置,并强调到具体的课程设置需考虑自身单位的具体情况而定,但所总结的高水平AI人才的知识结构具有共性。黎教授的报告对思考人工智能的人才培养与产业发展具有探索性意义。
人工智能交叉学科建设与思考
武汉大学计算机学院副院长
国家优秀青年基金获得者
杜博教授
从关于武汉大学人工智能研究院的人工智能交叉学科建设背景、交叉学科培养方案设置、师资力量和科研进展等方面出发,杜博教授向我们分享了《人工智能交叉学科建设与思考》的报告。杜博教授强调,近几年国内外人工智能发展非常迅猛,我国在2019年和2020年分别新增多所高校开设人工智能专业。同时,党中央和教育部均强调人工智能学科建设的重要性和必要性,给出相应的指示和要求。在这样的大背景下,武汉大学开始了人工智能硕士/博士学位点建设。
随后,杜博教授进一步讲解了武汉大学人工智能研究院交叉学科培养方案。其主要的硕/博研究方向包括人工智能基础、人工智能共性技术、医学人工智能、跨媒体与时空智能计算和泛在物联网与智能系统。并分别介绍了学术学位硕士、专业学位硕士和博士的主要培养目标、培养方案和课程学分设置及要求,重点介绍了武汉大学所开设的人工智能理论基础课程、实践性课程和特色化交叉课程(医学人工智能和时空人工智能)系列课程。指出武汉大学的人工智能专业课程教学具有前沿的科研内容融入课堂教学和提高研究生人工智能理论实际应用能力的特色,并总结到人工智能专业需要形成本硕博贯通的系统化课程设置,随着培养阶段的提升,课程要更加强调前沿和创新。人工智能专业的学科基础理论必修课内容保持相对稳定,但选修课内容应根据学科发展和知识体系不断推陈出新、与时俱进,设计层次化的课程体系。
最后,杜博教授从人才优势、学科优势、师资建设、科研团队、组织机构、校企合作平台、教学科研设备条件、科研项目情况、科研奖励、论文成果、优秀毕业生、近期代表性科研成果等方面展示了武大人工智能研究院的师资力量和科研进展。
天津大学智能+交叉学科人才培养机制探索
天津大学永利皇宫463cc副院长
国家重点研发计划项目负责人
王鑫教授
王鑫教授从人工智能交叉学科发展、天津大学人工智能交叉学科人才培养、天津大学智能与计算专业人才培养等方面为我们带来了精彩的报告。王鑫教授首先介绍到:四次工业革命(蒸汽时代、电气时代、信息技术时代和智能时代)的历史发展证明,互联网、大数据与人工智能正在全球范围内掀起新一轮产业革命,科技革命催生工业革命,大学在推动科技革命中发挥着重要作用。同时指出,人工智能交叉学科发展体现在人工智能与应用学科的交叉融合,人工智能的研究与发展体现了高度学科交叉与融合,与许多相关学科和领域的发展相辅相成,在各行各业的应用中不乏人工智能的身影。
随后,王鑫教授讲到天津大学以2016年教育部提出新工科建设为契机,开始展开天大智能交叉工程教育模式的探索。详细列出智能交叉专业的毕业要求,提到所建设的面向未来科技发展跨学院(科)和多学科校级培养平台和未来智能机器与系统平台等多学科交叉融合工程教育培养平台,讲解了以项目为链的模块化课程体系。紧接着,王教授以人工智能发展呈现多范式竞争/多S型发展的规律与态势、AI产业发展的最大瓶颈是人才匮乏和人工智能国家战略为背景,介绍天津大学的工科能力和天津大学智算学部的AI研发团队,指出天津大学以高水平科研带动交叉学科高质量人才培养。其人才培养的目标是“宽口径、厚基础、复合型、具有家国情怀、全球视野、创新精神和实践能力的计算机、人工智能、软件工程、网络空间安全领域卓越人才”。人才培养机制是一个牵引(新工科)、三级融合(教/研/学融合、产学/校企融合和多学科交叉融合)、五位一体(学科交叉、平台建设、模式改革、环境引育和多元保障)。其模式改革包括以核心技术为主线、前沿应用为牵引,重构“宽口径、厚基础、复合型”人才需求的人工智能课程体系;以“卡脖子”技术为主线、前沿应用为牵引,重构课程体系。其改革探索注重创新实践能力培养模式,设计“1+3+X+1”的递进式实践课程体系。此外,王教授还介绍了人工智能专业具体的课程体系和对应的三个产学/校企协同育人平台,也提到在研的国家级新工科研究与实践项目和拟建的人工智能专业教学资源(AI专业知识图谱)。最后,王教授总结到我们要探索正确发挥和利用人工智能技术应对我们面临的各种挑战。
智能教育:思考、探索与实践与探索
华东师范大学计算机科学与技术学院副院长
上海智能教育研究院副院长
周爱民教授
周爱民教授首先介绍了智能教育发展背景情况。智能教育的发展是国家战略发展的需要,习近平总书记在国际人工智能与教育大会上提到,要充分发挥人工智能的优势,加快发展伴随每个人一生的教育、平等面向每个人的教育、适合每个人的教育、更加开放灵活的教育。从抢抓发展机遇的角度来看,李德毅院士指出,教育是人工智能冲击最大的行业,它不是一个学科、一个环节的调整,而是全新的、全方位的挑战。近年来,人工智能的发展环境发生了深刻变化,智能教育将会成为人工智能的下一个发展重点。发展智能教育也达到了国内外的共识,卡耐基梅隆大学计算机学院院长Tom Mitchell教授指出,未来十年将会是人工智能影响教育的十年。智能教育是引领第三次教育变革,在3000年前,最早的学校诞生,人类开始了有目的、有计划、有组织的文明传承;而如今人工智能的发展,使得智能教育曙光初现,人类将迎来第三次教育大变革。
其次,介绍了智能教育的建设思路。由于人工智能有可能引领第三次的教育大变革,所以我们的使命在于引领学习变革,创造教育未来。大多数机构的人工智能主体在于人工智能+教育,其核心是技术,以人工智能为工具,强化现有的教育功能,提高现有的教育效率,而我们的主体是教育+人工智能,其核心是教育,以人工智能为动力来促进教育形态和育人模式的根本转变。指导思想为立足于中国实际,瞄准世界前沿理论和技术,有针对性地开展科学研究和产品研发,关注普遍问题,关注重大问题,关注长期问题,关注艰难问题,突出人工智能解决教育问题的不可代替性,是有目标导向、问题导向和应用导向的研究。工作原则为最大限度地为每一位有需要的人提供服务,为每一个提供适合的教育。以审慎的伦理态度,坚持安全第一,特别是保护使用者的隐私,避免出现画像定势等负面效应,该原则表现出了公益性、普惠性和安全性。智能教育整个发展的路径为,把基础研究、技术转化和产品研发紧密结合起来,以创新的思路来抓创新,积极探索把研发作为产业来做、把技术作为商品来做的有效路径,推进研究和产品不断更新迭代;落实国家战略,把政府要求、事业单位合作作为强大动力,把人才培养和科学研究结合作为鲜明特色,把产教融合作为重要抓手,把学校联盟协同创新作为有效路径,在创新中发展,在发展中创新。因此该工作是高起点、跨学科、工程化、政产研用一体化的研究。
然后,介绍了智能教育的建设举措。从学科平台来说,2020年12月26日,上海智能教育研究院成立,与上海市教委、上海市普陀区政府签署共建协议,并与多家头部AI企业签订战略合作协议。从人才培养角度,从博士生开始建设,在计算机科学与技术一级学科下,自主设立二级学科“智能教育”博士点,并在2020年成立智能教育博士班。在师资队伍来说,智能教育研究院集合了教育学、心理学、脑科学、计算机科学、软件科学、数据科学、数学、艺术设计等学科的优势师资,以兼职形式组建导师团队带领博士生做研究。从科学研究角度来说,以人为主,从教育角度划分为五个平台建设规划,分别为三维自适应智能学习系统、高质量课堂智能诊断与改进系统、核心素养导向的智能评价系统、大数据驱动的教育治理系统和智能教育社会实验,落地系统研发项目为教学机器人、快乐机器人、写作辅导机器人和语言伴学机器人等。
最后,周教授指出智能教育的时代已经来临,第三次教育革命的号角已经吹响,必须抓住机遇,加快推进人工智能与教育的深度融合与创新发展,更好的促进教育信息化发展。
融合遥感与社交媒体数据的城市内涝制图研究
国家高层次人才项目入选者
IEEE JSTARS主编
IEEE Fellow
中山大学李军教授
李军教授首先介绍了研究遥感数据与社交媒体数据融合的原因。在于二者具有不同的数据特性:一般情况下,遥感数据可以准确反应目标位置,故而水面特征提取采用遥感图像的物理特征,比如空间光谱、纹理以及语义等特征信息。同时社交媒体数据具有定理信息和人类活动等人文特性,它与遥感数据形成互补特性,从而将实现更加精确的水面提取。为了更好地应用社交媒体数据,做了应急响应事件评估实验,使用遥感数据、社交媒体数据与历史洪水数据对洪水进行监测,而社交媒体对空间位置的偏移错位导致融合后的数据不准确,从而影响了应用效果,所以我们提出融合遥感数据与社交媒体数据,实现准确的制图与灾害监测。
在视觉领域中,数据融合属于域适应问题,通常使用源域与目标域直接对齐,实现目标域的分类,或借助第三方,实现源域与目标域的对齐。以城市内涝制图研究为例,通过域适应方法将遥感数据、社交媒体数据与历史洪水数据进行融合。但是,视觉领域的域适应问题必须要符合均匀分布,且只需要特征进行关联,未考虑地理位置信息。而遥感数据本身具有地理位置信息,故融合数据没有指向事件本身,从而存在误差。所以提出将特征与位置同时实现关联,输入为遥感数据、社交媒体数据与历史洪水数据,基于这些数据的共性特征构建目标函数,实现遥感数据与社交媒体数据的数据对齐与融合。
最后,李教授指出在研究遥感数据与社交媒体数据的融合的工作中,要同时考虑时间与空间的一致性。并且在未来会考虑融合更多的数据,比如AIS数据、人文数据、文本预分类融合解析等。
网络空间智能对抗
西北工业大学科学技术研究院副院长
国家杰出青年基金获得者
王震教授
王震教授从认知、网络、物理-网络三个层次分享了网络空间智能对抗领域的最新成果。同时介绍了‘智能’在网络空间发展中经历的阶段:(一)功能性智能,用‘智能’来取代人的脑力体力,使机器更快、更高效、更复杂,即具备人的特征以及模仿人的特征;(二)对抗性智能,在对方也使用智能算法的情况下,比较谁更能欺骗对手,隐蔽自身意图达到目的,例如恶意软件通过对抗样本技术逃逸检测,或武器装备通过对抗性涂装欺骗目标识别等;(三)博弈性智能,在不久的将来网络空间会逐渐发展为人与机器、机器与机器、人与人,以及单对多、多对多等综合场景,从两方的单次对抗向群体之间的持续对抗发展,网络空间智能对抗也将向着更理性、更全面、更智能的方向不断发展。
在网络空间认知对抗场景下,认知智能体可同时具备三种层次的智能:其中功能性智能,可表现为社交网络中的虚拟角色具备智能化的生存能力与智能化的影响力增强机制,具体包括了例如基于知识图谱的身份智能设定、基于模仿学习的行为智能规划等;对抗性智能,可表现为对其发布内容的对抗性扰动,使其能够在不影响人类受众理解的同时不被对手的智能检测算法识别;博弈性智能,可表现为认知智能体集群的策略规划,通过对其内容与行为的博弈分析,形成舆论引导的最优策略。
在网络对抗与CPS系统对抗场景中,智能体同样可以具备三种层次的智能。例如,在网络对抗中,功能性智能可表现为基于深度学习的恶意软件检测、基于深度学习的DGA检测等;对于对抗性智能,则可表现为恶意软件与检测系统之间攻击与防御方伪装与反伪装、欺骗与反欺骗的对抗;博弈性智能则表现为攻击与防御策略的设计,以及自动化攻防智能体之间的策略选择。在CPS系统对抗场景中,以无人机对抗为例,功能性智能表现为目标检测、弱目标识别、路径规划等能力;对抗性智能表现为视觉识别涂装隐身等;博弈性智能则表现为无人机集群编队控制、任务协同等。
元学习的思想方法概述
大数据算法与分析技术国家工程实验室
机器学习教研室负责人
国家“万人计划”青年拔尖人才计划入选者
西安交通大学孟德宇教授
孟德宇教授的报告以元学习的学习之基、研究之源、探索之路和未来之思四个方面来介绍元学习的思想方法。
一、学习之基。孟教授首先介绍了机器学习主要框架包括训练数据集、学习机器、表现度量和优化算法,机器学习技术现状是人工筛选训练样本、人工标注训练数据、人工预建网络结构、人工预制表现度量和人工预设优化算法,为了解决机器学习方法论自动化构建与设置这一瓶颈问题,对元学习的思想方法进行深入阐释。二、研究之源。元学习主要想实现的目标是,基于给定的学习任务自动设定学习过程的每一环节,即学会学习方法论(Learning to learn),元学习与机器学习的本质差别是拟合对象不同、学习机输出不同、表现度量不同和泛化目标不同。机器学习的方法论是超参,通过构建和学习元学习机,在给定任务中获得超参,可实现在在新任务上泛化,元学习的方法论有很多,孟教授分享了基于双边优化的元学习方法论,能够更快更准的获得超参,通过将超参设定为预测超参的函数,学习该函数的参数获得元学习机,对于变化的任务就获得变化的超参。三、探索之路。孟教授以数据自选择和优化算法自设计为例介绍了学习的超参数是什么和元学习机如何设置(包括元学习机的输入是什么和元学习的结构如何设置)。四、未来之思。孟教授介绍了未来计划研究有继承的但超越传统机器学习的元学习基础理论,展示了基于同一建模范式的元学习基础算法簇和呈现方法论泛化优势的元学习示范应用。
场景文字理解的新思考
国家优秀青年基金获得者
华中科技大学白翔教授
白翔教授的报告介绍了文字检测、端到端识别和检索的最新工作进展和一些新的思考。对于文字检测,由于文字自身的复杂性、形状的多样性(如长条形和弯曲型),比一般物有更高的检测要求。白教授首先介绍了一种基于实例分割的文字检测方法,在网络里加入二值化过程,去掉了实例分割的后处理,大大优化了文字检测的速度。然后介绍了在文字标注方面所做的工作,考虑到文字标注非常繁琐,简化标注任务同样是个检测问题,为了降低监督信息,使用一条经过所有文字的线段作为监督信息,有效降低了标注时间。还介绍了对文字这种狭长型物体,可以通过动态卷积能够增大感受野,自适应的产生一些采样点。同时白教授提出新思考:除了网络本身,是否可以关注一些其他的问题。对于端到端识别,之前的工作中,检测框的输出结果可能包含背景噪声,影响识别性能,现在换成了使用文字上的采样点连接检测和识别的模块,可以使结果更准确、更鲁棒,这说明了表示方式不应该只有框,还需要其他的方法。此外,使用基于分割的方法可以端到端的同时实现检测和识别的任务。同时,介绍了今年的新想法:检索。白教授指出有时候并不需要识别所有文字,只关心部分文字,这种情况下,解决的是检索问题,通过特征匹配在海量图片里搜索感兴趣文字。白教授认为,对于深度学习,特别依赖于强数据的标注,我们更应该关注样本标注不全、不准的情况下我们应该怎么做的问题,才能从科学问题本身带来新的突破。
面向大规模优化的并行分布式进化计算方法研究
国家优秀青年基金获得者
吴文俊人工智能优秀青年奖获得者
华南理工大学詹志辉教授
詹志辉教授首先介绍了大规模优化问题和进化计算方法的背景。人类活动是从盲目性、随机性到最优化、智能化的演变,最优化是人类智能活动的核心,出现在生产实践,科学研究和社会活动的众多问题中,可以归结为最优化问题,以实现智能化。复杂优化算法的数学模型难以表达,使得传统优化方法难以适应,而进化计算优化算法通过模拟自然界群体智能,不依赖问题的数学特性,从而简单易用,可以快速得到最优解,成为求解众多智能化复杂问题的重要途径。随着物联网,云计算,大数据的发展,优化问题变得越来越复杂。詹教授介绍了大规模优化问题的特点和挑战,以及进化计算求解大规模问题的主要思路,并给出了大规模分布式进化算法如何避免局部最优、如何加速算法收敛和如何减少运行时间三个关键问题。可使用多个设置不同的种群,提高种群多样性,避免局部最优,让多个种群协同演化,搜索信息共享,加速算法收敛,使用并行计算范式,分配任务给不同的计算资源,减少运行时间。研究动机和思路是使用分布协同技术来改进进化算法。詹教授分享了近几年在并行分布式进化计算方法研究及其应用方面的工作,并且针对大规模优化问题,围绕分布式演化方法,提出三种针对大规模问题的分布式演化算法(分布式协同的Cloudde、自适应控制的AGLDPSO和并行化处理的P3SO),解决两个大规模应用(大规模供应链优化、大规模云工作流调度优化)问题。
Automated Algorithm Design-Integrating Optimisation and Learning
国家高层次人才项目入选者
英国诺丁汉大学屈嵘教授
屈嵘教授的报告的主要围绕“自动算法设计”展开,希望通过有效结合优化和机器学习的不同技术来设计高效的算法以解决现实复杂的组合优化问题。屈教授首先介绍了自动算法的设计的几个解决方案,包括为医疗系统提供人力调度的优化方案、为医护人员到访病人家提供的优化方案和组播路径优化方案。解决组合优化问题需要先定义决策变量,再定义它的约束条件和优化目标,之后选择相应的算法来有效解决。在屈教授最近的研究里,把自动算法设计本身定义成了一个组合优化问题。在自动算法设计方面新的研究成果中,超启发式算法研究里有一大类是属于自动产生新的启发式算法的研究,其中通用的技术是基因编程(Genetic programming)和基因表达编程(Gene expression programming)。从当前的一些研究成果可以看到在设计算法的过程中,没有统一的标准或模型,使得研究的成果无法共享,这推动了一项新的研究:建立自动算法设计的通用组合优化问题(General Combinatorial Optimisation Problem,GCOP)模型,并在此基础上又建立AutoGCOP框架。屈教授指出自动算法设计领域里可能还面临新的挑战:如何学习算法设计中的调用操作符,以更加有效的设计和算法解决组个优化问题;机器学习应用到优化里的研究还处于起步阶段;如何解释学习到的自动算法设计的新知识,只有在可解释的情况下,这种新的知识才能被更通用、更有效的共享和反复使用。
Recent Advances in Communication-Efficient Federated Learning
国家高层次人才项目入选者
IEEE Fellow
英国萨里大学讲席教授金耀初
金耀初教授首先介绍了联邦学习的概念。联邦学习是一种可以保护数据隐私的分布式机器学习框架,相比于中心式学习和分布式学习,联邦学习更注重数据安全和有效通信。并且,联邦学习中的一项挑战是在不严重降低性能的情况下降低通信成本。
金教授在本次报告中介绍了横向联邦学习中几种用于减少通信量有效的最新研究成果。一种是基于分层异步模型更新和时间加权聚合的高效通信联合深度学习。在异步学习策略和在服务器上对本地模型进行时间加权聚合,提出了一种增强的联邦学习技术。在异步学习策略中,将深度神经网络的不同层分为浅层和深层,深层参数的更新频率低于浅层参数。此外,在服务器上引入时间加权聚合策略,以利用先前训练的本地模型,从而提高中心模型的准确性和收敛性。一种是采用经过训练的三元压缩提高通信效率的联邦学习。提出了一种联合训练的三元量化(FTTQ)算法,该算法通过自学习量化因子优化客户端上的量化网络。给出了量化因子和FTTQ无偏性的收敛证明。利用一种三元联邦平均协议(T-FedAvg)来减少联邦学习系统的上下游通信。通过减少模型参数量来减少通信量。同时介绍了多目标进化优化与学习,可以用来优化模型结构,减小模型复杂度。并引入联邦学习,提出进化多目标联邦神经结构优化。使用多目标进化算法优化联邦学习中神经网络模型的结构,以同时最小化通信成本和全局模型测试错误。另一种是实时联邦神经架构搜索的进化方法,不仅可以优化模型性能,还可以减少局部有效载荷。在搜索过程中,引入了双采样技术,其中对于每个个体,将主模型的随机采样子模型传输到多个随机采样的客户端进行训练,无需重新初始化。这样,可以有效地降低了进化优化所需的计算和通信成本,并避免了局部模型的大性能波动。
Evolutionary algorithms for large-scale sparse multi-objective optimization problems
安徽大学永利皇宫463cc副院长
国家优秀青年基金获得者
张兴义教授
张兴义教授在报告中与我们深入地探讨了进化算法在大规模稀疏多目标优化问题中的应用。他首先阐述了多目标优化问题的概念,并指出在多目标优化问题中有一些挑战,比如动态多目标优化问题和大规模多目标优化问题。现今,对大规模多目标优化问题仍没有形式化的定义,其难点在于易出现维度灾难,另外,随着搜索空间的指数增加,局部最优解也呈指数增加。随后,张兴义教授通过特征选择等实例引入了大规模稀疏多目标优化问题。他提出用最优解稀疏的特性融入进化算法来解决此类问题,主要是从种群初始化、交叉算子和变异算子这三方面来考虑,生成稀疏的个体。
张教授还谈到可采用机器学习的方法预测每一位非零的可能,采用受限玻尔兹曼机和去噪自编码器模型学习最优子空间,从而实现一种基于无监督神经网络的进化算法。接着,张兴义教授详细讲述了基于模式挖掘的进化算法,其主要思想是采用模式挖掘的方法来近似稀疏最优解中的非零变量,定义了一个非零变量的最小候选解集合和一个非零变量的最大候选解集合。最后,张兴义教授介绍了稀疏多模多目标优化,并应用于神经网络架构搜索。他用多组实验结果来验证了所提方法的有效性,同时指出未来可针对更大规模的稀疏多目标优化问题或高代价的稀疏多目标优化问题进行进一步的研究。
Richer and Deeper: Vision and Language Understanding with Richer Visual Content and Deeper Non-visual Knowledge
国家高层次人才青年项目入选者
西北工业大学王鹏教授
王鹏教授的报告是以视觉与语言理解中的“Richer”和“Deeper”来展开讨论的。他以场景文本阅读、目标检测和场景分类等为例来说明视觉与语言理解需要丰富的视觉信息,同时,当任务水平越高时,所需的外部知识越深层。
王鹏教授表示,解决文本视觉问答问题非常关键的三个能力是阅读、推理和回答。他提出一个基于结构化的多模态注意力网络模型,其中包括问题自注意力模型、问题条件图注意力模型和全局-局部注意回答模型,王鹏教授对这三个模型进行了详细地阐述。实验结果显示,由于网络中使用了注意力机制和图,使得模型具有一定的可解释性,同时,也揭示了阅读能力对模型的推理能力有很大的影响。其次,王鹏教授还提出了一个简单但强大的模型来解决文本视觉问答和图像字幕的问题。该模型在注意力机制的基础上,把对字符的处理分成图像和语言两个部分,分开输入到transformer模型中。然后,王鹏教授对transformer如何作用于视觉问答进行了深入的研究,首先通过手动移除模型中的头或层来测试其性能,然后设计一个动态的模型来探索每一层的影响。
王鹏教授还与我们探讨了基于知识的指称表达。他介绍了一个新的参照表达数据集,并提出了一种表达条件图像和事实注意网络,该网络从相关图像区域和常识知识事实中提取信息,与现有的指称表达理解模型相比,王鹏教授所提出的方法实现了最优的性能。
可信多模态机器学习
天津大学北洋学者-青年骨干教师计划入选者
张长青副教授
张长青副教授的报告主要围绕可信多模态分类问题进行了探讨。他首先提及已应用于智慧医疗和智慧驾驶的多模态融合。接着,张长青副教授谈到,可见光图像和红外图像在相同背景下进行行人检测时出现不同的结果,体现了多模态关联高度的不确定性。他指出,当前方法缺乏对整体不确定性的估计,使得多模态融合结果不可信。针对这一问题,张长青副教授提出主观逻辑的方法,直接建模决策不确定性,增强融合可信性。通过非负神经网络输出证据、约束狄利克雷分布生成意见以及约减证据理论融合多模态意见,从而形成一个端到端的可信多模态融合框架,这是一个无缝框架,可以进行全局优化。之后,张长青副教授详细解释了目标函数,在优化与训练过程中调整交叉熵损失,并加入正则约束,还介绍了单模态损失和多模态损失。张长青副教授对不确定性评估、多模态图像场景识别和图像-文本协同分类分别进行实验,其结果说明所提出的方法对感知模态异常有高灵敏度,对系统输出与人类理解有高契合度。最后,张长青副教授表示,他们对多模态机器学习的研究是从最初的狭义关联到广义关联,再到现今的可信关联。
基于多源数据融合的遥感图像目标检测识别方法
哈尔滨工业大学
“青年拔尖人才选聘计划”入选者
胡悦副教授
胡悦副教授在报告中详细阐述了两种遥感图像处理的方法,分别是基于SAR与光学数据融合的遥感影像去云方法和基于推理型深度学习网络的遥感图像目标检测识别方法。
由于光学遥感影像分辨率高,但易受天气、云雾干扰,而SAR图像不受天气限制,可判读性较差,胡悦副教授提出一种SAR图像辅助光学图像云区判读来提高图像质量的方法。该方法采用生成对抗网络,基于U-net结构的生成器生成尽可能接近真实数据集中的数据,马尔可夫判别器判断图像是真实的还是生成器生成的,尽可能将两者区分开。胡悦副教授对网络框架及损失函数进行了深入的讲解,并通过实验展示了去云效果。
传统基于深度学习的遥感图像目标检测识别方法提取到目标特征,但无法建立目标之间的联系,胡悦副教授介绍一个推理型深度学习网络,以实现遥感图像目标检测识别。在Faster-RCNN的基础上,通过引入注意力机制、全局语义池及知识图谱来获得自适应全局推理。知识图谱可以增加区域间的联系,从而提高检测识别准确率。最后,通过实验结果可以看到,胡悦副教授所提出的基于推理型深度学习网络的遥感图像目标检测识别方法,在含有多类别目标及被遮挡目标的图像中均有较好的检测识别结果,提高了检测的精确率。
整理人:贾楠、李鹏芳、张欣、黄欣妍、崔艳雨、王丹、张若浛、马梦茹、孙龙、游超