求解鲁棒赛汝生产调度问题的双层鲁棒强化学习算法
一、 成果简介
赛汝生产方式是基于多技能化工人和简单、易移动的设备等柔性资源,通过对人员、设备和产品的合理组织来实现高效率和高柔性的一种面向装配生产系统的新型生产组织模式。赛汝生产方式由流水装配线生产方式经工序的重新分工以及生产设备的简化演变而来,其采用可移动的工作台、简单的设备和手工工具取代了流水装配线上的传送带和固定专用的自动化机器设备,使其能够快速、频繁地进行建造、改装、拆除和重组、能有效应对市场环境的变化。相比之下,传统的装配线依赖于大规模的生产过程,通常要求工人专注于单一的任务。在快速变化的市场环境中,缺乏灵活性的装配线生产方式已经不能满足多样化的客户需求。作为一种电子装配制造企业生产现场的新型生产管理方式,赛汝生产方式兼具高效、灵活以及快速响应的特点,被企业广泛采纳以提高生产的适应性,以降低市场需求波动带来的负面影响。
目前赛汝生产调度问题的研究大多是在假设系统参数已知且确定的基础上进行的,而现实的生产过程受多种不确定因素的影响,致使实际现场作业与生产调度计划存在偏差。所以,现有的赛汝生产调度方法仍存在一定的局限性。为此,团队提出了一种基于双层鲁棒Q-learning的协同进化算法用于求解工人处理时间不确定下的赛汝生产问题。
团队提出的基于双层鲁棒Q-learning的协同进化算法框架。该框架采用分而治之的方法,将复杂的赛汝生产调度问题分解为两个层次:顶层负责子问题的选择,底层负责子问题的优化。顶层具备远见能力,能够选择对优化最坏情况下系统性能具有潜力的子问题;底层利用迭代过程中获取的知识快速提升解的质量。顶层与底层的协同作用,使得所提出的鲁棒Q学习模型能够更加高效地搜索优质生产调度方案。
图1.包含5个工人、5个产品批次的巡回式赛汝生产系统的示例
图2.基于双层Q-learning的协同进化算法示意图
二、 应用领域
新一代信息技术、智能调度、生产制造领域等。
三、 市场前景
近年来,赛汝生产系统中的调度问题,尤其是工人分配调度问题以及产品批次调度问题逐渐受到关注。然而,目前赛汝生产调度问题的研究大多是在假设系统参数已知且确定的基础上进行的,而现实的生产过程受多种不确定因素的影响,致使实际现场作业与生产调度计划存在偏差。所以,现有的赛汝生成调度方法仍存在一定的局限性。因此,有必要开发一种基于赛汝生产调度的鲁棒优化方法、装置和设备,以生成更为准确的赛汝生产调度方案,进而提高赛汝生产效率。
与传统的Q-learning框架相比,本研究提出的双层鲁棒Q-learning框架具有以下两个关键优势:(i)将系统在最坏情况下的性能作为衡量智能体状态的核心指标。具体而言,设计了三个状态指标,分别用于表征赛汝构造子问题、赛汝调度子问题以及子问题选择在最坏情况下的优化程度,从而显著提升了算法在实际波动环境中的适应性和性能;(ii)通过引入双层Q-learning结构,将决策过程划分为子问题选择阶段和优化阶段,显著增强了算法在动态搜索过程中的适应性和灵活性。
四、 知识产权
1、成果由北京理工大学单独持有;
2、本成果已申请发明专利。
五、合作方式
合作开发、技术服务和咨询、技术许可、技术转让等。
六、对接方式
(1)合作意向方联系北理工技术转移中心;
(2)北理工技术转移中心沟通了解意向方情况;
(3)会同成果完成团队与意向方共同研讨合作方案。
北京理工大学技术转移中心
电话:010-68914920
邮箱:bitttc@bit.edu.cn
网址:ttc.bit.edu.cn
未经授权,请勿转载