2024年4月15日，课题组同学举行了线下组会，指导老师唐克双教授、朱宏特聘研究员，以及课题组所有学生参与了本次例会。 本次组会主要内容为冯嘉龙、高正勇同学研究进展汇报。

一、 冯嘉龙研究进展汇报

冯嘉龙同学的研究课题为《面向自适应交通信号控制的模型增强强化学习》。他的汇报内容涵盖了四个主要部分：研究背景与动机、方法介绍、实验设计与初步结果、以及未来工作展望。

首先，冯嘉龙同学简要介绍了自适应交通信号控制的研究背景，强调了强化学习在智能交通系统中的应用潜力，同时还指出了现有方法中的不足，如学习效率低下和高依赖于初始训练数据的问题，从而提出了模型增强强化学习方法（MEDQN）的研究方向。往后，冯嘉龙同学详细阐述了MEDQN方法的核心机制。该方法在传统的深度Q网络（DQN）基础上，引入了一个基于神经网络的后向预测模型，用于生成模拟的训练数据，以辅助模型更快地学习优化策略。他详细介绍了状态空间、动作空间和奖励机制的设置，并通过一个简化的交通场景实验，展示了如何通过MEDQN减少交通信号的启动拥堵。一些初步的实验结果，验证了MEDQN在加速学习过程和减少交通拥堵方面的有效性。通过与传统DQN方法的对比，他展示了MEDQN在不同交通流条件下的性能提升。最后，他提出了未来工作的方向，包括进一步优化后向预测模型的精度，扩展至更复杂的交通网络，以及实际场景下的测试与部署。冯嘉龙表示将继续深化研究，探索更多能够提升模型泛化能力的技术。

在讨论环节，唐克双老师和朱宏老师对冯嘉龙的研究提出了宝贵的建议。唐克双老师建议在演讲过程中加入研究定位和案例说明，在论文撰写中突出研究贡献。朱宏老师则建议明确研究的后续扩展，同时指出幻灯片制作还需要进一步打磨。此外，与会的其他同学也对模型的潜在发展方向提出了一些创新的想法，如引入中观、宏观的模型与控制等。

二、 高正勇研究进展汇报

高正勇同学从引言、方法论、实验设计、探讨与安排四个方面介绍了其研究《基于宏观等价路网的城市货运中、宏观路径联合分配》的最新进展，重点讨论了在中、宏观路径联合优化方面的思考。

汇报内容分为四个部分：第一部分阐述了研究问题实质及相关研究综述，总结了路网层面路径优化的研究进展及存在问题。第二部分阐述了研究问题的数学模型及求解框架。第三部分介绍了其基于SUMO的实验设计。第四部分是总结了模型及算法中现存的问题以及解决思路。

唐克双老师、朱宏老师与其他课题组成员就高正勇同学研究中的相关问题进行了深入探讨，为其指明了研究后续的重点工作以及可能的研究方向：1）在真实的大路网上进行实验；2）对于等价路网中等价性证明的完善。