2024年4月9日，课题组同学举行了线下组会，指导老师唐克双教授、朱宏特聘研究员，以及课题组所有学生参与了本次例会。 本次组会主要内容为熊瑛畅、沈玥同学研究进展汇报。

一、 熊瑛畅研究进展汇报

熊瑛畅同学的研究课题为《基于深度强化学习的混合智能体协作交通信号控制》。她的汇报内容涵盖四个部分：混合智能体研究背景介绍、模型建立、算法架构和未来工作展望。

首先，熊瑛畅同学简要介绍了研究背景，强调了混合智能体研究的重要性，并对相关文献进行了分析，提出了模型和算法的总体趋势。接着，她详细阐述了所建立的模型，包括混合智能体协同方式、状态空间、动作空间、奖励机制和评估指标等，同时以一个简单案例描述了路网流量、配时方案等具体情况。随后，熊瑛畅同学介绍了课题的算法架构，采用耦合网络的方式构建算法，旨在实现路网中的绿波通行。最后，她表示将加快进度，进一步修正模型存在的问题，并完善算法的结构。

唐克双老师和朱宏老师从模型建立和算法架构两个方面提出了相应的建议：一是要合理考虑现实情况，在模型建立的环境中保证测试设备的一致性；二是可以进一步改进具体的上下游协同方式。此外，组内相关研究方向的同学也就具体模型和算法提出了建议。

二、 沈玥研究进展汇报

沈玥同学从研究背景与文献综述、数学模型与求解框架、边际路径成本计算模块、难题以及后续计划四个方面介绍了其研究《考虑出发时间/路径优化的有时间窗的系统最优动态交通分配问题》的最新进展，重点讨论了在求解框架中交通流模型的选取以及研究创新点的问题。

汇报内容分为四个部分：第一部分阐述了研究问题实质及相关研究综述，总结了系统最优动态交通分配问题(SO-DTA)问题及出发时间-路径协同优化问题的研究进展及存在问题。第二部分阐述了研究问题的数学模型及求解框架。第三部分重点介绍了模型中边界路径成本的定义。第四部分是总结了模型及算法中现存的问题以及解决思路。问题主要包括以下几点：1）边际路径成本的定义与交通流模型显著影响SO-DTA问题的数学性质和收敛形式，当前交通流模型与边际路径成本定义之间存在矛盾。2）研究内容创新点不够突出。

唐克双老师、朱宏老师与其他课题组成员就沈玥同学研究中的相关问题进行了深入探讨，为其指明了研究后续的重点工作以及可能的研究方向：1）在现存交通流模型上继续进行算法的测试，尽快获得可供分析的结果；2）研究创新可以从算法创新或场景创新入手，前者可以考虑现存的强化学习机制，后者可以通过引入多种交通方式进行分配，继续加强文献的阅读，推进研究创新。