2024年6月18日，课题组同学举行了线下组会，指导老师唐克双教授、朱宏特聘研究员，以及课题组所有学生参与了本次例会。本次组会主要内容为熊瑛畅同学研究进展汇报。

一、熊瑛畅究进展汇报

熊瑛畅同学的研究课题为《基于深度强化学习的混合智能体协作交通信号控制》。她的汇报内容涵盖四个部分：问题描述、方法论介绍、算法训练和实验场景架构。

首先，熊瑛畅同学简要介绍了研究背景，在混合智能体的背景下，问题可以被简单描述为自主化程度高的交叉口牺牲部分性能以平衡自主化等级低的交叉口，即交叉口间的博弈问题。 同时根据现有文献，她总结了目前研究趋势的一些创新点。接着，她详细阐述了所建立的模型，包括混合智能体协同方式、状态空间、动作空间、奖励机制等。建立的模型将对低等级交叉口进行画像，使用当前车辆数的比值对奖励进行修正以指导智能体的强化学习，旨在实现路网中的绿波通行。随后，熊瑛畅同学介绍了算法整体架构，用伪代码对算法流程进行了详细的说明。最后，她以一个简单案例描述了路网流量、配时方案等具体情况，将先在小路网上进行实验。她表示将加快研究进度，进一步完善方法论。

唐克双老师对实验场景提出一定建议：雷视一体环境下，当前交叉口的出口道信息也可以被全面检测，因此可以考虑使用上游出口道的信息而非下游进口道的信息；此外，模型没有考虑来自低等级交叉口的上游车流与高等级交叉口的下游车流的协同，在随后的模型改进中，可以进一步完善双向协同的机制。