组会简讯：2024年秋季第6次组会

2024年11月7日，课题组同学举行了线下组会，指导老师唐克双教授、朱宏特聘研究员，以及课题组所有学生参与了本次例会。本次组会主要内容为熊瑛畅同学研究进展汇报。

一、熊瑛畅研究进展汇报

熊瑛畅同学在其课题《异智信号交叉口间的自主协同策略研究》中，从研究背景、方法论及算法训练等方面介绍了该课题的研究进展，并重点讨论了当前最新的理论框架。

首先，熊瑛畅同学对研究背景进行了阐述。当前，城市路网中仍有超过95%的信号交叉口采用固定配时控制模式，表明城市交通信号控制正处于传统信控模式向智能型信控模式转型的过渡阶段。在这一转型过程中，面临着一系列核心挑战。因此，针对城市路网中混合类型信号交叉口的协同控制策略的研究显得尤为重要。本课题的主要研究内容可分为两大部分：一是异智信号交叉口的协同机制研究，二是智能型交叉口网布部署的优化策略。

随后，熊瑛畅同学进一步探讨了本研究的方法论。在异智信号交叉口协同研究中，首先需要对信号控制交叉口的自主化水平进行明确的区分和界定。接着，针对不同类型交叉口的协作问题，采用部分可观测的马尔可夫决策过程（POMDP）模型框架，构建了基于多智能体强化学习的异智信号交叉口协同控制框架。为了研究交叉口之间的博弈决策问题，关键在于对状态空间、动作空间及奖励函数的精确设计，依据交叉口的自主化水平特征进行具体的协同策略优化。

在算法框架方面，熊瑛畅同学介绍了可参考借鉴于智能体协作领域的集中式评论家与分布式演员的网络架构，并结合多种神经网络框架对交通数据特征进行提取与建模，以提升算法的性能和适应性。

在随后的讨论中，唐克双教授、朱宏老师以及课题组其他成员对熊瑛畅同学的研究提出了一些建议与问题。首先，研究需要进一步明确具体的应用场景，尤其是模型中使用的数据来源应与实际交通环境更加契合。其次，在信号控制交叉口的分级分类方面，可以从交叉口的硬件设施入手，进一步合理化研究假设，以确保研究的现实性和适用性。