CommNet（Communication Neural Net）简介

CommNet 是一种在多智能体系统中学习通信策略的方法，其核心思想是在所有智能体策略网络的中间层构建通信结构，使得在决策时所有智能体都能交换信息，并在更新时所有智能体都能接收到来自其他智能体的梯度。这种方法与之前的 RIAL（如介绍中所提）不同，RIAL 学习的是每个时间步下选择信息然后发送给对方的通信策略，而 CommNet 则更注重在决策过程中的持续通信和策略调整。

CommNet 的整体结构

每个智能体的策略网络记为 $a = Phi(s)$，其中 $Phi$ 由 $K+1$ 层 $f$ 构成。相邻的两层 $f^{i-1}$ 和 $f^i$ 之间存在通信结构，因此 $K$ 也表示每次决策时智能体之间的通信次数。CommNet 的整体结构如图所示：

在 CommNet 中，用 $c$ 表示智能体之间的信息。每个 $f^i$ 是以上一层 $f^{i-1}$ 的输出，以及来自其他所有智能体的上一层的输出的均值这两者为输入。也就是说，每一层的输入都包含了当前智能体的上一层输出和其他智能体的上一层输出的平均值，从而实现了智能体蚂橡之间的通信。

其中，第一层察族以全局状态闷没旁特征为输入，并将信息置零，即 $h=r(s)$ 和 $c=0$。而最后一层则输出智能体的策略分布，并从中采样动作。

CommNet 的通信特性

1. 支持每个时间步与不同智能体通信：

   CommNet 的通信结构允许每个时间步与不同的智能体进行通信。这意味着智能体可以根据需要选择与其他智能体交换信息，从而更灵活地适应不同的环境和任务。

   

2. 支持跳转链接，在每一层都输入状态特征：

   CommNet 还支持跳转链接，即在每一层都输入状态特征。这使得智能体在决策过程中能够持续获取全局状态信息，从而更好地理解环境和其他智能体的行为。

CommNet 的多次通信理解

在 CommNet 中，多次通信的过程可以理解为：第一次通信后，各智能体根据其他智能体的信息调整自身策略；第二次通信是为了了解其他智能体是如何根据第一次通信调整策略的，并再次调整自身策略；以此类推。这种多次通信的过程使得智能体能够逐步逼近最优策略，并在复杂环境中实现更好的协作。

综上所述，CommNet 是一种在多智能体系统中学习通信策略的有效方法。通过在策略网络的中间层构建通信结构，CommNet 实现了智能体之间的持续通信和策略调整，从而提高了多智能体系统的协作能力和整体性能。