Note：强化学习(三)

admin
深度学习
15天前
13热度
0评论

继续实现 train_dqn 函数，并将其与之前的代码片段集成。这个函数将负责运行 DQN 训练循环，包括环境交互、经验回放以及目标网络同步等关键步骤。

def train_dqn(episodes=200, sync_interval=20):
    """
    执行完整的 DQN 训练过程。

    参数:
        episodes (int): 训练的回合总数。
        sync_interval (int): 每隔多少回合同步一次目标网络并衰减 epsilon。

    返回:
        list: 每个回合获得的总奖励记录。
    """
    rewards = []
    env = gym.make('CartPole-v1')
    agent = DQNAgent(state_dim=4, action_dim=2)

    for episode in range(episodes):
        state, _ = env.reset()
        done = False
        total_reward = 0

        while not done:
            action = agent.get_action(state)
            next_state, reward, terminated, _, _ = env.step(action)
            done = terminated
            agent.memory.add((state, action, reward, next_state, int(done)))

            state = next_state
            total_reward += reward

            # 每次经历一个时间步后更新网络（基于小批量样本）
            agent.update()

        rewards.append(total_reward)

        if episode % sync_interval == 0:
            print(f"Episode {episode}: Total Reward: {total_reward}")
            agent.sync_target_network()  # 同步目标Q网络
            agent.decay_epsilon()        # 衰减探索率

    env.close()
    return rewards

# 主执行代码
if __name__ == "__main__":
    episode_rewards = train_dqn(episodes=500, sync_interval=20)

    plt.plot(episode_rewards)
    plt.title("DQN Training")
    plt.xlabel("Episode")
    plt.ylabel("Total Reward per Episode")
    plt.show()

关键点解析：

环境与智能体初始化：首先创建一个 gym 环境（这里是 CartPole-v1），然后实例化我们定义的 DQNAgent 类。
训练循环：
- 每一回合，让智能体从环境中获取初始状态，并进入游戏循环。
- 在每一步中，根据当前状态选择动作（通过 get_action() 方法）、执行动作并获得结果、将元组添加到经验池中。
- 使用这些经历进行网络更新（update() 方法）。
目标网络同步：每隔一定回合数调用 sync_target_network() 和 decay_epsilon() 以确保在线 Q 网络和目标 Q 网络保持一致，并且逐渐减少探索率，提高利用效率。
奖励记录与可视化：最后收集每个回合的总奖励，并通过 matplotlib 绘制出来以便进行分析和调试。

这个实现提供了一个完整的 DQN 训练流程示例，在实际使用中可以根据需要调整超参数、优化网络结构等。

Rainbow算法概述

Rainbow是DeepMind在2018年提出的一个强化学习框架，它将一系列独立的改进技术综合起来应用于一个统一的智能体中。这些单独的技术包括Double DQN、Prioritized Experience Replay（优先经验回放）、Dueling Network Architectures（双路网络架构）、Noisy Network Exploration（带噪声的网络探索）、N-step Bootstrapping（多步自举）以及Categorical DQN（基于分布的学习方法）。Rainbow展示了这些技术相互协同工作的潜力，并在Atari游戏基准测试中取得了显著优于传统DQN的结果。

关键组成部分

Double DQN：解决了传统DQN中的Q值过估计问题，通过使用两个独立的网络来计算目标值和当前状态价值。
Prioritized Experience Replay (PER)：一种更高效的回放缓存机制，能够根据重要性采样权重来更新经验样本的重要性。这使得智能体能够更多地学习那些具有更高不确定性或潜在有价值的经验。
Dueling Network Architecture：通过分离网络的值函数和优势函数，减少不必要的计算量，并提供更为稳定的训练过程。
Noisy Network Exploration (NNE)：引入了参数化的探索机制，即在网络权重中加入“噪声”，使得智能体能够在没有外部扰动的情况下进行有效的探索。
N-step Bootstrapping：改进了传统的单步TD目标，通过考虑n个步骤的回报来改善行动策略的学习效率和准确性。
Categorical DQN (CDQN)：超越了简单的期望值估计，转而使用分布学习方法来捕捉并建模未来状态可能存在的多种可能性。

Rainbow的优势

性能显著提高：Rainbow在Atari测试集上的表现远超单独应用某一种技术的结果。
数据效率增强：达到特定性能水平所需的交互步数大大减少，表明其能够在较少的数据量上获得较好的学习效果。
灵活性与兼容性：虽然每种技术都是针对DQN的特定缺点设计的，但这些改进可以相互结合使用而不会导致冲突。

实际应用考虑

尽管Rainbow在理论和实验环境中都表现出了极高的性能，但在实际部署时仍需谨慎权衡复杂性和效率。例如，在资源受限或需求即时响应的应用场景中，可能需要简化算法或选择性地采用某些组件。

总体而言，Rainbow展示了如何通过组合多个改进技术来显著提升强化学习系统的效能，并为后续研究提供了丰富的思路和方法论指导。