神经网络入门：从基础到实战（二十二）

在人工智能领域，深度学习无疑是最受瞩目的技术之一，而神经网络则是其核心组成部分。神经网络通过模拟人脑神经元的工作机制，赋予了机器学习和决策的能力。本文将带你从零开始，逐步了解神经网络的基本结构、工作原理，并通过实际代码示例，帮助你掌握这一关键技术。

神经网络的生动比喻

想象一下，你正在教一个孩子识别猫和狗。你会怎么做呢？

1. 展示图片：首先，你会给孩子看许多猫和狗的照片。
2. 指出特征：接着，你会告诉他，猫的耳朵通常是尖的，脸比较圆；而狗的耳朵可能下垂，脸型更长。
3. 学习与归纳：孩子的脑中会逐渐形成一套判断模型，通过不断学习和纠正，他最终能够准确地区分猫和狗。

神经网络就像是这个孩子的脑的简化数学模型，它通过大量的输入数据（如图片）和标签（如“猫”或“狗”），自动学习特征和模式，并用于未来的预测和决策。

神经网络的基本组成单元：神经元

神经元是神经网络中最基本的计算单元，它模拟了生物神经元接收信号、处理信号和传递信号的过程。

神经元的工作流程

一个典型的人工神经元主要完成以下三个步骤：

1. 接收输入：神经元接收来自其他神经元或输入层的数据。
2. 加权求和：每个输入都有一个对应的权重，神经元会对所有输入进行加权求和，并加上一个偏置项。
3. 激活函数：通过激活函数处理加权和，引入非线性，使神经网络能够学习更复杂的模式。

神经元各部件功能详解

常见的激活函数

激活函数为神经网络带来了非线性能力，使其能够处理更复杂的问题。以下是三种常用的激活函数：

1. Sigmoid

   • 公式：( f(z) = \frac{1}{1 + e^{-z}} )
   • 特点：将输入压缩到 (0, 1) 之间，常用于二分类问题的输出层。容易导致梯度消失问题。
   • 图像：平滑的 S 型曲线。

2. ReLU (整流线性单元)

   • 公式：( f(z) = \max(0, z) )
   • 特点：计算简单，能有效缓解梯度消失问题，是目前最常用的隐藏层激活函数。
   • 图像：在原点处转折的折线，负数输出 0，正数原样输出。

3. Softmax

   • 公式：( f(z_i) = \frac{e^{zi}}{\sum{j=1}^{K} e^{z_j}} )
   • 特点：将多个神经元的输出转换为概率分布（所有输出之和为1）。专用于多分类问题的输出层。

神经网络的层级结构

单个神经元的能力有限，但当我们将大量神经元按层组织起来时，就形成了强大的神经网络。一个典型的神经网络包含以下三层：

1. 输入层

• 角色：网络的感官，负责接收原始数据。
• 特点：该层的神经元数量通常等于输入数据的特征数。例如，一张28x28像素的灰度图展平后就是784个特征，对应784个输入神经元。输入层不做任何计算，只是传递数据。

2. 隐藏层

• 角色：网络的大脑，负责进行复杂的特征提取和转换。
• 特点：
  • 介于输入层和输出层之间，可以有一层或多层（深度学习就源于此）。
  • 每一层的神经元都接收前一层所有神经元的输出作为输入，并计算自己的输出传递给下一层（这称为全连接）。
  • 隐藏层中的神经元使用如 ReLU 等激活函数，引入非线性。

3. 输出层

• 角色：网络的决策者，输出最终的预测结果。
• 特点：神经元数量由任务决定。
  • 二分类：1个神经元（用Sigmoid）或2个神经元（用Softmax）。
  • 多分类（K类）：K个神经元（用Softmax）。
  • 回归（预测一个连续值）：1个神经元（通常不用激活函数）。

实战：用 Python 构建一个神经网络

理论说得再多，不如动手实践。下面我们用 NumPy 库从零开始构建一个最简单的三层神经网络（1个隐藏层），并进行一次前向传播计算。

代码实现

import numpy as np

def sigmoid(x):
    """Sigmoid 激活函数"""
    return 1 / (1 + np.exp(-x))

def relu(x):
    """ReLU 激活函数"""
    return np.maximum(0, x)

def initialize_network(input_size, hidden_size, output_size):
    """
    初始化网络权重和偏置。

    参数:
    input_size: 输入层神经元数
    hidden_size: 隐藏层神经元数
    output_size: 输出层神经元数

    返回:
    network: 包含各层参数的字典
    """
    np.random.seed(42)
    network = {}

    network['W1'] = np.random.randn(hidden_size, input_size) * 0.01
    network['b1'] = np.zeros((hidden_size, 1))
    network['W2'] = np.random.randn(output_size, hidden_size) * 0.01
    network['b2'] = np.zeros((output_size, 1))
    return network

def forward_propagation(network, X):
    """
    执行前向传播，计算网络输出。

    参数:
    network: 包含权重和偏置的字典
    X: 输入数据，形状为 (特征数, 样本数)

    返回:
    y_pred: 网络预测输出
    cache: 缓存中间结果（用于后续的反向传播）
    """
    W1, b1, W2, b2 = network['W1'], network['b1'], network['W2'], network['b2']
    Z1 = np.dot(W1, X) + b1
    A1 = relu(Z1)
    Z2 = np.dot(W2, A1) + b2
    A2 = sigmoid(Z2)
    cache = {'Z1': Z1, 'A1': A1, 'Z2': Z2, 'A2': A2}
    return A2, cache

# 网络结构参数
input_size = 2
hidden_size = 3
output_size = 1

# 初始化网络
my_network = initialize_network(input_size, hidden_size, output_size)

# 打印网络参数形状
print("权重 W1 的形状（隐藏层 x 输入层）:", my_network['W1'].shape)
print("偏置 b1 的形状:", my_network['b1'].shape)
print("权重 W2 的形状（输出层 x 隐藏层）:", my_network['W2'].shape)

# 输入数据
X_sample = np.array([[1.5], [-0.5]])
print("\n输入数据 X:", X_sample.T)

# 前向传播
y_pred, cache = forward_propagation(my_network, X_sample)

# 打印预测输出
print("\n神经网络预测输出 (A2):", y_pred)
predicted_class = 1 if y_pred > 0.5 else 0
print(f"预测类别: {predicted_class}")

代码解读与输出分析

初始化：我们创建了一个 2-3-1 结构的网络。W1 是一个 3x2 的矩阵，表示2个输入到3个隐藏神经元的连接权重。

前向传播：

• 输入 [1.5, -0.5] 首先与 W1 相乘并加上 b1，得到隐藏层的加权和 Z1。
• Z1 经过 ReLU 函数，得到隐藏层的激活值 A1。
• A1 再与 W2 相乘并加上 b2，得到输出层的加权和 Z2。
• Z2 最后经过 Sigmoid 函数，压缩到(0,1)之间，作为最终的预测概率 A2。

输出：由于权重是随机初始化的，这个未经训练的网络的预测输出 A2 也是一个随机值（接近0.5）。训练神经网络的目的，就是通过大量数据，反复调整 W1, b1, W2, b2，使得 A2 对于不同输入能产生有意义的预测。

核心概念总结与学习路径

通过本文，你已经掌握了神经网络的基石：

你的学习下一步：

1. 损失函数：如何量化网络预测的好坏（如均方误差、交叉熵损失）？
2. 反向传播与梯度下降：神经网络如何根据"坏"的程度，自动调整权重和偏置（这是学习的本质）？
3. 使用框架实战：用 TensorFlow 或 PyTorch 等现代框架，可以轻松构建和训练更复杂的网络，无需从零开始写 NumPy 代码。

理解基本结构后，你会发现所有复杂的深度学习模型（如CNN用于图像，RNN用于语音）都是在这个基础结构上，通过改变神经元的连接方式和层级功能演变而来的。现在，你已经拥有了继续探索深度学习广阔世界的地图。

前向传播与反向传播：神经网络的双翼

在深度学习中，前向传播与反向传播是支撑其运转的两大核心支柱。它们如同一个硬币的两面，共同构成了神经网络从学习到应用的完整闭环。透彻理解这两个过程，是打开深度学习大门的第一把钥匙。

什么是前向传播与反向传播？

前向传播是指数据从输入层流向输出层，计算预测值的过程。这个过程中，每一层的神经元都会根据前一层的输出进行加权求和、加偏置，并通过激活函数处理，最终生成输出。

反向传播则是指根据预测值与真实值之间的差异（损失），从输出层反向传播回输入层，调整权重和偏置的过程。通过反向传播，神经网络能够不断优化自身的参数，提高预测的准确性。

前向传播：神经网络的推理之路

前向传播的具体步骤如下：

1. 输入层：接收原始数据。
2. 隐藏层：每一层的神经元接收前一层的输出，进行加权求和、加偏置，并通过激活函数处理。
3. 输出层：生成最终的预测值。

通过前向传播，神经网络能够从输入数据中提取特征，并生成预测结果。然而，仅凭前向传播，网络无法自我优化。这就需要反向传播来发挥作用。

反向传播：神经网络的学习之路

反向传播的具体步骤如下：

1. 计算损失：根据预测值与真实值之间的差异，计算损失函数的值。

2. 计算梯度：通过链式法则，计算每个参数（权重和偏置）对损失函数的梯度。

3. 更新参数：根据梯度，使用优化算法（如梯度下降）更新权重和偏置。

通过反向传播，神经网络能够不断调整参数，减少预测误差，从而提高模型的性能。

总结

本文详细介绍了神经网络的基本结构、工作原理以及前向传播和反向传播的概念。通过实际代码示例，你已经初步掌握了构建和运行神经网络的方法。希望这些知识能够为你进一步探索深度学习提供坚实的基础。未来的学习路径包括理解损失函数、反向传播与梯度下降，以及使用现代框架进行实战。祝你在深度学习的道路上越走越远！