交叉熵

交叉熵（Cross-Entropy）是一种常用的损失函数，用于衡量实际概率分布与预测概率分布之间的差异。在分类问题中，交叉熵可以用于衡量模型预测结果与真实标签之间的距离，从而进行模型的优化。

以下是一个使用Python实现交叉熵计算的示例代码：

import numpy as np

def cross_entropy(y_true, y_pred):
    epsilon = 1e-15  # 用于避免取对数时出现无限大
    y_pred = np.clip(y_pred, epsilon, 1 - epsilon)  # 对预测结果进行裁剪
    ce = -np.sum(y_true * np.log(y_pred))
    return ce

# 真实标签和预测概率分布
y_true = np.array([0, 1, 0, 0])
y_pred = np.array([0.1, 0.6, 0.2, 0.1])

# 计算交叉熵
ce = cross_entropy(y_true, y_pred)
print("Cross-Entropy:", ce)

在上述代码中，我们定义了一个cross_entropy函数，接受真实标签和预测概率分布作为输入，并计算交叉熵。为了避免取对数时出现无限大，我们使用了一个小的epsilon值进行裁剪。然后，通过对真实标签与对数化后的预测概率分布进行元素级相乘，最后对结果取负数并求和，得到交叉熵值。

请注意，上述代码示例只是一个简单的交叉熵计算实现。在实际应用中，您可能需要处理更多情况，例如多类别问题、批量计算等。在深度学习中，交叉熵常作为损失函数，在优化过程中用于衡量预测结果与真实标签之间的误差。