深 度 学 习 研 究 综 述

摘 要 ： 深 度 学 习 是 一 类 新 兴 的 多 层 神 经 网 络 学 习 算 法 ， 因 其 缓 解 了 传 统 训 练 算 法 的 局 部 最 小 性 ， 引 起 机 器 学习 领 域 的 广 泛 关 注 。 首 先 论 述 了 深 度 学 习 兴 起 渊 源 ， 分 析 了 算 法 的 优 越 性 ， 并 介 绍 了 主 流 学 习 算 法 及 应 用 现 状 ， 最 后 总 结 了 当 前 存 在 的 问 题 及 发 展 方 向 。

关 键 词 ： 深 度 学 习 ； 分 布 式 表 示 ； 深 信 度 网 络 ； 卷 积 神 经 网 络 ； 深 凸 网 络

引言：

深 度 学 习 的 概 念 源 于 人 工 神 经 网 络 的 研 究 ， 含 多 隐 层 的 多

层 感 知 器 （ ＭＬＰ） 就 是 一 种 深 度 学 习 结 构 。 深 度 学 习 通 过 组 合低 层 特 征 形 成 更 加 抽 象 的 高 层 表 示 （ 属 性 类 别 或 特 征 ） ， 以 发现 数 据 的 分 布 式 特 征 表 示 ［ １］ 。 ＢＰ 算 法 作 为 传 统 训 练 多 层 网 络的 典 型 算 法 ， 实 际 上 对 于 仅 含 几 层 网 络 ， 该 训 练 方 法 就 已 很 不理 想 ［ ２］ 。 深 度 结 构 （ 涉 及 多 个 非 线 性 处 理 单 元 层 ） 非 凸 目 标 代

价 函 数 中 普 遍 存 在 的 局 部 最 小 是 训 练 困 难 的 主 要 来 源 。

Ｈｉｎｔｏｎ 等 人 ［ ３ ～ ５］ 基 于 深 信 度 网 （ ＤＢＮ） 提 出 非 监 督 贪 心 逐

层 训 练 算 法 ， 为 解 决 深 层 结 构 相 关 的 优 化 难 题 带 来 希 望 ， 随 后提 出 多 层 自 动 编 码 器 深 层 结 构 。 此 外 Ｌｅｃｕｎ 等 人 提 出 的 卷 积

神 经 网 络 （ ＣＮＮｓ） 是 第 一 个 真 正 多 层 结 构 学 习 算 法 ［ ６］ ， 它 利 用 空 间 相 对 关 系 减 少 参 数 数 目 以 提 高 ＢＰ 训 练 性 能 。 此 外 深 度学 习 还 出 现 许 多 变 形 结 构 如 去 噪 自 动 编 码 器 ［ ７］ 、 ＤＣＮ［ ８］ 、 ｓｕｍ ｐｒｏｄｕｃｔ［ ９］ 等 。

当 前 多 数 分 类 、 回 归 等 学 习 方 法 为 浅 层 结 构 算 法 ， 其 局 限

性 在 于 有 限 样 本 和 计 算 单 元 情 况 下 对 复 杂 函 数 的 表 示 能 力 有限 ， 针 对 复 杂 分 类 问 题 其 泛 化 能 力 受 到 一 定 制 约 ［ ２］ 。 深 度 学习 可 通 过 学 习 一 种 深 层 非 线 性 网 络 结 构 ， 实 现 复 杂 函 数 逼 近 ，

表 征 输 入 数 据 分 布 式 表 示 ， 并 展 现 了 强 大 的 从 少 数 样 本 集 中 学习 数 据 集 本 质 特 征 的 能 力 ［ １， １０］ 。 本 文 意 在 向 读 者 介 绍 这 一 刚刚 兴 起 的 深 度 学 习 新 技 术 。

0 深 度 学 习 神 经 学 启 示 及 理 论 依 据

1 1 深 度 学 习 神 经 学 启 示

尽 管 人 类 每 时 每 刻 都 要 面 临 着 大 量 的 感 知 数 据 ， 却 总 能 以一 种 灵 巧 方 式 获 取 值 得 注 意 的 重 要 信 息 。 模 仿 人 脑 那 样 高 效准 确 地 表 示 信 息 一 直 是 人 工 智 能 研 究 领 域 的 核 心 挑 战 。 神 经科 学 研 究 人 员 利 用 解 剖 学 知 识 发 现 哺 乳 类 动 物 大 脑 表 示 信 息的 方 式 ： 通 过 感 官 信 号 从 视 网 膜 传 递 到 前 额 大 脑 皮 质 再 到 运 动

神 经 的 时 间 ， 推 断 出 大 脑 皮 质 并 未 直 接 地 对 数 据 进 行 特 征 提 取处 理 ， 而 是 使 接 收 到 的 刺 激 信 号 通 过 一 个 复 杂 的 层 状 网 络 模型 ， 进 而 获 取 观 测 数 据 展 现 的 规 则 ［ １１ ～ １３］ 。 也 就 是 说 ， 人 脑 并 不是 直 接 根 据 外 部 世 界 在 视 网 膜 上 投 影 ， 而 是 根 据 经 聚 集 和 分 解过 程 处 理 后 的 信 息 来 识 别 物 体 。 因 此 视 皮 层 的 功 能 是 对 感 知信 号 进 行 特 征 提 取 和 计 算 ， 而 不 仅 仅 是 简 单 地 重 现 视 网 膜 的 图像 ［ １４］ 。 人 类 感 知 系 统 这 种 明 确 的 层 次 结 构 极 大 地 降 低 了 视 觉系 统 处 理 的 数 据 量 ， 并 保 留 了 物 体 有 用 的 结 构 信 息 。 对 于 要 提取 具 有 潜 在 复 杂 结 构 规 则 的 自 然 图 像 、 视 频 、 语 音 和 音 乐 等 结构 丰 富 数 据 ， 深 度 学 习 能 够 获 取 其 本 质 特 征 。

受 大 脑 结 构 分 层 次 启 发 ， 神 经 网 络 研 究 人 员 一 直 致 力 于 多层 神 经 网 络 的 研 究 。 ＢＰ 算 法 是 经 典 的 梯 度 下 降 并 采 用 随 机 选定 初 始 值 的 多 层 网 络 训 练 算 法 ， 但 因 输 入 与 输 出 间 非 线 性 映 射使 网 络 误 差 函 数 或 能 量 函 数 空 间 是 一 个 含 多 个 极 小 点 的 非 线性 空 间 ， 搜 索 方 向 仅 是 使 网 络 误 差 或 能 量 减 小 的 方 向 ， 因 而 经常 收 敛 到 局 部 最 小 ， 并 随 网 络 层 数 增 加 情 况 更 加 严 重 。 理 论 和实 验 表 明 ＢＰ 算 法 不 适 于 训 练 具 有 多 隐 层 单 元 的 深 度 结 构 ［ １５］ 。此 原 因 在 一 定 程 度 上 阻 碍 了 深 度 学 习 的 发 展 ， 并 将 大 多 数 机 器学 习 和 信 号 处 理 研 究 从 神 经 网 络 转 移 到 相 对 较 容 易 训 练 的 浅层 学 习 结 构 。

传 统 机 器 学 习 和 信 号 处 理 技 术 探 索 仅 含 单 层 非 线 性 变 换

的 浅 层 学 习 结 构 。 浅 层 模 型 的 一 个 共 性 是 仅 含 单 个 将 原 始 输入 信 号 转 换 到 特 定 问 题 空 间 特 征 的 简 单 结 构 。 典 型 的 浅 层 学习 结 构 包 括 传 统 隐 马 尔 可 夫 模 型 （ ＨＭＭ ） 、 条 件 随 机 场

（ ＣＲＦｓ） 、 最 大 熵 模 型 （ ＭａｘＥｎｔ） 、 支 持 向 量 机 （ ＳＶＭ） 、 核 回 归 及仅 含 单 隐 层 的 多 层 感 知 器 （ ＭＬＰ） 等 。

1 2 浅 层 结 构 函 数 表 示 能 力 的 局 限 性

早 期 浅 层 结 构 局 限 性 结 论 是 关 于 利 用 逻 辑 门 电 路 实 现 函数 奇 偶 性 问 题 。 利 用 一 个 深 度 为 Ｏ（ ｌｏｇ ｄ） 的 网 络 用 Ｏ（ ｄ） 个计 算 节 点 去 计 算 一 个 ｄ 比 特 和 的 奇 偶 性 ， 而 对 于 两 层 网 络 则 需要 指 数 倍 数 目 的 计 算 单 元 。 随 后 又 有 学 者 指 出 可 以 利 用 深 度为 Ｋ 的 多 项 式 级 的 逻 辑 门 电 路 实 现 的 函 数 ， 对 于 Ｋ － １ 层 电 路需 要 指 数 倍 的 计 算 节 点 。 文 献 ［ １０］ 指 出 深 度 学 习 结 构 可 以 很简 洁 地 表 示 复 杂 函 数 ， 否 则 一 个 不 合 适 的 结 构 模 型 将 需 要 数 目非 常 大 的 计 算 单 元 。 这 里 简 洁 包 含 三 方 面 内 容 ： ａ） 需 要 的 数据 量 特 别 是 带 类 标 记 的 样 本 ； ｂ） 需 要 的 计 算 单 元 的 数 目 ； ｃ） 需

规 划 技 术 学 习 数 据 的 核 矩 阵 ， 然 后 利 用 该 核 矩 阵 获 取 较 好 的 泛化 性 能 。 然 而 当 学 习 到 的 核 函 数 相 互 关 联 时 ， 能 否 获 取 更 加 简洁 的 表 示 ？ 深 度 学 习 即 基 于 这 种 思 想 并 通 过 多 次 网 络 学 习 输入 样 本 的 分 布 式 表 示 ， 被 认 为 是 较 有 前 景 的 方 法 。

分 布 式 表 示 ［ １８］ 是 在 机 器 学 习 和 神 经 网 络 研 究 中 可 以 处 理维 数 灾 难 和 局 部 泛 化 限 制 的 一 个 古 老 的 思 想 。 如 图 １ 所 示 ， 分布 式 表 示 由 一 系 列 有 可 能 是 统 计 独 立 的 显 著 特 征 组 成 ， 与 局 部泛 化 的 方 法 对 比 ， 基 于 分 布 式 表 示 的 可 区 分 模 式 的 数 目 与 分 布式 表 示 的 维 数 （ 学 习 到 的 特 征 ） 是 指 数 倍 关 系 的 。 参 数 数 目 上的 减 少 对 统 计 机 器 学 习 是 非 常 有 意 义 的 ， 因 为 不 仅 可 以 降 低 运算 量 ， 同 时 仅 需 相 对 较 少 的 样 本 即 可 避 免 过 拟 合 现 象 的 发 生 。而 聚 类 算 法 和 最 近 邻 算 法 等 局 部 表 示 算 法 将 输 入 空 间 切 分 如图 １ 左 侧 所 示 ， 不 同 局 部 之 间 是 互 斥 的 ， 不 能 形 成 简 洁 的 分 布式 表 示 。 ＩＣＡ 、 ＰＣＡ 和 ＲＢＭ 等 算 法 用 较 少 的 特 征 将 输 入 空 间切 分 如 图 １ 右 侧 所 示 ， 并 构 建 分 布 式 表 示 ， 参 数 数 目 和 需 要 的样 本 数 要 比 子 区 域 的 数 目 少 得 多 ， 这 也 是 为 什 么 会 对 未 观 测 数据 泛 化 的 原 因 。 ＰＣＡ 和 ＩＣＡ 可 以 获 取 输 入 的 主 要 分 量 信 息 ，但 对 于 输 出 信 号 数 目 小 于 输 入 信 号 数 目 时 ， 不 能 很 好 地 解 决 欠定 问 题 。 文 献 ［ １９］ 中 提 出 了 利 用 自 联 想 神 经 网 络 来 提 取 数 据的 非 线 性 主 分 量 的 方 法 ， 该 学 习 方 法 的 目 的 是 通 过 事 物 的 部 分信 息 或 者 带 噪 声 的 信 息 来 还 原 事 物 的 本 来 信 息 。 自 联 想 神 经

要 的 人 为 先 验 知 识 。 例 如 多 项 式 ∏ｎ

ｍ

ｊ ＝ １

ａｉｊ ｘｊ

可 以 高 效 地

网 络 的 隐 层 节 点 数 目 少 于 输 入 节 点 数 目 时 ， 可 认 为 在 自 联 想 过

（ 相 对 于 需 训 练 的 计 算 单 元 数 目 ） 利 用 Ｏ（ ｍｎ） 运 算 量 表 示 成 和

ｍ

程 中 ， 这 些 隐 层 能 够 保 留 数 据 集 中 的 主 要 信 息 。 多 层 神 经 网 络

和 Ｂｏｌｔｚｍａｎｎ 机 已 被 用 于 学 习 分 布 式 表 征 。 文 献 ［ ２０］ 已 证 明

积 （ ｓｕｍｐｒｏｄｕｃｔ） 结 构 ， 如 果 表 示 成 积 和 结 构 ， 将 需 要 Ｏ（ ｎ ） 计

算 量 。 此 外 文 献 ［ １６］ 指 出 存 在 一 大 类 函 数 不 能 用 浅 层 电 路 表示 。 这 些 数 学 结 果 指 出 了 浅 层 学 习 网 络 的 局 限 性 ， 激 发 了 利 用深 度 网 络 对 复 杂 函 数 建 模 的 动 机 。

1 3 局 部 表 示 、 分 布 式 表 示 和 稀 疏 表 示

最 近 许 多 研 究 者 已 经 研 究 了 分 布 式 表 示 的 一 个 变 体 ， 它 介于 纯 粹 局 部 表 示 和 稠 密 分 布 式 表 示 之 间 ——— 稀 疏 表 示 。 它 的思 想 是 尽 量 要 求 所 获 取 表 示 中 只 有 少 数 维 是 有 效 的 ， 使 绝 大 多数 维 设 为 ０ 或 接 近 于 ０ 的 无 效 维 。 目 的 是 尽 量 找 出 信 号 的 主要 驱 动 源 。

基 于 模 板 匹 配 的 模 型 可 认 为 含 两 层 计 算 单 元 ， 第 一 层 构 建对 输 入 数 据 进 行 匹 配 的 多 个 模 板 ， 每 一 匹 配 单 元 可 输 出 一 个 匹配 度 ； 第 二 层 采 用 特 定 机 制 融 合 第 一 层 的 输 出 匹 配 度 。 典 型 基于 局 部 匹 配 的 例 子 是 核 方 法 。

ｆ（ ｘ） ＝ ｂ ＋ ∑ｉ αｉ Ｋ（ ｘ， ｘｉ ） （ １）

这 里 ｂ 和 αｉ 形 成 第 二 计 算 层 。 核 函 数 Ｋ（ ｘ， ｘｉ ） 将 输 入 ｘ匹 配 到 训 练 样 本 ｘｉ ， 并 在 全 局 范 围 求 和 。 式 （ １） 的 结 果 可 作 为 分 类 器 的 区 分 类 标 签 ， 或 者 回 归 器 的 值 。 利 有 局 部 核函 数 的 核 方 法 能 获 取 泛 化 性 能 ， 因 其 利 用 光 滑 性 的 先 验 知 识 ，

即 目 标 函 数 可 利 用 光 滑 函 数 逼 近 。 在 监 督 学 习 中 ， 由 训 练 样 本

（ ｘｉ ， ｙｉ ） 组 建 测 器 ， 当 输 入 ｘ 与 ｘｉ 靠 近 时 ， 输 出 接 近 ｙｉ 。 通 常这 是 合 理 假 设 ， 但 文 献 ［ １０］ 中 指 出 当 目 标 函 数 非 常 复 杂 时 ， 这样 的 模 型 泛 化 能 力 很 差 。 其 原 因 是 利 用 局 部 估 计 学 习 算 法 表示 函 数 时 ， 一 个 局 部 估 计 子 将 输 入 空 间 进 行 切 分 ， 并 需 要 不 同自 由 度 参 数 来 描 述 目 标 函 数 在 每 一 区 域 的 形 状 。 当 函 数 较 为复 杂 时 ， 需 要 利 用 参 数 进 行 描 述 的 区 域 数 目 也 是 巨 大 的 。 固 定核 函 数 的 这 种 局 限 性 已 引 起 基 于 先 验 知 识 设 计 核 函 数 的 研 究 ， 而 如 果 缺 乏 足 够 的 先 验 知 识 是 否 可 通 过 学 习 获 取 一 个 核 函 数 ？ 该 问 题 同 样 引 起 大 量 研 究 。 Ｌａｎｃｋｒｉｅｔ 等 人 ［ １７］ 提 出 利 用 半 正 定

利 用 ＤＢＮ 学 习 特 征 空 间 对 高 斯 过 程 回 归 的 性 能 进 行 提 高 。 深度 学 习 算 法 可 以 看 成 核 机 器 学 习 中 一 个 优 越 的 特 征 表 示 方 法 。文 献 ［ ２］ 指 出 单 个 决 策 树 的 泛 化 性 能 随 目 标 函 数 变 量 增 加 而降 低 。 多 个 树 的 集 成 （ 森 林 ） 比 单 个 树 更 加 强 大 ， 也 是 因 为 增加 了 一 个 第 三 层 ， 并 潜 在 地 形 成 分 布 式 表 示 ， 可 表 达 与 子 树 数目 指 数 倍 个 的 分 布 。

1 (fi$ .fi$1(})?yfifi$1(@)

1 4 深 度 学 习 成 功 的 关 键

深 度 学 习 具 有 多 层 非 线 性 映 射 的 深 层 结 构 ， 可 以 完 成 复 杂的 函 数 逼 近 是 深 度 学 习 优 势 之 一 ； 此 外 深 度 学 习 理 论 上 可 获 取分 布 式 表 示 ， 即 可 通 过 逐 层 学 习 算 法 获 取 输 入 数 据 的 主 要 驱 动变 量 。 该 优 势 是 通 过 深 度 学 习 的 非 监 督 预 训 练 算 法 完 成 ， 通 过生 成 性 训 练 可 避 免 因 网 络 函 数 表 达 能 力 过 强 而 出 现 过 拟 合 情

况 。 但 由 于 单 层 有 限 的 计 算 能 力 ， 通 过 多 层 映 射 单 元 可 提 取 出主 要 的 结 构 信 息 。 文 献 ［ １５］ 深 入 分 析 并 通 过 实 验 验 证 了 贪 婪层 次 非 监 督 深 度 学 习 方 法 的 优 势 所 在 。

0 典 型 的 深 度 学 习 结 构

深 度 学 习 涉 及 相 当 广 泛 的 机 器 学 习 技 术 和 结 构 ， 根 据 这 些结 构 和 技 术 应 用 的 方 式 ， 可 以 将 其 分 成 如 下 三 类 ：

ａ） 生 成 性 深 度 结 构 。 该 结 构 描 述 数 据 的 高 阶 相 关 特 性 ，或 观 测 数 据 和 相 应 类 别 的 联 合 概 率 分 布 。

ｂ） 区 分 性 深 度 结 构 。 目 的 是 提 供 对 模 式 分 类 的 区 分 性 能力 ， 通 常 描 述 数 据 的 后 验 分 布 。

ｃ） 混 合 型 结 构 。 它 的 目 标 是 区 分 性 的 ， 但 通 常 利 用 了 生成 型 结 构 的 输 出 会 更 易 优 化 。

2 1 生 成 型 深 度 结 构

文 献 ［ ３］ 首 次 提 出 的 ＤＢＮ 是 目 前 研 究 和 应 用 都 比 较 广 泛的 深 度 学 习 结 构 。 与 传 统 区 分 型 神 经 网 络 不 同 ， 可 获 取 观 测 数据 和 标 签 的 联 合 概 率 分 布 ， 这 方 便 了 先 验 概 率 和 后 验 概 率 的 估计 ， 而 区 分 型 模 型 仅 能 对 后 验 概 率 进 行 估 计 。 ＤＢＮ 解 决 传 统ＢＰ 算 法 训 练 多 层 神 经 网 络 的 难 题 ： ａ） 需 要 大 量 含 标 签 训 练 样本 集 ； ｂ） 较 慢 的 收 敛 速 度 ； ｃ） 因 不 合 适 的 参 数 选 择 陷 入 局 部最 优 。

ＤＢＮ 由 一 系 列 受 限 波 尔 兹 曼 机 （ ＲＢＭ） 单 元 组 成 。 ＲＢＭ是 一 种 典 型 神 经 网 络 ， 如 图 ２ 所 示 。 该 网 络 可 视 层 和 隐 层 单 元彼 此 互 连 （ 层 内 无 连 接 ） ， 隐 单 元 可 获 取 输 入 可 视 单 元 的 高 阶相 关 性 。 相 比 传 统 ｓｉｇｍｏｉｄ 信 度 网 络 ， ＲＢＭ 权 值 的 学 习 相 对 容 易 。 为 了 获 取 生 成 性 权 值 ， 预 训 练 采 用 无 监 督 贪 心 逐 层 方 式 来实 现 。 在 训 练 过 程 中 ， 首 先 将 可 视 向 量 值 映 射 给 隐 单 元 ； 然 后可 视 单 元 由 隐 层 单 元 重 建 ； 这 些 新 可 视 单 元 再 次 映 射 给 隐 单 元 ， 这 样 就 获 取 了 新 的 隐 单 元 。 反 复 执 行 这 种 步 骤 叫 做 吉 布 斯采 样 。

2 RBM #

ＲＢＭ 在 给 定 模 型 参 数 条 件 下 的 联 合 分 布 为

ｐ（ ｖ， ｈ； θ） ＝ ｅｘｐ（ － Ｅ（ ｖ， ｈ； θ） ） ／ Ｚ （ ２）

其 中 ： Ｚ ＝ ∑ ∑ ｅｘｐ（ － Ｅ（ ｖ， ｈ； θ） ） 是 归 一 化 因 子 或 剖 分 函 数 。模 型 赋 予 可 视 向 量 ｖ 的 边 际 概 率 为

ｐ（ ｖ； θ） ＝ ∑ｈ ｅｘｐ（ － Ｅ（ ｖ， ｈ； θ） ） ／ Ｚ （ ３）

对 伯 努 利 （ 可 视 ） — 伯 努 利 （ 隐 藏 ） ＲＢＭ 能 量 函 数 定 义 为

Ｅ（ ｖ， ｈ； θ） ＝ － ∑Ｉ ∑Ｊ ｗｉｊ ｖｉ ｈｊ － ∑Ｉ ｂｉ ｖｉ － ∑Ｊ ａｊ ｈｊ

其 中 ： Ｅｄａｔａ （ ｖｉ ｈｊ ） 是 在 观 测 数 据 训 练 集 中 的 期 望 ； Ｅｍｏｄｅｌ （ ｖｉ ｈｊ ） 是模 型 中 定 义 的 期 望 。 精 心 训 练 ＲＢＭ 对 成 功 应 用 深 度 学 习 是 一个 关 键 。 文 献 ［ ２１］ 提 供 了 对 ＲＢＭ 实 际 训 练 的 指 导 。

通 过 自 底 向 上 组 合 多 个 ＲＢＭ 可 以 构 建 一 个 ＤＢＮ， 如 图 ３

所 示 。 应 用 高 斯 — 伯 努 利 ＲＢＭ 或 伯 努 利 — 伯 努 利 ＲＢＭ， 可 用隐 单 元 的 输 出 作 为 训 练 上 层 伯 努 利 — 伯 努 利 ＲＢＭ 的 输 入 ， 第二 层 伯 努 利 和 伯 努 利 的 输 出 作 为 第 三 层 的 输 入 等 。 这 个 逐 层高 效 的 学 习 策 略 理 论 证 明 可 参 见 文 献 ［ ３］ ， 它 指 出 上 述 逐 层 学习 程 序 提 高 了 训 练 数 据 基 于 混 合 模 型 的 似 然 概 率 的 变 化 下 界 。

3 DBN #

2 2 区 分 性 深 度 结 构

卷 积 神 经 网 络 （ ＣＮＮｓ） 是 第 一 个 真 正 成 功 训 练 多 层 网 络 结 构 的 学 习 算 法 ， 与 ＤＢＮｓ 不 同 ， 它 属 于 区 分 性 训 练 算 法 。 受 视觉 系 统 结 构 的 启 示 ， 当 具 有 相 同 参 数 的 神 经 元 应 用 于 前 一 层 的不 同 位 置 时 ， 一 种 变 换 不 变 性 特 征 就 可 获 取 了 。 后 来 ＬｅＣｕｎ 等 人 沿 着 这 种 思 路 ， 利 用 ＢＰ 算 法 设 计 并 训 练 了 ＣＮＮｓ 。 ＣＮＮｓ 作 为 深 度 学 习 框 架 是 基 于 最 小 化 预 处 理 数 据 要 求 而 产 生 的 。受 早 期 的 时 间 延 迟 神 经 网 络 影 响 ， ＣＮＮｓ 靠 共 享 时 域 权 值 降 低复 杂 度 。 ＣＮＮｓ 是 利 用 空 间 关 系 减 少 参 数 数 目 以 提 高 一 般 前 向ＢＰ 训 练 的 一 种 拓 扑 结 构 ， 并 在 多 个 实 验 中 获 取 了 较 好 性能 ［ ６， ２２］ 。 在 ＣＮＮｓ 中 被 称 做 局 部 感 受 区 域 的 图 像 的 一 小 部 分 作 为 分 层 结 构 的 最 底 层 输 入 。 信 息 通 过 不 同 的 网 络 层 次 进 行传 递 ， 因 此 在 每 一 层 能 够 获 取 对 平 移 、 缩 放 和 旋 转 不 变 的 观 测数 据 的 显 著 特 征 。

文 献 ［ ６， ２２］ 描 述 了 ＣＮＮｓ 在 ＭＮＩＳＴ 数 据 库 中 的 手 写 体 识

ｉ ＝ １ｊ ＝ １

ｉ ＝ １

ｊ ＝ １

别 应 用 情 况 。 如 图 ４ 所 示 ， 本 质 上 ， 输 入 图 形 与 一 系 列 已 训 练

其 中 ： ｗｉｊ 为 可 视 单 元 和 隐 单 元 连 接 权 值 ； ｂｊ 和 ａｊ 是 偏 置 量 ； Ｉ 和

Ｊ 是 可 视 单 元 和 隐 单 元 的 数 目 。 条 件 概 率 如 式 （ ４） 计 算 ：

ｐ（ ｈｊ ＝ １ ｜ ｖ； θ） ＝ δ（ ∑Ｉ ｗｉｊ ｖｉ ＋ ａｊ ）

的 滤 波 器 系 数 进 行 卷 积 操 作 ； 后 经 加 性 偏 置 和 压 缩 、 特 征 归 一化 等 ， 最 初 阶 段 伴 随 进 一 步 降 维 的 下 采 样 （ Ｃｘ ） 提 供 对 空 域 变化 的 鲁 棒 性 ； 下 采 样 特 征 映 射 经 加 权 后 的 可 调 偏 置 ， 最 终 利 用

ｉ ＝ １

ｐ（ ｖｉ ＝ １ ｜ ｈ； θ） ＝ δ（ ∑Ｉ ｗｉｊ ｈｊ ＋ ｂｉ ）

（ ４）

激 活 函 数 进 行 传 递 。 组 合 多 个 上 述 映 射 层 （ 图 ５） 可 获 取 层 间

关 系 和 空 域 信 息 ， 这 样 ＣＮＮｓ 适 于 图 像 处 理 和 理 解 。 国 内 学 者

这 里 δ（ ｘ） ＝ １ ／ （ １ ＋ ｅｘｐ （ ｘ） ） 。 相 似 地 ， 对 于 高 斯 （ 可视 ） — 伯 努 利 （ 隐 ） ＲＢＭ 能 量 函 数 为

Ｅ（ ｖ， ｈ； θ） ＝ － ∑Ｉ ∑Ｊ ｗｉｊ ｖｉ ｈｊ ＋ １ ∑Ｉ （ ｖｉ － ｂｊ ） ２ － ∑Ｊ ａｊ ｈｊ （ ５）

夏 丁 胤 ［ ２３］ 将 这 种 网 络 应 用 于 网 络 图 像 标 注 中 。 最 近 ＣＮＮｓ 已应 用 于 包 括 人 脸 检 测 、 文 件 分 析 和 语 音 检 测 等 不 同 机 器 学 习 的问 题 中 。

ｉ ＝ １ｊ ＝ １

对 应 的 条 件 概 率 变 成 ：

ｐ

２ ｉ ＝ １

Ｉ

ｊ ＝ １

（ ｈｊ ＝ １ ｜ ｖ； θ） ＝ δ（ ｉ∑＝ １ｗｉｊ ｖｉ ＋ ａｊ ）

Ｉ

（ ６） Cs

Ss+1

ｐ（ ｖｉ ＝ １ ｜ ｈ； θ） ＝ Ｎ（ ｉ∑＝ １ｗｉｊ ｈｊ ＋ ｂｉ ， １）

其 中 ： ｖｉ 是 满 足 均 值 为 ｊ∑＝ １ｗｉｊ ｈｊ ＋ ｂｉ 、 方 差 为 １ 的 高 斯 分 布 的 实 数值 。 高 斯 — 伯 努 利 ＲＢＭｓ 可 将 实 值 随 机 变 量 转 换 到 二 进 制 随

机 变 量 ， 然 后 再 进 一 步 利 用 伯 努 利 — 伯 努 利 ＲＢＭｓ 处 理 。 利 用对 数 似 然 概 率 ｌｏｇ （ ｐ（ ｖ； θ） 梯 度 可 推 导 出 ＲＢＭ 的 权 值 更 新准 则 ：

4 €NN ?§%??fi‰?

C1 S2 C3 S4

5 §$%&fi +

文 献 ［ ８］ 近 期 提 出 一 新 的 深 度 学 习 算 法 。 ＤＣＮ 如 图 ６ 所示 ， 每 层 子 模 块 是 含 单 隐 层 和 两 个 可 训 练 的 加 权 层 神 经 网 络 。ＤＣＮ 是 由 一 系 列 分 层 子 模 块 串 联 组 成 。 模 块 第 一 个 线 性 输 入层 对 应 输 入 特 征 维 数 ， 隐 层 是 一 系 列 非 线 性 参 数 可 调 单 元 ， 第二 线 性 输 出 包 含 线 性 输 出 单 元 及 原 始 输 入 数 据 ， 最 顶 模 块 的 输出 代 表 分 类 目 标 单 元 。 例 如 ， 如 果 ＤＣＮ 设 定 用 于 实 现 数 字 识别 ， 输 出 可 表 示 成 １ ～ １０ 的 ０１ 编 码 。 如 用 于 语 音 识 别 ， 输 入对 应 语 音 波 形 采 样 或 波 形 提 取 特 征 ； 如 功 率 谱 或 倒 谱 系 数 ， 输出 单 元 代 表 不 同 音 素 。

更多咨询请关注获取更多资料

详情 李：幺叁柒幺陆叁陆八叁伍柒