<commit_before>---
layout: post
title:  "Deep Learning 1!"
date:   2018-01-18 10:00:00
categories: DeepLearning
comments: true
description: Deep Learning 1!
---


* content
{:toc}

## 前奏

于 2018年1月18日 开始探索深度学习，这一系列将是在《深度学习》探索途中的 ___私密___ 笔记记录

## 定义

层次 化 的 概念 让 计算机 构建 较 简单 的 概念 来 学习 复杂 概念。 如果 绘制 出 表示 这些 概念 如何 建立 在 彼此 之上 的 一幅 图， 我们将 得到 一张‘ 深’（ 层次 很多） 的 图。 由此， 我们 称 这种 方法 为 AI 深度 学习（ deep learning）

## 数学符号

| 数和数组 | 描述 |
| :--------- | :--------- |
| _a_ | 标量（整数或实数）|
| ___a___ | 向量 |
| ___A___ | 矩阵 |
| __A__ | 张量 |
| ___I___<sub>n</sub> | n行n列的单位矩阵 |
| ___I___ | 维度蕴含于上下文的矩阵 |
| e<sup>(i)</sup> | 标准基向量 `[0,...,0,1,0,...,0]` ，其中索引 i 处值为 1 |
| diag(a) | 对角方阵，其中对角元素由 a 指定 |
| a | 标量随机变量 |
| __a__ | 向量随机变量 |
| __A__ | 矩阵随机变量 |

| 集合和图 | 描述 |
| :--------- | :--------- |
| A(空心A) | 集合 |
| R(空心R) | 实数集 |
| {0,1} | 包含0和1的集合 |
| {0,1,...,n} | 包含0和n以及之间的所有整数的集合 |
| `[a,b]` | 包含 a 和 b 的实数区间 |
| `(a,b]` | 不包含 a 但包含 b 的实数区间 |
| A\B | 差集，即元素包含于 A 但不包含于 B |
| &sigmaf; | 图 |
| _Pa<sub>&sigmaf;</sub>_(X<sub>i</sub>) | 图 &sigmaf; 中 x<sub>i</sub> 的父节点 |

| 集合和图 | 描述 |
| :--------- | :--------- |
| a<sub>i</sub> | 向量 ___a___ 的第 i 个元素, 其中索引从 1 开始 |
| a<sub>-i</sub> | 除了第 i 个元素，___a___ 的所有元素 |
| A<sub>i,j</sub> | 矩阵 ___A___ 的 i,j 元素 |
| ___A___<sub>i,:</sub> | 矩阵 ___A___ 的第 i 行 |
| ___A___<sub>:,i</sub> | 矩阵 ___A___ 的第 i 列 |
| __A__<sub>i,j,k</sub> | 三维张量 __A__ 的 (i,j,k) 元素 |
| __A__<sub>:,:,i</sub> | 三维张量的 二维切片 |
| a<sub>i</sub> | 随机向量 __a__ 的第 i 个元素 |

| 线性代数中的操作 | 描述 |
| :--------- | :--------- |
| ___A___<sup>T</sup> | 矩阵 ___A___ 的转置 |
| ___A___<sup>+</sup> | 矩阵 ___A___ 的 Moore-Penose 伪逆 |
| <font size="5">___A___⊙___B___</font> | ___A___ 和 ___B___ 的逐元素乘积(Hadamard乘积) |
| det(___A___) | ___A___ 的行列式 |

| 微积分 | 描述 |
| :--------- | :--------- |
| $$ \frac{dy}{dx} $$ | y 关于 x 的导数 |
| $$ \frac{&part;y}{&part;x} | y 关于 x 的偏导 |
| &nabla;<sub>_x_</sub>y | y 关于 _x_ 的梯度 |
| &nabla;<sub>___X___</sub>y | y 关于 ___X___ 的矩阵导数 |
| &nabla;<sub>__X__</sub>y | y 关于 __X__ 求导后的张量 |
| $$ \frac{&part;&fnof;}{&part;__x__} | &fnof;: R<sup>n</sup> &rarr; R<sup>m</sup> 的Jacobian矩阵 ___J___ &isin; R<sup>mxn</sup> |
| &part;<sub>x</sub><sup>2</sup>&fnof;(__x__) or H(&fnof;)(__x__) | f 在 __x__ 处的 Hessian 矩阵 |
| &int;f(__x__) d__x__ | __x__ 整个域上的定积分 |
| &int;<sub>S</sub>f(__x__) d__x__ | 集合 S 上关于 x 的定积分 |















<commit_msg>python<commit_after>---
layout: post
title:  "Deep Learning 1!"
date:   2018-01-18 10:00:00
categories: DeepLearning
comments: true
description: Deep Learning 1!
---


* content
{:toc}

## 前奏

于 2018年1月18日 开始探索深度学习，这一系列将是在《深度学习》探索途中的 ___私密___ 笔记记录

## 定义

层次 化 的 概念 让 计算机 构建 较 简单 的 概念 来 学习 复杂 概念。 如果 绘制 出 表示 这些 概念 如何 建立 在 彼此 之上 的 一幅 图， 我们将 得到 一张‘ 深’（ 层次 很多） 的 图。 由此， 我们 称 这种 方法 为 AI 深度 学习（ deep learning）

## 数学符号

| 数和数组 | 描述 |
| :--------- | :--------- |
| _a_ | 标量（整数或实数）|
| ___a___ | 向量 |
| ___A___ | 矩阵 |
| __A__ | 张量 |
| ___I___<sub>n</sub> | n行n列的单位矩阵 |
| ___I___ | 维度蕴含于上下文的矩阵 |
| e<sup>(i)</sup> | 标准基向量 `[0,...,0,1,0,...,0]` ，其中索引 i 处值为 1 |
| diag(a) | 对角方阵，其中对角元素由 a 指定 |
| a | 标量随机变量 |
| __a__ | 向量随机变量 |
| __A__ | 矩阵随机变量 |

| 集合和图 | 描述 |
| :--------- | :--------- |
| A(空心A) | 集合 |
| R(空心R) | 实数集 |
| {0,1} | 包含0和1的集合 |
| {0,1,...,n} | 包含0和n以及之间的所有整数的集合 |
| `[a,b]` | 包含 a 和 b 的实数区间 |
| `(a,b]` | 不包含 a 但包含 b 的实数区间 |
| A\B | 差集，即元素包含于 A 但不包含于 B |
| &sigmaf; | 图 |
| _Pa<sub>&sigmaf;</sub>_(X<sub>i</sub>) | 图 &sigmaf; 中 x<sub>i</sub> 的父节点 |

| 集合和图 | 描述 |
| :--------- | :--------- |
| a<sub>i</sub> | 向量 ___a___ 的第 i 个元素, 其中索引从 1 开始 |
| a<sub>-i</sub> | 除了第 i 个元素，___a___ 的所有元素 |
| A<sub>i,j</sub> | 矩阵 ___A___ 的 i,j 元素 |
| ___A___<sub>i,:</sub> | 矩阵 ___A___ 的第 i 行 |
| ___A___<sub>:,i</sub> | 矩阵 ___A___ 的第 i 列 |
| __A__<sub>i,j,k</sub> | 三维张量 __A__ 的 (i,j,k) 元素 |
| __A__<sub>:,:,i</sub> | 三维张量的 二维切片 |
| a<sub>i</sub> | 随机向量 __a__ 的第 i 个元素 |

| 线性代数中的操作 | 描述 |
| :--------- | :--------- |
| ___A___<sup>T</sup> | 矩阵 ___A___ 的转置 |
| ___A___<sup>+</sup> | 矩阵 ___A___ 的 Moore-Penose 伪逆 |
| <font size="5">A⊙B</font> | ___A___ 和 ___B___ 的逐元素乘积(Hadamard乘积) |
| det(___A___) | ___A___ 的行列式 |

| 微积分 | 描述 |
| :--------- | :--------- |
| $\frac{dy}{dx}$ | y 关于 x 的导数 |
| $\frac{&part;y}{&part;x}$ | y 关于 x 的偏导 |
| &nabla;<sub>_x_</sub>y | y 关于 _x_ 的梯度 |
| &nabla;<sub>___X___</sub>y | y 关于 ___X___ 的矩阵导数 |
| &nabla;<sub>__X__</sub>y | y 关于 __X__ 求导后的张量 |
| $\frac{&part;&fnof;}{&part;__x__}$ | &fnof;: R<sup>n</sup> &rarr; R<sup>m</sup> 的Jacobian矩阵 ___J___ &isin; R<sup>mxn</sup> |
| &part;<sub>x</sub><sup>2</sup>&fnof;(__x__) or H(&fnof;)(__x__) | f 在 __x__ 处的 Hessian 矩阵 |
| &int;f(__x__) d__x__ | __x__ 整个域上的定积分 |
| &int;<sub>S</sub>f(__x__) d__x__ | 集合 S 上关于 x 的定积分 |
















{'fraction_non_alphanumeric': 0.2498376271920329, 'fraction_numerical': 0.016886772028577614, 'mean_word_length': 2.815028901734104, 'pattern_counts': {'":': 0, '<': 103, '<?xml version=': 0, '>': 103, 'https://': 0, 'lorem ipsum': 0, 'www.': 0, 'xml': 0}, 'pii_count': 0, 'substrings_counts': 0, 'word_list_counts': {'cursed_substrings.json': 1, 'profanity_word_list.json': 0, 'sexual_word_list.json': 0, 'zh_pornsignals.json': 0}}
{'dir': 'git-commits-cleaned', 'id': '4550927', 'n_tokens_mistral': 2985, 'n_tokens_neox': 3200, 'n_words': 536}