<jupyter_start><jupyter_text>神经网络基础笔记神经元的概念来自于生物学中的**神经元**。我们神经网络中的神经元结构上也有生物意义上的**神经元**相类似。但是它们实际上是不一样的，所以习惯是，对于深度学习中的神经元，我们一般简单称为**unit**。我们的神经元大概如下图所示，图片来自于斯坦福cs231n课程笔记：![neuron](images/neuron.png)|![neuron_model](images/neuron_model.jpeg)从第二张图我们可以看出，神经网络的一个单元，做了以下几件事情：* 讲各个输入进行求和（也就是我们的score function的作用）* 对上面的结果，送入一个激励函数，得到输出我们用代码表示这个过程，如下所示：<jupyter_code>import numpy as np
import math


def forward(inputs, weights, bias):
    sum = np.sum(inputs*weights) + bias
    firing_rate = 1.0/(1.0 + math.exp(-sum)) # sigmoid function
    return firing_rate

print(forward(1.0, 2.0, 0.3))<jupyter_output>0.9088770389851438
{'fraction_non_alphanumeric': 0.13964686998394862, 'fraction_numerical': 0.048154093097913325, 'mean_word_length': 9.4, 'pattern_counts': {'":': 0, '<': 4, '<?xml version=': 0, '>': 4, 'https://': 0, 'lorem ipsum': 0, 'www.': 0, 'xml': 0}, 'pii_count': 0, 'substrings_counts': 0, 'word_list_counts': {'cursed_substrings.json': 0, 'profanity_word_list.json': 0, 'sexual_word_list.json': 0, 'zh_pornsignals.json': 0}}
{'chain_length': '1', 'dir': 'jupyter-structured-clean-dedup', 'id': '159263', 'license': 'Apache-2.0', 'n_tokens_mistral': 392, 'n_tokens_neox': 419, 'n_words': 26, 'path': 'neural_networks.ipynb', 'repo_name': 'luozhouyang/machine-learning-notes', 'size': '623'}