如何搭建自己的神经网络.doc

《如何搭建自己的神经网络.doc》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、如何搭建自己的神经网络神经网络基本概念（1）激励函数：　　例如一个神经元对猫的眼睛敏感，那当它看到猫的眼睛的时候，就被激励了，相应的参数就会被调优，它的贡献就会越大。　　下面是几种常见的激活函数：　　x轴表示传递过来的值，y轴表示它传递出去的值：　　　　激励函数在预测层，判断哪些值要被送到预测结果那里：　　　　TensorFlow常用的acTIvaTIonfuncTIon（2）添加神经层：　　输入参数有inputs，in_size，out_size，和acTIvation_function　　　　分类问题的loss函数cross_entropy：　　　　ove

2、rfitting：　　下面第三个图就是overfitting，就是过度准确地拟合了历史数据，而对新数据预测时就会有很大误差：　　　　Tensorflow有一个很好的工具，叫做dropout，只需要给予它一个不被drop掉的百分比，就能很好地降低overfitting。　　dropout是指在深度学习网络的训练过程中，按照一定的概率将一部分神经网络单元暂时从网络中丢弃，相当于从原始的网络中找到一个更瘦的网络，这篇博客中讲的非常详细　　　　　　5.可视化Tensorboard　　Tensorflow自带tensorboard，可以自动显示我们所建造的神经网络流程图

3、：　　　　就是用withtf.name_scope定义各个框架，注意看代码注释中的区别：　　importtensorflowastf　　defadd_layer（inputs，in_size，out_size，activation_function=None）：　　#addonemorelayerandreturntheoutputofthislayer　　#区别：大框架，定义层layer，里面有小部件　　withtf.name_scope（‘layer’）：　　#区别：小部件　　withtf.name_scope（‘weights’）：　　Weights=t

4、f.Variable（tf.random_normal（［in_size，out_size］），name=‘W’）　　withtf.name_scope（‘biases’）：　　biases=tf.Variable（tf.zeros（［1，out_size］）+0.1，name=‘b’）　　withtf.name_scope（‘Wx_plus_b’）：　　Wx_plus_b=tf.add（tf.matmul（inputs，Weights），biases）　　ifactivation_functionisNone：　　outputs=Wx_plus_b　　els

5、e：　　outputs=activation_function（Wx_plus_b，）　　returnoutputs　　#defineplaceholderforinputstonetwork　　#区别：大框架，里面有inputsx，y　　withtf.name_scope（‘inputs’）：　　xs=tf.placeholder（tf.float32，［None，1］，name=‘x_input’）　　ys=tf.placeholder（tf.float32，［None，1］，name=‘y_input’）　　#addhiddenlayer　　l1=add

6、_layer（xs，1，10，activation_function=tf.nn.relu）　　#addoutputlayer　　prediction=add_layer（l1，10，1，activation_function=None）　　#theerrorbetweenpredicitonandrealdata　　#区别：定义框架loss　　withtf.name_scope（‘loss’）：　　loss=tf.reduce_mean（tf.reduce_sum（tf.square（ys-prediction），　　reduction_indices=［1

7、］））　　#区别：定义框架train　　withtf.name_scope（‘train’）：　　train_step=tf.train.GradientDescentOptimizer（0.1）.minimize（loss）　　sess=tf.Session（）　　#区别：sess.graph把所有框架加载到一个文件中放到文件夹“logs/”里　　#接着打开terminal，进入你存放的文件夹地址上一层，运行命令tensorboard--logdir=‘logs/’　　#会返回一个地址，然后用浏览器打开这个地址，在graph标签栏下打开　　writer=tf

8、.train.SummaryWrite