1、tensorflow的基本运作

为了快速的熟悉TensorFlow编程，下面从一段简单的代码开始：

import tensorflow as tf
 #定义‘符号’变量，也称为占位符
 a = tf.placeholder("float")
 b = tf.placeholder("float")
 y = tf.mul(a, b) #构造一个op节点
 sess = tf.Session()#建立会话
 #运行会话，输入数据，并计算节点，同时打印结果
 print sess.run(y, feed_dict={a: 3, b: 3})
 # 任务完成, 关闭会话.
 sess.close()

其中tf.mul(a, b)函数便是tf的一个基本的算数运算，接下来介绍跟多的相关函数。

2、tf函数

TensorFlow 将图形定义转换成分布式执行的操作, 以充分利用可用的计算资源(如 CPU 或 GPU。一般你不需要显式指定使用 CPU 还是 GPU, TensorFlow 能自动检测。如果检测到 GPU, TensorFlow 会尽可能地利用找到的第一个 GPU 来执行操作.
并行计算能让代价大的算法计算加速执行，TensorFlow也在实现上对复杂操作进行了有效的改进。大部分核相关的操作都是设备相关的实现，比如GPU。下面是一些重要的操作/核：

TensorFlow的算术操作如下：

张量操作Tensor Transformations

• 数据类型转换Casting | 操作 | 描述 | | —- | :—- | | tf.string_to_number | | | (string_tensor, out_type=None, name=None) | 字符串转为数字 | | tf.to_double(x, name=’ToDouble’) | 转为64位浮点类型–float64 | | tf.to_float(x, name=’ToFloat’) | 转为32位浮点类型–float32 | | tf.to_int32(x, name=’ToInt32’) | 转为32位整型–int32 | | tf.to_int64(x, name=’ToInt64’) | 转为64位整型–int64 | | tf.cast(x, dtype, name=None) | 将x或者x.values转换为dtype |

• 形状操作Shapes and Shaping | 操作 | 描述 | | —- | :—- | | tf.shape(input, name=None) | 返回数据的shape | | tf.rank(input, name=None) | 返回tensor的rank 注意：此rank不同于矩阵的rank tensor的rank表示一个tensor需要的索引数目来唯一表示任何一个元素 也就是通常所说的 “order”, “degree”或”ndims” | | tf.reshape(tensor, shape, name=None) | 改变tensor的形状 | | tf.expand_dims(input, dim, name=None) | 插入维度1进入一个tensor中 #该操作要求-1-input.dims() |

• 切片与合并（Slicing and Joining） | 操作 | 描述 | | —- | :—- | | tf.slice(input_, begin, size, name=None) | 对tensor进行切片操作 | | tf.split(split_dim, num_split, value, name=’split’) | 沿着某一维度将tensor分离为num_split tensors | | tf.concat(concat_dim, values, name=’concat’) | 沿着某一维度连结tensor | | tf.pack(values, axis=0, name=’pack’) | 将一系列rank-R的tensor打包为一个rank-(R+1)的tensor | | tf.reverse(tensor, dims, name=None) | 沿着某维度进行序列反转 其中dim为列表，元素为bool型，size等于rank(tensor) | | tf.transpose(a, perm=None, name=’transpose’) | 调换tensor的维度顺序, 按照列表perm的维度排列调换tensor顺序 | | tf.gather(params, indices, validate_indices=None, name=None) | 合并索引indices所指示params中的切片 | | tf.one_hot | one_hot |

矩阵相关运算

复数操作

归约计算(Reduction)

分割(Segmentation)

序列比较与索引提取(Sequence Comparison and Indexing)

神经网络(Neural Network)

• 激活函数（Activation Functions） | 操作 | 描述 | | —- | :—- | | tf.nn.relu(features, name=None) | 整流函数：max(features, 0) | | tf.nn.relu6(features, name=None) | 以6为阈值的整流函数：min(max(features, 0), 6) | | tf.nn.elu(features, name=None) | elu函数，exp(features) - 1 if < 0,否则features | | tf.nn.softplus(features, name=None) | 计算softplus：log(exp(features) + 1) | | tf.nn.dropout | 计算dropout，keep_prob为keep概率 noise_shape为噪声的shape | | tf.nn.bias_add | 对value加一偏置量, 此函数为tf.add的特殊情况，bias仅为一维 | | tf.sigmoid(x, name=None) | y = 1 / (1 + exp(-x)) | | tf.tanh(x, name=None) | 双曲线切线激活函数 |

• 卷积函数（Convolution） | 操作 | 描述 | | —- | :—- | | tf.nn.conv2d | 在给定的4D input与 filter下计算2D卷积, 输入shape为 [batch, height, width, in_channels] | | tf.nn.conv3d | 在给定的5D input与 filter下计算3D卷积, 输入shape为[batch, in_depth, in_height, in_width, in_channels] |

• 池化函数（Pooling） | 操作 | 描述 | | —- | :—- | | tf.nn.avg_pool(value, ksize, strides, padding, data_format=’NHWC’, name=None) | 平均方式池化 | | tf.nn.max_pool(value, ksize, strides, padding, data_format=’NHWC’, name=None) | 最大值方法池化 | | tf.nn.max_pool_with_argmax | 返回一个二维元组(output,argmax),最大值pooling，返回最大值及其相应的索引 | | tf.nn.avg_pool3d(input, ksize, strides, padding, name=None) | 3D平均值pooling | | tf.nn.max_pool3d(input, ksize, strides, padding, name=None) | 3D最大值pooling |

• 数据标准化（Normalization） | 操作 | 描述 | | —- | :—- | | tf.nn.l2normalize(x, dim, epsilon=1e-12, name=None) | 对维度dim进行L2范式标准化, output = x / sqrt(max(sum(x**2), epsilon)) | | tf.nn.sufficient_statistics(x, axes, shift=None, keep_dims=False, name=None) | 计算与均值和方差有关的完全统计量返回4维元组,元素个数，元素总和，元素的平方和，_shift结果 | | tf.nn.normalize_moments(counts, mean_ss, variance_ss, shift, name=None) | 基于完全统计量计算均值和方差 | | tf.nn.moments(x, axes, shift=None, name=None, keep_dims=False) | 直接计算均值与方差 |

• 损失函数（Losses） | 操作 | 描述 | | —- | :—- | | tf.nn.l2_loss(t, name=None) | output = sum(t ** 2) / 2 |

• 分类函数（Classification） | 操作 | 描述 | | —- | :—- | | tf.nn.sigmoid_cross_entropy_with_logits(logits, targets, name=None)* | 计算输入logits, targets的交叉熵 | | tf.nn.softmax(logits, name=None) | 计算softmaxsoftmax[i, j] = exp(logits[i, j]) / sum_j(exp(logits[i, j])) | | tf.nn.log_softmax(logits, name=None) | logsoftmax[i, j] = logits[i, j] - log(sum(exp(logits[i]))) | | tf.nn.softmax_cross_entropy_with_logits(logits, labels, name=None) | 计算logits和labels的softmax交叉熵logits, labels必须为相同的shape与数据类型 | | tf.nn.sparse_softmax_cross_entropy_with_logits(logits, labels, name=None) | 计算logits和labels的softmax交叉熵 | | tf.nn.weighted_cross_entropy_with_logits | 与sigmoid_cross_entropy_with_logits()相似，但给正向样本损失加了权重pos_weight |

• 符号嵌入（Embeddings） | 操作 | 描述 | | —- | :—- | | tf.nn.embedding_lookup(params, ids, partition_strategy=’mod’, name=None, validate_indices=True) | 根据索引ids查询embedding列表params中的tensor值 | | tf.nn.embedding_lookup_sparse | 对给定的ids和权重查询embedding |

• 循环神经网络（Recurrent Neural Networks） | 操作 | 描述 | | —- | :—- | | tf.nn.rnn(cell, inputs, initial_state=None, dtype=None, | | | sequence_length=None, scope=None) | 基于RNNCell类的实例cell建立循环神经网络 | | tf.nn.dynamic_rnn | 基于RNNCell类的实例cell建立动态循环神经网络,与一般rnn不同的是，该函数会根据输入动态展开返回(outputs,state) | | tf.nn.state_saving_rnn | 可储存调试状态的RNN网络 | | tf.nn.bidirectional_rnn | 双向RNN, 返回一个3元组tuple(outputs, output_state_fw, output_state_bw) |

— tf.nn.rnn简要介绍—
cell: 一个RNNCell实例
inputs: 一个shape为[batch_size, input_size]的tensor
initial_state: 为RNN的state设定初值，可选
sequence_length：制定输入的每一个序列的长度，size为[batch_size],值范围为[0, T)的int型数据
其中T为输入数据序列的长度
@
@针对输入batch中序列长度不同，所设置的动态计算机制
@对于在时间t，和batch的b行，有
(output, state)(b, t) = ? (zeros(cell.output_size), states(b, sequence_length(b) - 1)) : cell(input(b, t), state(b, t - 1))

---

• 求值网络（Evaluation） | 操作 | 描述 | | —- | :—- | | tf.nn.top_k(input, k=1, sorted=True, name=None) | 返回前k大的值及其对应的索引 | | tf.nn.in_top_k(predictions, targets, k, name=None) | 返回判断是否targets索引的predictions相应的值是否在在predictions前k个位置中，返回bool类型，len与predictions同 |

• 监督候选采样网络（Candidate Sampling）

对于有巨大量的多分类与多标签模型，如果使用全连接softmax将会占用大量的时间与空间资源，所以采用候选采样方法仅使用一小部分类别与标签作为监督以加速训练。

保存与恢复变量