导读掌握这些可以提高更高效模型的开发效率。TensorFlow2.x在构建模型和TensorFlow的整体使用方面提供了很多简单性。那么TF2中有哪些新内容？使用Keras轻松构建模型并立即执行。在任何平台上的强大模型部署。强大的研究实验。通过清除过时的API和减少重复来简化API。在本文中，我们将探讨TF2.0的10项功能，这些功能可以使TensorFlow的使用更加顺畅、减少代码行数并提高效率。1（一）。tf.data构建输入管道tf.data提供数据管道和相关操作的函数。我们可以构建管道、映射预处理函数、洗牌或批处理数据集等等。从张量构建管道>>>dataset=tf.data.Dataset.from_tensor_slices([8,3,0,8,2,1])>>>iter(dataset).next().numpy()8构建批处理和随机播放#Shuffle>>>dataset=tf.data.Dataset.from_tensor_slices([8,3,0,8,2,1]).shuffle(6)>>>iter(dataset).next().numpy()0#Batch>>>dataset=tf.data.Dataset.from_tensor_slices([8,3,0,8,2,1]).batch(2)>>>iter(dataset).next().numpy()数组([8,3],dtype=int32)#ShuffleandBatch>>>dataset=tf.data.Dataset.from_tensor_slices([8,3,0,8,2,1]).shuffle(6).batch(2)>>>iter(dataset).next().numpy()array([3,0],dtype=int32)将两个Datset压缩成一个>>>dataset0=tf.data.Dataset.from_tensor_slices([8,3,0,8,2,1])>>>dataset1=tf.data.Dataset.from_tensor_slices([1,2,3,4,5,6])>>>dataset=tf.data.Dataset.zip((dataset0,dataset1))>>>iter(dataset).next()(,)映射外部函数definto_2(num):returnnum*2>>>dataset=tf.data.Dataset.from_tensor_slices([8,3,0,8,2,1]).map(into_2)>>>iter(dataset).next().numpy()161(b).ImageDataGenerator这是tensorflow.kerasAPI的最佳特性之一ImageDataGenerator能够在批处理和预处理以及数据扩充的同时实时生成数据集切片。生成器允许直接从目录或数据目录生成数据流。关于ImageDataGenerator中的数据扩充的一个误解是它向现有数据集添加了更多数据。虽然这是数据增强的实际定义，但在ImageDataGenerator中，数据集中的图像会在不同的训练步骤中动态转换，从而允许模型在看不见的噪声数据上进行训练。train_datagen=ImageDataGenerator(rescale=1./255,shear_range=0.2,zoom_range=0.2,horizo??ntal_flip=True)在这里，所有样本都被重新缩放（用于归一化），而其他参数用于增强。train_generator=train_datagen.flow_from_directory('data/train',target_size=(150,150),batch_size=32,class_mode='binary')我们指定实时数据流的目录。这也可以使用数据帧来完成。train_generator=flow_from_dataframe(dataframe,x_col='filename',y_col='class',class_mode='categorical',batch_size=32)其中x_col参数定义了图像的完整路径，而y_col参数定义了用于分类的标签列。模型可以直接使用生成器提供数据。需要指定steps_per_epoch参数，即number_of_samples//batch_size.model.fit(train_generator,validation_data=val_generator,epochs=EPOCHS,steps_per_epoch=(num_samples//batch_size),validation_steps=(num_val_samples//batch_size))2.使用tf.image做数据扩充数据扩充是必要的。在数据不足的情况下，对数据进行更改并将其视为单独的数据点是使用较少数据进行训练的一种非常有效的方法。tf.imageAPI中有用于转换图像的工具，然后可以使用tf.data对其进行扩充。flipped=tf.image.flip_left_right(image)visualise(image,flipped)上述代码的输出saturated=tf.image.adjust_saturation(image,5)visualise(image,saturated)上述代码的输出rotated=tf.image。rot90(image)visualise(image,rotated)上面代码的输出cropped=tf.image.central_crop(image,central_fraction=0.5)visualize(image,cropped)上面代码的输出3.TensorFlowDatasetsspipinstalltensorflow-datasets这是一个非常有用的库，因为它包含TensorFlow从各个领域收集的非常著名的数据集。importtensorflow_datasetsastfdsmnist_data=tfds.load("mnist")mnist_train,mnist_test=mnist_data["train"],mnist_data["test"]assertisinstance(mnist_train,tf.data.Dataset)可以找到tensorflow-datasets中可用数据集的详细列表在：https://www.tensorflow.org/datasets/catalog/overview找到。tfds提供的数据集类型包括：音频、图像、图像分类、对象检测、结构化数据、摘要、文本、翻译、视频。4.使用预训练模型进行迁移学习迁移学习是机器学习中的一项新技术，非常重要。如果一个基线模型已经被其他人训练过，并且训练它需要大量资源（例如：多个昂贵的GPU，一个人可能负担不起）。迁移学习解决了这个问题。预训练模型可以在特定场景中重复使用，也可以针对不同场景进行扩展。TensorFlow提供基线预训练模型，可以针对所需场景轻松扩展。base_model=tf.keras.applications.MobileNetV2(input_shape=IMG_SHAPE,include_top=False,weights='imagenet')这个base_model可以很容易地用额外的层或不同的模型来扩展。如：model=tf.keras.Sequential([base_model,global_average_layer,prediction_layer])5.Estimators估计器是TensorFlow对完整模型的高层表示，它是为便于扩展和异步训练而设计的。预先指定的估计器提供了非常高级的模型抽象，因此您可以直接专注于模型的训练，而不必担心底层的复杂性。例如：linear_est=tf.estimator.LinearClassifier(feature_columns=feature_columns)linear_est.train(train_input_fn)result=linear_est.evaluate(eval_input_fn)这表明使用tf.estimator.Estimators构建和训练估计器是多么容易。估计器也可以定制。TensorFlow有许多估计器，包括LinearRegressor、BoostedTreesClassifier等。6.自定义层神经网络以许多层深度网络而闻名，其中层可以是不同类型。TensorFlow包含许多预定义的层（例如密度、LSTM等）。但是对于更复杂的架构，层逻辑比底层要复杂得多。对于这种情况，TensorFlow允许构建自定义层。这可以通过子类化tf.keras.layers来实现。classCustomDense(tf.keras.layers.Layer):def__init__(self,num_outputs):super(CustomDense,self).__init__()self.num_outputs=num_outputsdefbuild(self,input_shape):self.kernel=self.add_weight("内核",shape=[int(input_shape[-1]),self.num_outputs])defcall(self,input):returntf.matmul(input,self.kernel)如文档中所述，实现自己层的最佳方法是扩展tf.keras.Layer类并实现：_init_，您可以在其中进行所有与输入无关的初始化。构建，你知道输入张量的形状，然后可以进行其余的初始化。调用，在这里进行前向计算。虽然内核初始化可以在*_init_中完成，但最好在构建中进行，否则您必须在创建新层的每个实例上显式指定input_shape*。7.自定义训练tf.kerasSequential和ModelAPI让模型训练更简单。然而，大多数时候在训练复杂模型时，都会使用自定义损失函数。此外，模型训练也可能不同于默认训练（例如，梯度是针对不同的模型组件单独计算的）。TensorFlow的自动微分有助于高效地计算梯度。这些原语用于定义自定义训练循环。deftrain(模型、输入、输出、学习率):withtf.GradientTape()ast:#ComputingLossesfromModelPredictioncurrent_loss=loss(outputs,model(inputs))#GradientsforTrainableVariableswithObtainedLossesdW,db=t.gradient(current_loss,[model.W,model.b])#ApplyingGradientstoWeightsmodel.W.assign_sub(learning_rate*dW)model.b.assign_sub(learning_rate*db)这个循环可以在多个epoch上重复，并根据用例进行更多自定义设置。8.CheckpointsTensorFlow模型有两种保存方式：SavedModel：保存模型的完整状态和所有参数。这是独立于源代码的。model.save_weights('checkpoint')CheckpointsCheckpoints捕获模型使用的所有参数的值。使用SequentialAPI或ModelAPI构建的模型可以简单地保存为SavedModel格式。但是，对于自定义模型，需要检查点。检查点不包含模型定义的计算的任何描述，因此保存的参数值通常只有在源代码可用时才有用。保存检查点checkpoint_path="save_path"#DefiningaCheckpointckpt=tf.train.Checkpoint(model=model,optimizer=optimizer)#CreatingaCheckpointManagerObjectckpt_manager=tf.train.CheckpointManager(ckpt,checkpoint_path,max_to_keep=5)#SavingaModelckpt_managerfromcheckpointsave(model).TensorFlow从加载的对象开始，通过遍历具有命名边的有向图来匹配变量和检查点值。ifckpt_manager.latest_checkpoint:ckpt.restore(ckpt_manager.latest_checkpoint)9.KerasTuner这是TensorFlow中的一个相当新的功能。!pipinstallkeras-tunerhyperparametertuning调优是对定义的ML模型配置的参数进行筛选的过程。经过特征工程和预处理后，这些因素对模型性能具有决定性作用。#model_builderisafunctionthatbuildsamodelandreturnsittuner=kt.Hyperband(model_builder,objective='val_accuracy',max_epochs=10,factor=3,directory='my_dir',project_name='intro_to_kt')除了HyperBand，贝叶斯优化和随机也可以用于调优。tuner.search(img_train,label_train,epochs=10,validation_data=(img_test,label_test),callbacks=[ClearTrainingOutput()])#Gettheoptimalhyperparametersbest_hps=tuner.get_best_hyperparameters(num_trials=1)[0]然后，我们使用最优超参数训练model:model=tuner.hypermodel.build(best_hps)model.fit(img_train,label_train,epochs=10,validation_data=(img_test,label_test))10.分布式训练如果你有多个GPU，想分布式训练循环多个GPU来优化训练。TensorFlow的各种分布式训练策略可以优化GPU使用并为您处理GPU上的训练。tf.distribute.MirroredStrategy是最常用的策略。它是如何工作的？所有变量和模型图都复制为副本。输入均匀分布在不同的副本中。每个副本计算它接收到的输入的损失和梯度。所有副本的梯度同步并求和。同步后，对每个副本上的变量进行相同的更新。策略=tf.distribute.MirroredStrategy()withstrategy.scope():model=tf.keras.Sequential([tf.keras.layers.Conv2D(32,3,activation='relu',input_shape=(28,28,1)),tf.keras.layers.MaxPooling2D(),tf.keras.layers.Flatten(),tf.keras.layers.Dense(64,activation='relu'),tf.keras.layers.Dense(10)])model.compile(loss="sparse_categorical_crossentropy",optimizer="adam",metrics=['accuracy'])
