建站
咨詢
售后
建站咨詢
新聞中心
創(chuàng)新互聯(lián)www.cdcxhl.cn八線動(dòng)態(tài)BGP香港云服務(wù)器提供商，新人活動(dòng)買多久送多久，劃算不套路！
小編給大家分享一下Dropout在預(yù)測(cè)中是不是仍要繼續(xù)發(fā)揮作用，希望大家閱讀完這篇文章后大所收獲，下面讓我們一起去探討吧！
因?yàn)樾枰?，要重寫?xùn)練好的keras模型，雖然只具備預(yù)測(cè)功能，但是發(fā)現(xiàn)還是有很多坑要趟過。其中Dropout這個(gè)坑，我記憶猶新。
一開始，我以為預(yù)測(cè)時(shí)要保持和訓(xùn)練時(shí)完全一樣的網(wǎng)絡(luò)結(jié)構(gòu)，也就是預(yù)測(cè)時(shí)用的網(wǎng)絡(luò)也是有丟棄的網(wǎng)絡(luò)節(jié)點(diǎn)，但是這樣想就掉進(jìn)了一個(gè)大坑！因?yàn)闊o法通過已經(jīng)訓(xùn)練好的模型，來獲取其訓(xùn)練時(shí)隨機(jī)丟棄的網(wǎng)絡(luò)節(jié)點(diǎn)是那些，這本身就根本不可能。
更重要的是：我發(fā)現(xiàn)每一個(gè)迭代周期丟棄的神經(jīng)元也不完全一樣。
假若迭代500次，網(wǎng)絡(luò)共有1000個(gè)神經(jīng)元， 在第n（1<= n <500）個(gè)迭代周期內(nèi)，從1000個(gè)神經(jīng)元里隨機(jī)丟棄了200個(gè)神經(jīng)元，在n+1個(gè)迭代周期內(nèi)，會(huì)在這1000個(gè)神經(jīng)元里（不是在剩余得800個(gè)）重新隨機(jī)丟棄200個(gè)神經(jīng)元。
訓(xùn)練過程中，使用Dropout，其實(shí)就是對(duì)部分權(quán)重和偏置在某次迭代訓(xùn)練過程中，不參與計(jì)算和更新而已，并不是不再使用這些權(quán)重和偏置了(預(yù)測(cè)時(shí)，會(huì)使用全部的神經(jīng)元，包括使用訓(xùn)練時(shí)丟棄的神經(jīng)元)。
也就是說在預(yù)測(cè)過程中完全沒有Dropout什么事了，他只是在訓(xùn)練時(shí)有用，特別是針對(duì)訓(xùn)練集比較小時(shí)防止過擬合非常有用。
補(bǔ)充知識(shí)：TensorFlow直接使用ckpt模型predict不用restore
我就廢話不多說了，大家還是直接看代碼吧~
# -*- coding: utf-8 -*-
# from util import *
import cv2
import numpy as np
import tensorflow as tf
# from tensorflow.python.framework import graph_util
import os
os.environ['CUDA_DEVICE_ORDER'] = 'PCI_BUS_ID'
os.environ['CUDA_VISIBLE_DEVICES'] = '0'
image_path = './8760.pgm'
input_checkpoint = './model/xu_spatial_model_1340.ckpt'
sess = tf.Session()
saver = tf.train.import_meta_graph(input_checkpoint + '.meta')
saver.restore(sess, input_checkpoint)
# input:0作為輸入圖像,keep_prob:0作為dropout的參數(shù),測(cè)試時(shí)值為1,is_training:0訓(xùn)練參數(shù)
input_image_tensor = sess.graph.get_tensor_by_name("coef_input:0")
is_training = sess.graph.get_tensor_by_name('is_training:0')
batch_size = sess.graph.get_tensor_by_name('batch_size:0')
# 定義輸出的張量名稱
output_tensor_name = sess.graph.get_tensor_by_name("xuNet/logits:0") # xuNet/Logits/logits
image = cv2.imread(image_path, 0)
# 讀取測(cè)試圖片
out = sess.run(output_tensor_name, feed_dict={input_image_tensor: np.reshape(image, (1, 512, 512, 1)),
is_training: False,
batch_size: 1})
print(out) 本文標(biāo)題：Dropout在預(yù)測(cè)中是不是仍要繼續(xù)發(fā)揮作用-創(chuàng)新互聯(lián)
網(wǎng)址分享：http://www.dlmjj.cn/article/dpdpoj.html
