如何編寫3d CNN的PyTorch教程
首先，我們需要簡單解釋一下什麼是3d CNN，以及它與通用2d CNN的區別。然後，我們將逐步分析如何使用Pytorch實現3D卷積神經網絡。
什麼是3D卷積神經網絡？
無論我們說的CNN與2d CNN非常相似，都保留3d CNN。區別在於以下幾點（非詳盡列表）：
3d卷積層
最初2d卷積層是輸入與不同過濾器之間的逐項乘法運算，其中過濾器和輸入是2d矩陣
在3d卷積層中，使用相同的操作。我們對多對二維矩陣進行這些操作。
填充選項和幻燈片步驟選項的工作方式相同。
3d MaxPool圖層
2d Maxpool圖層（2x2濾鏡）大約要取一個我們從輸入中劃定的2x2小正方形的最大元素。
現在，在3d Maxpool（2x2x2）中，我們在寬度為2的立方體中查找最大元素。此多維數據集表示從輸入以2x2x2區域分隔的空間。
請注意，運算數量（與2d CNN層相比）乘以使用的過濾器的大小（與Maxpool或卷積無關），也乘以輸入本身的大小。
3d數據點看起來如何？
那麼3D CNN的數據點看起來如何？
生動描述圖片的一種方法是使用以下圖片：
可用於CNN的其他現有數據集包括：
RGB-D設備：Google Tango，Microsoft Kinect等。雷射雷達從多個圖像進行3D重建現在如何實施？
可以自己嘗試使用我們正在使用的 Kaggle在該數據集上的代碼。
整個筆記本中將使用多個庫。這是它的列表。
# importing the librariesimport pandas as pdimport numpy as npfrom tqdm import tqdmimport os # for reading and displaying imagesfrom skimage.io import imreadimport matplotlib.pyplot as plt # for creating validation setfrom sklearn.model_selection import train_test_split# for evaluating the modelfrom sklearn.metrics import accuracy_score # PyTorch libraries and modulesimport torchfrom torch.autograd import Variableimport torch.nn as nnimport torch.nn.functional as Ffrom torch.optim import *import h5pyfrom plot3D import *
首先，由於數據集是特定的，因此在將它們提供給網絡之前，我們使用以下幫助函數來處理它們。
另外，數據集存儲為h5文件，因此要提取實際數據點，我們需要從h5文件讀取數據，並使用to_categorical函數將其轉換為向量。在此步驟中，我們還準備進行交叉驗證。
def array_to_color(array, cmap="Oranges"): s_m = plt.cm.ScalarMappable(cmap=cmap) return s_m.to_rgba(array)[:,:-1] def rgb_data_transform(data): data_t = [] for i in range(data.shape[0]): data_t.append(array_to_color(data[i]).reshape(16, 16, 16, 3)) return np.asarray(data_t, dtype=np.float32)
假設變量X_train / X_test分別具有（10000，16，16，16，3）和（2000，16，16，16，3）的形狀，而target_train / targets_test分別具有（10000，）（2000，）的形狀。但是現在我們再次將所有這些轉換為PyTorch張量格式。我們通過以下方式做到這一點。
with h5py.File("./full_dataset_vectors.h5", "r") as hf: # Split the data into training/test features/targets X_train = hf["X_train"][:] targets_train = hf["y_train"][:] X_test = hf["X_test"][:] targets_test = hf["y_test"][:] # Determine sample shape sample_shape = (16, 16, 16, 3) # Reshape data into 3D format X_train = rgb_data_transform(X_train) X_test = rgb_data_transform(X_test) # Convert target vectors to categorical targets targets_train = to_categorical(targets_train).astype(np.integer) targets_test = to_categorical(targets_test).astype(np.integer)
train_x = torch.from_numpy(X_train).float()train_y = torch.from_numpy(targets_train).long()test_x = torch.from_numpy(X_test).float()test_y = torch.from_numpy(targets_test).long() batch_size = 100 #We pick beforehand a batch_size that we will use for the training # Pytorch train and test setstrain = torch.utils.data.TensorDataset(train_x,train_y)test = torch.utils.data.TensorDataset(test_x,test_y) # data loadertrain_loader = torch.utils.data.DataLoader(train, batch_size = batch_size, shuffle = False)test_loader = torch.utils.data.DataLoader(test, batch_size = batch_size, shuffle = False)
對於模型，這裡是我們將使用的架構：
2套ConvMake：
· 兩個集合的過濾器大小為（3x3x3），步幅為（1x1x1）的3d卷積層
· 洩漏的Relu激活功能
· 具有濾鏡大小（2x2x2）和跨度（2x2x2）的3d MaxPool層
2個FC層，分別具有512和128個節點。
在第一個FC層之後有一個Dropout層。
然後將模型通過以下方式轉換為代碼：
num_classes = 10 # Create CNN Modelclass CNNModel(nn.Module): def __init__(self): super(CNNModel, self).__init__() self.conv_layer1 = self._conv_layer_set(3, 32) self.conv_layer2 = self._conv_layer_set(32, 64) self.fc1 = nn.Linear(2**3*64, 128) self.fc2 = nn.Linear(128, num_classes) self.relu = nn.LeakyReLU() self.batch=nn.BatchNorm1d(128) self.drop=nn.Dropout(p=0.15) def _conv_layer_set(self, in_c, out_c): conv_layer = nn.Sequential( nn.Conv3d(in_c, out_c, kernel_size=(3, 3, 3), padding=0), nn.LeakyReLU(), nn.MaxPool3d((2, 2, 2)), ) return conv_layer def forward(self, x): # Set 1 out = self.conv_layer1(x) out = self.conv_layer2(out) out = out.view(out.size(0), -1) out = self.fc1(out) out = self.relu(out) out = self.batch(out) out = self.drop(out) out = self.fc2(out) return out #Definition of hyperparametersn_iters = 4500num_epochs = n_iters / (len(train_x) / batch_size)num_epochs = int(num_epochs) # Create CNNmodel = CNNModel()#model.cuda()print(model) # Cross Entropy Losserror = nn.CrossEntropyLoss() # SGD Optimizerlearning_rate = 0.001optimizer = torch.optim.SGD(model.parameters(), lr=learning_rate)
在參數方面，請注意第一個完全卷積層上的輸入節點數。我們的數據集的形狀為（16,16,16,3），這就是我們獲得大小為（2x2x2）的濾波輸出的方式。
以下是訓練代碼。可以通過將優化器更改為Adam來進行優化，調整學習速度（有一定的動力）等等。
# CNN model trainingcount = 0loss_list = []iteration_list = []accuracy_list = []for epoch in range(num_epochs): for i, (images, labels) in enumerate(train_loader): train = Variable(images.view(100,3,16,16,16)) labels = Variable(labels) # Clear gradients optimizer.zero_grad() # Forward propagation outputs = model(train) # Calculate softmax and ross entropy loss loss = error(outputs, labels) # Calculating gradients loss.backward() # Update parameters optimizer.step() count += 1 if count % 50 == 0: # Calculate Accuracy correct = 0 total = 0 # Iterate through test dataset for images, labels in test_loader: test = Variable(images.view(100,3,16,16,16)) # Forward propagation outputs = model(test) # Get predictions from the maximum value predicted = torch.max(outputs.data, 1)[1] # Total number of labels total += len(labels) correct += (predicted == labels).sum() accuracy = 100 * correct / float(total) # store loss and iteration loss_list.append(loss.data) iteration_list.append(count) accuracy_list.append(accuracy) if count % 500 == 0: # Print Loss print('Iteration: {} Loss: {} Accuracy: {} %'.format(count, loss.data, accuracy))
經過少量樣本培訓，我們得到了以下準確性和損失。
3D CNN的應用場景
IRM數據處理及其推斷自動駕駛距離估算