介紹
上面的圖像使它不言而喻什麼是幾何變換。它是一種應用廣泛的圖像處理技術。例如，在計算機圖形學中有一個簡單的用例，用於在較小或較大的屏幕上顯示圖形內容時簡單地重新縮放圖形內容。
它也可以應用於扭曲一個圖像到另一個圖像平面。例如，與其直視前方的場景，不如自上而下地看。在這個場景中應用透視圖變換來實現這一點。
另一個應用是訓練深層神經網絡。訓練深度模型需要大量的數據。在幾乎所有的情況下，模型都受益於更高的泛化性能，因為有更多的訓練圖像。人工生成更多數據的一種方法是對輸入數據隨機應用仿射變換(增強)。
在本文中，我將向你介紹一些變換，以及如何在Numpy和OpenCV中執行這些變換。特別是，我將關注二維仿射變換。你需要的是一些基本的線性代數知識。
仿射變換的類型
在不涉及太多數學細節的情況下，變換的行為由仿射A中的一些參數控制。
x』 = Ax
其中A是在齊次坐標系中的2x3矩陣或3x3，x是在齊次坐標系中的(x，y)或(x，y，1)形式的向量。這個公式表示A將任意向量x，映射到另一個向量x』。
一般來說，仿射變換有6個自由度。根據參數的值，它將在矩陣乘法後扭曲任何圖像。變換後的圖像保留了原始圖像中的平行直線(考慮剪切)。本質上，滿足這兩個條件的任何變換都是仿射的。
但是，有一些特殊形式的A，這是我們將要討論的。這包括旋轉、平移和縮放矩陣，如下圖所示。
上述仿射變換的一個非常有用的性質是它們是線性函數。它們保留了乘法和加法運算，並遵循疊加原理。
換言之，我們可以組合2個或更多的變換：向量加法表示平移，矩陣乘法表示線性映射，只要我們用齊次坐標表示它們。例如，我們可以將旋轉和平移表示為
A = array([[cos(angle), -sin(angle), tx], [sin(angle), cos(angle), ty], [0, 0, 1]])
圖像表示
在Python和OpenCV中，2D矩陣的原點位於左上角，從x，y=(0，0)開始。坐標系是左手的，X軸指向右，Y軸指向正下方。
但在教科書和文獻中，如上面所示的3個矩陣，大多數變換矩陣都遵循右手坐標系。因此，必須進行一些小的調整來調整軸線方向。
歐氏空間中的公共變換
在我們對圖像進行變換實驗之前，讓我們看看如何在點坐標上進行變換。因為它們本質上與圖像是網格中的二維坐標數組相同。
利用上面的知識，下面的代碼可以用來變換(0,0)，(0,1)，(1,0)，(1,1)處的點。此外，Python還提供了一個有用的速記運算符@來表示矩陣乘法。
# 點生成器def get_grid(x, y, homogenous=False): coords = np.indices((x, y)).reshape(2, -1) return np.vstack((coords, np.ones(coords.shape[1]))) if homogenous else coords# 定義變換def get_rotation(angle): angle = np.radians(angle) return np.array([ [np.cos(angle), -np.sin(angle), 0], [np.sin(angle), np.cos(angle), 0], [0, 0, 1] ])def get_translation(tx, ty): return np.array([ [1, 0, tx], [0, 1, ty], [0, 0, 1] ])def get_scale(s): return np.array([ [s, 0, 0], [0, s, 0], [0, 0, 1] ])R1 = get_rotation(135)T1 = get_translation(-2, 2)S1 = get_scale(2)# 應用變換x'=Axcoords_rot = R1 @ coordscoords_trans = T1 @ coordscoords_scale = S1 @ coordscoords_composite1 = R1 @ T1 @ coordscoords_composite2 = T1 @ R1 @ coords
需要注意的是，除少數例外情況外，矩陣通常不進行交換。即
A1 @ A2 != A2 @ A1因此，對於變換
# 平移然後旋轉coords_composite1 = R1 @ T1 @ coords# 旋轉然後平移coords_composite2 = T1 @ R1 @ coords你將看到它們不會產生相同的映射，而且順序很重要。從右到左可以理解函數是如何應用的。
Numpy中的變換
現在對於圖片，有幾點需要注意。首先，如前所述，我們必須重新調整垂直軸。其次，變換後的點必須投影到圖像平面上。
實質上，需要採取的步驟是：
創建新圖像I'(x，y)以輸出變換應用變換將點投影到新的圖像平面上，僅考慮位於圖像邊界內的點。示例：圍繞圖像中心旋轉、縮放和平移
讓我們看一個變換，我們希望放大2倍，並圍繞圖像的中心位置旋轉45度。
這可以通過應用以下複合矩陣來實現。
height, width = image.shape[:2]tx, ty = np.array((width // 2, height // 2))angle = np.radians(45)scale = 2.0R = np.array([ [np.cos(angle), np.sin(angle), 0], [-np.sin(angle), np.cos(angle), 0], [0, 0, 1]])T = np.array([ [1, 0, tx], [0, 1, ty], [0, 0, 1]])S = np.array([ [scale, 0, 0], [0, scale, 0], [0, 0, 1]])A = T @ R @ S @ np.linalg.inv(T)應用於圖像
# 表示圖像坐標的網格coords = get_grid(width, height, True)x_ori, y_ori = coords[0], coords[1] # 應用變換warp_coords = np.round(A@coords).astype(np.int)xcoord2, ycoord2 = warp_coords[0, :], warp_coords[1, :]# 獲取圖像邊界內的像素indices = np.where((xcoord >= 0) & (xcoord < width) & (ycoord >= 0) & (ycoord < height))xpix2, ypix2 = xcoord2[indices], ycoord2[indices]xpix, ypix = x_ori[indices], y_ori[indices]# 將像素RGB數據映射到另一個數組中的新位置canvas = np.zeros_like(image)canvas[ypix, xpix] = image[yy, xx]在上面的兩個代碼片段中有幾點需要注意。
左手坐標系旋轉是通過交換符號來實現的。由於點圍繞原點旋轉，我們首先將中心平移到原點，然後再進行旋轉和縮放然後將點變換回圖像平面。將變換點捨入為整數以表示離散像素值。接下來，我們只考慮位於圖像邊界內的像素。映射對應的I(x，y)和I』(x，y)。如你所見，由於步驟4的原因，生成的圖像將有幾個鋸齒和孔。為了消除這種情況，開源庫使用插值技術來消除變換後的差異。
逆扭曲(Inverse Warping)
另一種防止上面情況的方法是將扭曲表示為給定扭曲點x'的源圖像I(x，y)的重採樣。這可以通過X'乘以A的逆來實現。這裡需要注意的是，變換必須是可逆的。
將變換的逆運算應用到X'上。X = np.linalg.inv(A) @ X'註：對於圖像，X'的逆扭曲只是將I'(X，y)重新投影到I(X，y)上。所以我們只需對I』(x，y)像素坐標進行逆變換，如下所示。
確定它在原始圖像平面中的位置對I(x，y)重新採樣RGB像素並將其映射回I'(x，y)# 設置像素坐標I'(x，y)coords = get_grid(width, height, True)x2, y2 = coords[0], coords[1]# 應用逆變換並捨入(最近鄰插值)warp_coords = (Ainv@coords).astype(np.int)x1, y1 = warp_coords[0, :], warp_coords[1, :]# 獲取圖像邊界內的像素indices = np.where((x1 >= 0) & (x1 < width) & (y1 >= 0) & (y1 < height))xpix1, ypix1 = x2[indices], y2[indices]xpix2, ypix2 = x1[indices], y1[indices]# 映射對應的像素canvas = np.zeros_like(image)canvas[ypix1, xpix1] = image[ypix2,xpix2]coords = get_grid(width, height, True)x2, y2 = coords[0], coords[1]運行上面的代碼應該可以得到一個密集的、無孔的圖像。
OpenCV中的變換
現在你已經對幾何變換有了更好的理解，大多數開發人員和研究人員通常省去了編寫所有這些變換的麻煩，而只需依賴優化的庫來執行任務。在OpenCV中進行仿射變換非常簡單。
有幾種方法可以做到。一種可能的方法是你可以自己編寫仿射變換，並調用cv2.warfaffine(image，A，output_shape)
下面的代碼顯示了整個仿射矩陣，它將給出與上面相同的結果。一個很好的練習就是自己推導公式！
def get_affine_cv(t, r, s): sin_theta = np.sin(r) cos_theta = np.cos(r) a_11 = s * cos_theta a_21 = -s * sin_theta a_12 = s * sin_theta a_22 = s * cos_theta a_13 = t[0] * (1 - s * cos_theta) - s * sin_theta * t[1] a_23 = t[1] * (1 - s * cos_theta) + s * sin_theta * t[0] return np.array([[a_11, a_12, a_13], [a_21, a_22, a_23]])A2 = get_affine_cv((tx, ty), angle, scale)warped = cv2.warpAffine(image, A2, (width, height))另一種方法是依賴OpenCV使用cv2.getRotationMatrix2D(center，angle，scale)返回仿射變換矩陣。此函數使用角度圍繞點中心旋轉圖像，並使用比例縮放圖像。
A3 = cv2.getRotationMatrix2D((tx, ty), np.rad2deg(angle), scale)warped = cv2.warpAffine(image, b3, (width, height), flags=cv2.INTER_LINEAR, borderMode=cv2.BORDER_CONSTANT, borderValue=0)
總結
在本文中，我介紹了幾何變換的基本概念以及如何將其應用於圖像。許多先進的計算機視覺，如使用視覺裡程計和多視圖合成的slam，都依賴於最初的理解變換。我希望你能更好地理解這些公式是如何在庫中編寫和使用的。