尺度不變特徵轉換

在這個階段，主要是偵測興趣點，也就是SIFT架構中的關鍵點。 影像在不同的尺度下用高斯濾波器(Gaussian filters)進行卷积(convolved)，然後利用連續高斯模糊化影像差異來找出關鍵點。關鍵點是根據不同尺度下的高斯差(Difference of Gaussians,DoG)的最大最小值。 也就是說，DoG影像的${\displaystyle D\left(x,y,\sigma \right)}$ 是由:

${\displaystyle D\left(x,y,\sigma \right)=L\left(x,y,k_{i}\sigma \right)-L\left(x,y,k_{j}\sigma \right)}$

${\displaystyle L\left(x,y,k\sigma \right)}$ 是在尺度 ${\displaystyle k\sigma }$的條件下，由原始影像${\displaystyle I\left(x,y\right)}$與高斯模糊${\displaystyle G\left(x,y,k\sigma \right)}$进行卷积，例如 :${\displaystyle L\left(x,y,k\sigma \right)=G\left(x,y,k\sigma \right)*I\left(x,y\right)}$

${\displaystyle G\left(x,y,k\sigma \right)}$ 是尺度可變高斯函數 ${\displaystyle G\left(x,y,\sigma \right)={\frac {1}{2\pi \sigma ^{2}}}e^{-(x^{2}+y^{2})/2\sigma ^{2}}}$

由上式可知DoG影像是原始影像與不同尺度倍率${\displaystyle k_{i}\sigma }$、${\displaystyle k_{j}\sigma }$的高斯模糊後之差值。 SIFT演算法為了求得在不同尺度倍率之下DoG影像的極大值，先將原始影像與不同尺度倍率的高斯模糊進行卷積，這些經高斯模糊處理後的影像依其尺度倍率以2倍為一單位分組，並且${\displaystyle k_{i}\sigma }$通常為一個選定後的定值，因此在每一組內經高斯模糊處理後的影像數量相同，此時將同一組相鄰的經高斯模糊處理後的影像兩兩相減可得其DoG影像。

一旦得到DoG影像後，可找出DoG影像中的極大、極小值作為關鍵點。為了決定關鍵點，DoG影像中的每個像素會跟以自己為中心周圍的八個像素，以及在同一組DoG影像中相鄰尺度倍率相同位置的九個像素作，一共二十六個點作比較，若此像素為這二十六個像素中的最大、最小值，則此稱此像素為關鍵點。

SIFT演算法中關鍵點的偵測是一種斑點檢測(Blob detection)的一種變形，也就是使用拉普拉斯運算元來求出各個倍率及空間中的最大值。高斯差可近似為拉普拉斯運算元運算後的結果，因建立高斯金字塔的過程是一種尺寸正規化拉普拉斯運算的近似。

在不同尺寸空間下可能找出過多的關鍵點，有些關鍵點可能相對不易辨識或易受雜訊干擾。SIFT演算法的下一步將會藉由關鍵點附近像素的資訊、關鍵點的尺寸、關鍵點的主曲率來定位各個關鍵點，借此消除位於邊上或是易受雜訊干擾的關鍵點

對於各個可能的關鍵點，插補鄰近資料可決定其位置。最一開始的方法為紀錄各個關鍵點在圖片中的位置與尺度。

而新開發出來的方法指出，計算極值得差補位置更能夠提供配對的準確度及可靠性，此方法使用DoG影像${\displaystyle D\left(x,y,\sigma \right)}$的二次泰勒級數，並以關鍵點作為原點，其展開式可寫成:

${\displaystyle D({\textbf {x}})=D+{\frac {\partial D^{T}}{\partial {\textbf {x}}}}{\textbf {x}}+{\frac {1}{2}}{\textbf {x}}^{T}{\frac {\partial ^{2}D}{\partial {\textbf {x}}^{2}}}{\textbf {x}}}$

其中D與其偏微分的值由關鍵點的位置決定，變數${\displaystyle {\textbf {x}}=\left(x,y,\sigma \right)}$則是到此關鍵點的偏移量。

將上式對${\displaystyle {\textbf {x}}}$ 微分後設為零，便可求出極值${\displaystyle {\hat {\textbf {x}}}}$的位置。若${\displaystyle {\hat {\textbf {x}}}}$的任一項參數大於0.5，代表此時有另一關鍵點更接近極值，將捨棄此關鍵點並對新的點作插補。反之若所有參數皆小於0.5，此時將偏移量加回關鍵點中找出極值的位置。

此步驟將計算上述二次泰勒級數${\displaystyle D({\textbf {x}})}$在${\displaystyle {\hat {\textbf {x}}}}$的值。若此值小於0.03，則捨棄此關鍵點。反之保留此關鍵點，並記錄其位置為${\displaystyle {\textbf {y}}+{\hat {\textbf {x}}}}$，其中${\displaystyle {\textbf {y}}}$是一開始關鍵點的位置。

DoG函數對於偵測邊緣上的點相當敏感，即使其找出位於邊緣的關鍵點易受雜訊干擾也會被偵測為關鍵點。 因此為了增加關鍵點的可靠性，需要消除有高度边缘響應但其位置不佳不符合需求的關鍵點。

為了找出邊緣上的點，可分別計算關鍵點的主曲率，對於在邊上的關鍵點而言，因為穿過邊緣方向的主曲率會遠大於沿著邊緣方向上的主曲率，因此其主曲率比值遠大於位於角落的比值。

為了算出關鍵點的主曲率，可解其二次海森矩陣矩陣的特徵值:

${\displaystyle {\textbf {H}}={\begin{bmatrix}D_{xx}&D_{xy}\\D_{xy}&D_{yy}\end{bmatrix}}}$

其特徵值的比例與特徵點主曲率的比例相同，因此假設解出的特徵值為${\displaystyle \alpha }$、${\displaystyle \beta }$，其中${\displaystyle \alpha >\beta }$。在上述矩陣中:

${\displaystyle \operatorname {Tr} ({\textbf {H}})=D_{xx}+D_{yy}=\alpha +\beta }$

${\displaystyle \operatorname {Det} ({\textbf {H}})=D_{xx}D_{yy}-D_{xy}^{2}=\alpha \beta }$

因此

${\displaystyle {\text{R}}=\operatorname {Tr} ({\textbf {H}})^{2}/\operatorname {Det} ({\textbf {H}})=(r+1)^{2}/r}$

其中${\displaystyle r=\alpha /\beta }$。由此可知當R越大，${\displaystyle \alpha }$、${\displaystyle \beta }$的比例越大，此時設定一閾值${\displaystyle r_{\text{th}}}$，若R大於${\displaystyle (r_{\text{th}}+1)^{2}/r_{\text{th}}}$表示此關鍵點位置不合需求因此可以去除。

一般來說，設定閾值${\displaystyle r_{\text{th}}=10}$

在方位定向中，關鍵點以相鄰像素的梯度方向分佈作為指定方向參數，使關鍵點描述子能以根據此方向來表示並具備旋轉不變性。

經高斯模糊處理後的影像${\displaystyle L\left(x,y,\sigma \right)}$，在${\displaystyle \sigma }$尺寸下的梯度量${\displaystyle m\left(x,y\right)}$與方向${\displaystyle \theta \left(x,y\right)}$可由相鄰之像素值計算:

${\displaystyle m\left(x,y\right)={\sqrt {\left((L\left(x+1,y\right)-L\left(x-1,y\right)\right)^{2}+\left((L\left(x,y+1\right)-L\left(x,y-1\right)\right)^{2}}}}$

${\displaystyle \theta \left(x,y\right)=arctan((L(x,y-1)-L(x,y+1))/(L(x-1,y)-L(x+1,y)))}$

計算每個關鍵點與其相鄰像素之梯度的量值與方向後，為其建立一個以10度為單位36條的直方圖。每個相鄰像素依據其量值大小與方向加入關鍵點的直方圖中，最後直方圖中最大值的方向即為此關鍵點的方向。若最大值與局部極大值的差在20%以內，則此判斷此關鍵點含有多個方向，因此將會再額外建立一個位置、尺寸相同方向不同的關鍵點。

針對最後算出的方向還有許多優化步驟，為了符合人體的視覺感官，在加入梯度量值到直方圖時會乘以距離權重(高斯函數)，以減低離關鍵點較遠的影響程度。為了增加角度的解析度，不同角度在加入值方圖時也需考量線性的權重，依照其角度偏移各區間平均值的量，照比例分配於兩個區間內。最後可將值方圖以差補的方式求得某個特定的角度值，而非一固定的區間。

找到關鍵點的位置、尺寸並賦予關鍵點方向後，將可確保其移動、縮放、旋轉的不變性。此外還需要為關鍵點建立一個描述子向量，使其在不同光線與視角下皆能保持其不變性，並且能夠輕易與其他關鍵點作區分。

為了使描述子在不同光線下保有不變性，需將描述子正規化為一128維的單位向量。 首先每個4*4的子區域內建立一個八方向的直方圖，且在關鍵點周圍16*16的區域中——共4*4個子區域，計算每個像素的梯度量值大小與方向後加入此子區域的直方圖中，共可產生一個128維的資料——16個子區域*8個方向。此外為了減少非線性亮度的影響，把大於0.2的向量值設為0.2，最後將正規化後的向量乘上256，且以8位元無號數儲存，可有效減少儲存空間。

SIFT能夠找出獨特的關鍵點，此關鍵點不會受移動、轉動、縮放、仿射變換、亮度等外在因素的影響而改變其特性。因此能夠有效應用在物體辨識上，其步驟包含：

• 輸入偵測物，並執行SIFT演算法找出輸入影像中不變的特徵。

• 這些特徵會與SIFT特徵資料庫作描述子配對，配對將透過最近鄰居法來完成。為了增加可信度，將會移除最近距離與第二近距離大於0.8的配對，這將能夠有效移除背景造成的錯誤配對。此外為了提升最近鄰居法的計算速度，應用best-bin-first演算法能夠有夠高機率找出最近的距離並加快搜尋速度。

• 去除錯誤的配對後，仍有不同物體的成功配對，因此需將成功的配對加以分類，將相同物體的分類分在一起並移除不同物體的分類，因此應用了霍夫變換。如此一來便能夠辨認擁有相同角度的特徵點，這些特徵點有很高機率是同一個物件的，因此能夠分出各個特徵群。

• 對於每個被挑選出來的特徵群，使用最小平方法求得輸入影像與訓練資料間最佳的仿射變換參數。運用此參數對各個特徵點作比對，調整參數直到特徵點皆能正確仿射沒有錯誤發生為止。

SIFT的特征匹配可以用于图像缝合，用于对非全景图的全自动全景重建。从输入图像中提取出来的SIFT特征能够通过每一个图像的特征匹配K个最近相邻图像。随后，这种对应关系可以用于对每一个图像寻找m个候选匹配图像。匹配图像间的单应性（Homographies）可以通过使用随机抽样一致（RANSAC）来得出。由于对于输入图像没有限制，图像的搜索应用于匹配图像对的连接部分。因此每一个连接部分都将会对全景图的构建产生影响。最后，对于所有的连接部分，可以使用光束法平差（Bundle adjustment）来连结照相参数，于是全景图就可以通过多频段混合来描绘出来。由于SIFT启发了全景图拼接的目标识别方法，拼接结果的系统将会对于顺序，方向，尺度和图像亮度不敏感。在这里，输入图像可以包含多个全景和噪声图像，全景序列将会作为结果被识别和描绘。