SLAMer ,深度學習,軍用專用無線發展史,蘋果LiDAR,華為LiDAR,銅線/光纖,驍龍480 5G,陸奇講話,

2021-02-21 六次元空間
2021-1-6 學習和精進,寄語,共勉!1,我們要讓工具為我們服務,而不應該被攻擊左右和淹沒。如微信,抖音這類工具,已經嚴重製約了人的思考能力。2,收集素材只是第一步,關鍵在於消化。而消化的條件是,用心,時間,一個安靜的環節,以及實地操刀去實踐,不斷迭代和精進。

3,想發去激發你內心潛在的興奮點,相信那很大可能也是第三方感興趣的。

4,可說可不說,可做可不做的事情,一律不要做,不要多此一舉!

5,關於學習,只要有想法,是正直之事,一定要儘量促成;你會有新的發現。

6,提高效率,2021每一天都很重要,向每一天要成績和價值。不要虛度

7,淺讀,詳細讀,興趣點讀,固定時間閱讀。

8,注意知識模型的畫像,注意系統思維的訓練,注意每個階段的關注點都不一樣。

9,用戶,財務,管理,產品,市場,競品,技術進度/趨勢,新工具等。


ORB-SLAM3 細讀單目初始化過程(上篇)

計算機視覺life 本文轉自3D視覺工坊

學習ORB-SLAM3單目視覺SLAM中,發現有很多知識點需要展開和深入,同時又需要對系統有整體的認知,為了強化記憶,記錄該系列筆記,為自己圖方便,也希望對大家有所啟發。因為知識有限,因此先記錄初始化過程中的重要節點,並非全部細節,如果需要看代碼的話,建議直接去看作者的原始碼ORB_SLAM3(https://github.com/UZ-SLAMLab/ORB_SLAM3)。這是我自己稍微做了點修改,可以跑數據集的版本,可以參考一下。https://github.com/shanpenghui/ORB_SLAM3_FixedTrackMonocular是ORBSLAM單目視覺SLAM的追蹤器接口,因此從這裡入手。其中GrabImageMonocular下⾯有2個主要的函數:Frame::Frame()和Tracking::Track()。我會按照下⾯的框架流程來分解單⽬初始化過程,以便對整個流程有⽐較清晰的認識。

1.Frame::Frame()1)作用主要完成工作是特徵點提取,涉及到的知識點其實很多,包括圖像金字塔、特徵點均勻化、四叉樹算法分發特徵點、特徵點方向計算等等2)主要的三個函數 ExtractORB UndistortKeyPoints AssignFeaturesToGridFrame()中其實調用的是ORBextractor::operator(),是一個重載操作符函數,此系列筆記主要針對重點理論如何落實到代碼上,不涉及編程技巧,因此不討論該函數的原理和實現,直接深入,探尋本質。對這個單目圖像進行提取特徵點 Frame::ExtractORB用OpenCV的矯正函數、內參對提取到的特徵點進行矯正 Frame::UndistortKeyPoints將特徵點分配到圖像網格中 Frame::AssignFeaturesToGrid3)Frame::ExtractORB3-1)作用3-2)主要的函數 ComputePyramid ComputeKeyPointsOctTree computeDescriptors構建圖像金字塔 ORBextractor::ComputePyramid利用四叉樹算法均分特徵點 ORBextractor::ComputeKeyPointsOctTree計算某層金字塔圖像上特徵點的描述子 static ORBextractor::computeDescriptors3-3)構建圖像金字塔 ComputePyramid3-3-1圖像金字塔是什麼東東?首先,圖像金字塔的概念是: 圖像金字塔是圖像中多尺度表達的一種,是一種以多解析度來解釋圖像的有效但概念簡單的結構。如圖:

3-3-2代碼怎麼實現圖像金字塔?上面討論了搭建圖像金字塔,那怎麼搭建呢?ORBSLAM3中,作者調用OpenCV的resize函數實現圖像縮放,構建每層金字塔的圖像,在函數ORBextractor::ComputePyramid中。

resize(mvImagePyramid[level-1], mvImagePyramid[level], sz, 0, 0, INTER_LINEAR);

3-3-3尺度不變性是什麼東東?我們搭建完金字塔了,但是有個問題,圖像的進行了縮放之後,假如要用同一個相機去看,則需要根據縮放的程度來調整相機到圖像的距離,來保持其觀測的一致性,這就是尺度不變性由來。在ORB-SLAM3中,為了實現特徵尺度不變性採用了圖像金字塔,金字塔的縮放因子為1.2。其思路就是對原始圖形(第0層)依次進行1/1.2縮放比例進行降採樣得到共計8張圖片(包括原始圖像),然後分別對得到的圖像進行特徵提取,並記錄特徵所在金字塔的第幾層,這樣得到一幀圖像的特徵點,如圖1所示。

現在假設在第二層中有一特徵點F,為了避免縮放帶來特徵點F在縱向的移動,為簡化敘述,選擇的特徵點F位於圖像中心,如圖2所示。根據相機成像「物近像大,物遠像小」的原理,如圖2所示為相機成像的示意圖。假設圖1中攝像機原始圖像即金字塔第0層對應圖2中成像視野I0 ,則圖1中圖像金字塔第2層圖像可以相應對應於圖2中成像視野I2 。

有了以上鋪墊現在,再來說說,尺度不變性。簡單來說,因為圖像金字塔對圖像進行了縮放,假如要把該層的圖像特徵點移到其他層上,就要對應的放大圖像,同時相機與圖像的距離也要對應著進行縮放,保證其尺度不變性。

3-3-4代碼哪裡用到了尺度不變性?3-3-4-1MapPoint::PredictScaleORBSLAM3中,作者調用MapPoint::PredictScale函數,根據地圖點到光心的距離,來預測一個類似特徵金字塔的尺度。因為在進行投影匹配的時候會給定特徵點的搜索範圍,由於考慮到處於不同尺度(也就是距離相機遠近,位於圖像金字塔中不同圖層)的特徵點受到相機旋轉的影響不同,因此會希望距離相機近的點的搜索範圍更大一點,距離相機更遠的點的搜索範圍更小一點,所以要在這裡,根據點到關鍵幀/幀的距離來估計它在當前的關鍵幀/幀中,會大概處於哪個尺度。ORB_SLAM3 MapPoint.cc 函數 MapPoint::PredictScale Line 536 539

ratio = mfMaxDistance/currentDist;

int nScale = ceil(log(ratio)/pKF->mfLogScaleFactor);

3-3-4-2MapPoint::UpdateNormalAndDepthORBSLAM3中,作者調用MapPoint::UpdateNormalAndDepth函數,來更新平均觀測方向以及觀測距離範圍。由於一個MapPoint會被許多相機觀測到,因此在插入關鍵幀後,需要更新相應變量,創建新的關鍵幀的時候會調用該函數。上面變量和代碼中的對應關係是:

在ORB_SLAM3 MapPoint.cc 函數 MapPoint::UpdateNormalAndDepth Line 490-491

// 觀測相機位置到該點的距離上限
mfMaxDistance = dist*levelScaleFactor;  
// 觀測相機位置到該點的距離下限
mfMinDistance = mfMaxDistance/pRefKF->mvScaleFactors[nLevels-1];    

至此,構建圖像金字塔 ComputePyramid記錄完畢,再來回顧一下,說到底,搭建圖像金字塔就是為了在不同尺度上來描述圖像,從而達到充分解釋圖像的目的。3-4)四叉樹算法 ComputeKeyPointsOctTree其實,代碼中,核心算法在ORBextractor::DistributeOctTree中實現的。先講原理吧。3-4-1四叉樹是什麼東東?裝逼地說,啊不,專業地說,四叉樹或四元樹也被稱為Q樹(Q-Tree)。四叉樹廣泛應用於圖像處理、空間數據索引、2D中的快速碰撞檢測、存儲稀疏數據等,而八叉樹(Octree)主要應用於3D圖形處理。這裡可能會有歧義,代碼中明明是Octree,不是八叉樹嗎?為什麼這裡講的是四叉樹原理呢?其實ORBSLAM裡面是用四叉樹來均分特徵點,後來有人用八叉樹來構建和管理地圖,可能因為考慮到3D原因,作者在這裡才把函數定義成OctTree,但實際用到的是四叉樹原理。

QuadTree四叉樹顧名思義就是樹狀的數據結構,其每個節點有四個孩子節點,可將二維平面遞歸分割子區域。QuadTree常用於空間資料庫索引,3D的椎體可見區域裁剪,甚至圖片分析處理,我們今天介紹的是QuadTree最常被遊戲領域使用到的碰撞檢測。採用QuadTree算法將大大減少需要測試碰撞的次數,從而提高遊戲刷新性能。不得不感慨,作者怎麼懂那麼多?大神就是大神,各種學科專業交叉融合,膜拜。GO ON。四叉樹很簡單,就是把一塊2d的區域,等分成4份,如下圖: 我們把4塊區域從右上象限開始編號, 逆時針。

四叉樹起始於單節點。對象會被添加到四叉樹的單節點上。

當更多的對象被添加到四叉樹裡時,它們最終會被分為四個子節點。(我是這麼理解的:下面的圖片不是分為四個區域嗎,每個區域就是一個孩子或子節點)然後每個物體根據他在2D空間的位置而被放入這些子節點中的一個裡。任何不能正好在一個節點區域內的物體會被放在父節點。(這點我不是很理解,就這幅圖來說,那根節點的子節點豈不是有五個節點了。)

如果有更多的對象被添加進來,那麼每個子節點要繼續劃分(成四個節點)。

好了。概念普及完了。那在ORB-SLAM3中,它到底想幹嘛呢?3-4-2四叉樹用來幹嘛?ORB-SLAM中使用四叉樹來快速篩選特徵點,篩選的目的是非極大值抑制,取局部特徵點鄰域中FAST角點相應值最大的點,而如何搜索到這些扎堆的特徵點,則採用的是四叉樹的分快思想,遞歸找到成群的點,並從中找到相應值最大的點。3-4-3代碼怎麼實現的?在ORBextractor.cc 函數 ORBextractor::DistributeOctTree輸入圖像未分的關鍵點 對應ORBextractor::DistributeOctTree函數中的形參vToDistributeKeysORBextractor.cc#L537根據圖像區域構造初始的根結點,每個根結點包含圖像的一個區域,每個根結點同樣包括4個子結點定義一個提取器 ExtractorNode ni;ORBextractor.cc#L552設置提取器節點的圖像邊界 ni.UL ni.UR ni.BL ni.BRORBextractor.cc#L552-L556 將剛才生成的提取節點添加到列表中lNodes.push_back(ni);ORBextractor.cc#L559 存儲這個初始的提取器節點句柄vpIniNodes[i] = &lNodes.back();ORBextractor.cc#L560將未分的所有關鍵點分配給2中構造的根結點,這樣每個根節點都包含了其所負責區域內的所有關鍵點 按特徵點的橫軸位置,分配給屬於那個圖像區域的提取器節點vpIniNodes[kp.pt.x/hX]->vKeys.push_back(vToDistributeKeys[i]);ORBextractor.cc#L567根結點構成一個根結點list,代碼中是lNodes用來更新與存儲所有的根結點 遍歷lNodes,標記不可再分的節點,用的標記變量是lit->bNoMoreORBextractor.cc#L576當列表中還有可分的結點區域的時候:while(!bFinish)ORBextractor.cc#L592開始遍歷列表中所有的提取器節點,並進行分解或者保留:while(lit!=lNodes.end())ORBextractor.cc#L604判斷當前根結點是否可分,可分的意思是,它包含的關鍵點能夠繼續分配到其所屬的四個子結點所在區域中(左上,右上,左下,右下),代碼中是判斷標誌位if(lit->bNoMore)ORBextractor.cc#L606意思是如果當前的提取器節點具有超過一個的特徵點,那麼就要進行繼續細分如果可分,將分出來的子結點作為新的根結點放入INodes的前部,e.g. lNodes.front().lit = lNodes.begin();ORBextractor.cc#L626,就是在四個if(n*.vKeys.size()>0)條件中執行。然後將原先的根結點從列表中刪除,e.g.lit=lNodes.erase(lit);ORBextractor.cc#L660。由於新加入的結點是從列表頭加入的,不會影響這次的循環,該次循環只會處理當前級別的根結點。當所有結點不可分,e.g(int)lNodes.size()==prevSizeORBextractor.cc#L667,或者結點已經超過需要的點(int)lNodes.size()>=NORBextractor.cc#L667時,跳出循環bFinish = true;ORBextractor.cc#L669。3-5)計算特徵點描述子 computeDescriptors3-5-1描述子是什麼東東?圖像的特徵點可以簡單的理解為圖像中比較顯著顯著的點,如輪廓點,較暗區域中的亮點,較亮區域中的暗點等。ORB採用的是哪種描述子呢?是用FAST(features from accelerated segment test)算法來檢測特徵點。這個定義基於特徵點周圍的圖像灰度值,檢測候選特徵點周圍一圈的像素值,如果候選點周圍領域內有足夠多的像素點與該候選點的灰度值差別夠大,則認為該候選點為一個特徵點。3-5-2計算特徵描述子利用上述步驟得到特徵點後,我們需要以某種方式描述這些特徵點的屬性。這些屬性的輸出我們稱之為該特徵點的描述子(Feature DescritorS)。ORB採用BRIEF算法來計算一個特徵點的描述子。BRIEF算法的核心思想是在關鍵點P的周圍以一定模式選取N個點對,把這N個點對的比較結果組合起來作為描述子。

3-5-3如何保證描述子旋轉不變性?在現實生活中,我們從不同的距離,不同的方向、角度,不同的光照條件下觀察一個物體時,物體的大小,形狀,明暗都會有所不同。但我們的大腦依然可以判斷它是同一件物體。理想的特徵描述子應該具備這些性質。即,在大小、方向、明暗不同的圖像中,同一特徵點應具有足夠相似的描述子,稱之為描述子的可復現性。當以某種理想的方式分別計算描述子時,應該得出同樣的結果。即描述子應該對光照(亮度)不敏感,具備尺度一致性(大小 ),旋轉一致性(角度)等。前面為了解決尺度一致性問題,採用了圖像金字塔來改善這方面的性能。而現在,主要解決BRIEF描述子不具備旋轉不變性的問題。在當前關鍵點P周圍以一定模式選取N個點對,組合這N個點對的T操作的結果就為最終的描述子。當我們選取點對的時候,是以當前關鍵點為原點,以水平方向為X軸,以垂直方向為Y軸建立坐標系。當圖片發生旋轉時,坐標系不變,同樣的取點模式取出來的點卻不一樣,計算得到的描述子也不一樣,這是不符合我們要求的。因此我們需要重新建立坐標系,使新的坐標系可以跟隨圖片的旋轉而旋轉。這樣我們以相同的取點模式取出來的點將具有一致性。打個比方,我有一個印章,上面刻著一些直線。用這個印章在一張圖片上蓋一個章子,圖片上分處直線2頭的點將被取出來。印章不變動的情況下,轉動下圖片,再蓋一個章子,但這次取出來的點對就和之前的不一樣。為了使2次取出來的點一樣,我需要將章子也旋轉同一個角度再蓋章。(取點模式可以認為是章子上直線的分布情況)ORB在計算BRIEF描述子時建立的坐標系是以關鍵點為圓心,以關鍵點P和取點區域的質心Q的連線為X軸建立2維坐標系。P為關鍵點。圓內為取點區域,每個小格子代表一個像素。現在我們把這塊圓心區域看做一塊木板,木板上每個點的質量等於其對應的像素值。根據積分學的知識我們可以求出這個密度不均勻木板的質心Q。

我們知道圓心是固定的而且隨著物體的旋轉而旋轉。當我們以PQ作為坐標軸時,在不同的旋轉角度下,我們以同一取點模式取出來的點是一致的。這就解決了旋轉一致性的問題。3-5-4如何計算上面提到的質心?灰度質心法說到解決該問題,這就不得不提到關鍵函數static IC_Angle ORBextractor.cc#L75 這個計算的方法是大家耳熟能詳的灰度質心法:以幾何中心和灰度質心的連線作為該特徵點方向。具體是什麼原理呢?其實原理網上很多文章講解的很多了,我就直接貼上公式了。

3-5-5代碼如何實現?首先取出關鍵點P。const uchar* centerORBextractor.cc#L79因為實現中利用了一個技巧,就是同時計算圓對稱上下兩條線的和,這樣可以加速計算過程。所以計算中間的一條線上的點的和進行單獨處理。m_10 += u * center[u];ORBextractor.cc#L82要在一個圖像塊區域HALF_PATCH_SIZE中循環計算得到圖像塊的矩,這裡結合四叉樹算法,要明白在ORBSLAM中一個圖像塊區域的大小是30,而這裡說過,用了一個技巧是同時計算兩條線,因此分一半,就是15,所以HALF_PATCH_SIZE=15一條直線上的像素坐標開頭和結尾分別是-d和d,所以for (int u = -d; u <= d; ++u)ORBextractor.cc#L92位於直線關鍵點P上方的像素點坐標是val_plus = center[u + v*step]ORBextractor.cc#L94位於直線關鍵點P下方的像素點坐標是val_minus = center[u - v*step]ORBextractor.cc#L94因為$m_{10}$只和X有關,像素坐標中對應著u,所以$m_{10}$ = X坐標*像素值 = u * (val_plus+val_minus)因為$m_{01}$只和Y有關,像素坐標中對應著v,所以$m_{01}$ = Y坐標*像素值 = v * v_sum = v * (循環和(val_plus - val_minus))ORBextractor.cc#L953-5-6高斯模糊是什麼?有什麼用?怎麼實現?所謂」模糊」,可以理解成每一個像素都取周邊像素的平均值。圖中,2是中間點,周邊點都是1。「中間點」取」周圍點」的平均值,就會變成1。在數值上,這是一種」平滑化」。在圖形上,就相當於產生」模糊」效果,」中間點」失去細節。

顯然,計算平均值時,取值範圍越大,」模糊效果」越強烈。

注意:提取特徵點的時候,使用的是清晰的原圖像。這裡計算描述子的時候,為了避免圖像噪聲的影響,使用了高斯模糊。從數學的角度來看,高斯模糊的處理過程就是圖像與其正態分布做卷積。我們可以計算當前像素一定範圍內的像素的權重,越靠近當前像素權重越大,形成一個符合正態分布的權重矩陣。

利用卷積算法,我們可以將當前像素的顏色與周圍像素的顏色按比例進行融合,得到一個相對均勻的顏色。

卷積核一般為矩陣,我們可以將它想像成卷積過程中使用的模板,模板中包含了當前像素周圍每個像素顏色的權重。

有了這些基礎,我們再來看ORBSLAM到底怎麼實現這個高斯模糊的?在代碼中,使用的是OpenCV的GaussianBlur函數。對每層金字塔的圖像for (int level = 0; level < nlevels; ++level)ORBextractor.cc#L1105,ORBSLAM都進行高斯模糊:ORBextractor.cc#L1115

GaussianBlur(workingMat, workingMat, Size(7, 7), 2, 2, BORDER_REFLECT_101);

3-5-7怎麼實現描述子的計算?在《3-4-4-2計算特徵描述子》說過,BRIEF算法的核心思想是在關鍵點P的周圍以一定模式選取N個點對,把這N個點對的比較結果組合起來作為描述子。其描述子desc[i]為一個字節val8位,每一位是來自於兩個像素點灰度的直接比較:ORBextractor.cc#L124

        t0 = GET_VALUE(0); t1 = GET_VALUE(1);
        val = t0 < t1;       //描述子本字節的bit0
        t0 = GET_VALUE(2); t1 = GET_VALUE(3);
        val |= (t0 < t1) << 1;     //描述子本字節的bit1
        t0 = GET_VALUE(4); t1 = GET_VALUE(5);
        val |= (t0 < t1) << 2;     //描述子本字節的bit2
        t0 = GET_VALUE(6); t1 = GET_VALUE(7);
        val |= (t0 < t1) << 3;     //描述子本字節的bit3
        t0 = GET_VALUE(8); t1 = GET_VALUE(9);
        val |= (t0 < t1) << 4;     //描述子本字節的bit4
        t0 = GET_VALUE(10); t1 = GET_VALUE(11);
        val |= (t0 < t1) << 5;     //描述子本字節的bit5
        t0 = GET_VALUE(12); t1 = GET_VALUE(13);
        val |= (t0 < t1) << 6;     //描述子本字節的bit6
        t0 = GET_VALUE(14); t1 = GET_VALUE(15);
        val |= (t0 < t1) << 7;     //描述子本字節的bit7

每比較出8bit結果,需要16個隨機點(參考《3-4-4-1描述子是什麼東東?》)。ORBextractor.cc#L121

其中,定義描述子是32個字節長,所以ORBSLAM的描述子一共是32*8=256位組成。在《3-4-4-3如何保證描述子旋轉不變性?》中說過,ORBSLAM的描述子是帶旋轉不變性的,有些人評價說這可能也是ORB-SLAM的最大貢獻(知識有限,無法做評價,只是引入,無關對錯),這麼重要的地方具體體現在代碼的哪裡呢?作者定義了一共局部宏ORBextractor.cc#L116

#define GET_VALUE(idx) center[cvRound(pattern[idx].x*b + pattern[idx].y*a)*step + cvRound(pattern[idx].x*a - pattern[idx].y*b)]

其中,a = (float)cos(angle)和b = (float)sin(angle)背後的原理呢?可能大家這麼多知識點看下來都懵逼了,我自己一次性梳理起來也很凌亂的。那就回顧一下《3-5-3如何保證描述子旋轉不變性?》,其實就是把灰度質心法找到的質心Q和特徵點P就連成的直線PQ和坐標軸對齊,轉個角度,就是二維坐標系的旋轉公式:

3-6)總結Frame::ExtractORB 主要完成工作是提取圖像的ORB特徵點和計算描述子,其主要的函數分別是ComputePyramid、ComputeKeyPointsOctTree和computeDescriptors。ComputePyramid函數主要完成了構建圖像金字塔功能。ComputeKeyPointsOctTree函數使用四叉樹法對一個圖像金字塔圖層中的特徵點進行平均和分發。computeDescriptors函數用來計算某層金字塔圖像上特徵點的描述子。至此,完成了圖像特徵點的提取,並且將提取的關鍵點和描述子存放在mvKeys和mDescriptors中。4)Frame::UndistortKeyPoints因為ORB-SLAM3中新增了虛擬相機的模型,論文中提及:Our goal is to abstract the camera model from the whole SLAM pipeline by extracting all properties and functions related to the camera model (projection and unprojection functions, Jacobian, etc) to separate modules. This allows our system to use any camera model by providing the corresponding camera module.In ORB-SLAM3 library, apart from the pinhole model, we provide the Kannala-Brandt fisheye model.其實跑TUM_VI的時候,就是用的KannalaBrandt8模型,感興趣的話可以下載數據集跑跑效果,具體方法可參考文章:EVO Evaluation of SLAM 4 --- ORB-SLAM3 編譯和利用數據集運行(https://blog.csdn.net/shanpenghui/article/details/109354918)

其中,矯正就是用的Pinhole模型,就是針孔相機模型,在代碼中有體現Frame.cc#L751

cv::undistortPoints(mat,mat, static_cast<Pinhole*>(mpCamera)->toK(),mDistCoef,cv::Mat(),mK);

我們針對針孔相機模型來討論一下。因為知識淺薄,所以想從基礎討論起,大神們可直接略過。4-1為什麼要矯正?

理想的針孔成像模型確定的坐標變換關係均為線性的,而實際上,現實中使用的相機由於鏡頭中鏡片因為光線的通過產生的不規則的折射,鏡頭畸變(lens distortion)總是存在的,即根據理想針孔成像模型計算出來的像點坐標與實際坐標存在偏差。畸變的引入使得成像模型中的幾何變換關係變為非線性,增加了模型的複雜度,但更接近真實情形。畸變導致的成像失真可分為徑向失真和切向失真兩類:

簡單來說,由透鏡形狀(相機鏡頭徑向曲率的不規則變化)引起的畸變稱為徑向畸變,是導致相機成像變形的主要因素。徑向畸變主要分為桶形畸變和枕型畸變。在針孔模型中,一條直線投影到像素平面上還是一條直線。但在實際中,相機的透鏡往往使得真實環境中的一條直線在圖片中變成了曲線。越靠近圖像的邊緣現象越明顯。由於透鏡往往是中心對稱的,這使得不規則畸變通常徑向對稱。(成像中心處的徑向畸變最小,距離中心越遠,產生的變形越大,畸變也越明顯 )正向畸變(枕型畸變):從圖像中心開始,徑向曲率逐漸增加。負向畸變(桶形畸變):邊緣的徑向曲率小於中心的徑向曲率。(魚眼相機)

實際攝像機的透鏡總是在成像儀的邊緣產生顯著的畸變,這種現象來源於「筒形」或「魚眼」的影響。如下圖,光線在原理透鏡中心的地方比靠近中心的地方更加彎曲。對於常用的普通透鏡來說,這種現象更加嚴重。筒形畸變在便宜的網絡攝像機中非常厲害,但在高端攝像機中不明顯,因為這些透鏡系統做了很多消除徑向畸變的工作。切向畸變(Tangential Distortion)切向畸變是由於相機鏡頭在製造安裝過程中並非完全平行於成像平面造成的。不同於徑向畸變在圖像中心徑向方向上發生偏移變形,切向畸變主要表現為圖像點相對理想成像點產生切向偏移。4-2怎麼矯正?徑向畸變模型:r 為像平面坐標系中點(x, y)與圖像中心(x0, y0)的像素距離。

切向畸變模型可以描述為:$p_1$和$p_2$,鏡頭的切向畸變係數。

4-3代碼怎麼實現?

if(mDistCoef.at<float>(0)==0.0)

cv::undistortPoints(mat,mat, static_cast<Pinhole*>(mpCamera)->toK(),mDistCoef,cv::Mat(),mK);

具體實現就不展開了,感興趣可以找OpenCV相關資料。5)Frame::AssignFeaturesToGrid將圖片分割為64*48大小的柵格,並將關鍵點按照位置分配到相應柵格中,從而降低匹配時的複雜度,實現加速計算。舉個例子:

當我們需要在一條圖片上搜索特徵點的時候,是按照grid搜索還是按照pixel搜索好?毫無疑問,先粗(grid)再細(pixel)搜索效率比較高。這也是Frame::GetFeaturesInArea函數裡面用的方法,變量mGrid聯繫了 AssignFeaturesToGrid 的結果和其他函數:Frame.cc#L676

for(int ix = nMinCellX; ix<=nMaxCellX; ix++)
    {
        for(int iy = nMinCellY; iy<=nMaxCellY; iy++)
        {
            const vector<size_t> vCell = (!bRight) ? mGrid[ix][iy] : mGridRight[ix][iy];

而mGrid這個結果在代碼中,後面的流程裡,有幾個函數都要用:

SearchForInitialization 函數 單目初始化中用於參考幀和當前幀的特徵點匹配
SearchByProjection 函數 通過投影地圖點到當前幀,對Local MapPoint進行跟蹤

mGrid[i][j].reserve(nReserve);

如果找到特徵點所在網格坐標,將這個特徵點的索引添加到對應網格的數組mGrid中

if(PosInGrid(kp,nGridPosX,nGridPosY))
   mGrid[nGridPosX][nGridPosY].push_back(i);

6)總結總而言之,Frame起到的是前端的作用,主要的作用完成對圖像特徵點進行提取以及描述子的計算:1. 通過構建圖像金字塔,多尺度表達圖像,提高抗噪性;2. 根據尺度不變性,計算相機與各圖層圖像的距離,準備之後的計算;3. 利用四叉樹的快分思想,快速篩選特徵點,避免特徵點扎堆;4. 利用灰度質心法解決BRIEF描述子不具備旋轉不變性的問題,增強了描述子的魯棒性;6. 最終通過大網格形式快速分配特徵點,加速了運行速度。1.數字圖像處理(21): 圖像金字塔(高斯金字塔 與 拉普拉斯金字塔)2.ORB_SLAM2中特徵提取之圖像金字塔尺度不變性理解 3.ORB-SLAM(一):關於ORB-SLAM中四叉樹的使用 8.【二】[詳細]針孔相機模型、相機鏡頭畸變模型、相機標定與OpenCV實現超詳細解讀ORB-SLAM3單目初始化(下篇)

計算機視覺life 本文轉自3D視覺工坊

ORB-SLAM3 細讀單目初始化過程(上),ORBSLAM3單目視覺有很多知識點需要展開和深入,初始化過程是必然要經歷的,而網上資料不夠系統,因此本文主旨是從代碼實現出發,把初始化過程系統化,建立起知識樹,以把零碎的知識點串聯起來,方便快速學習提升自己。注意,本文雖然從代碼出發,但並非講全部代碼細節,如有需要建議直接看原始碼,地址是:https://github.com/UZ-SLAMLab/ORB_SLAM3,我自己稍微做了點修改,可以跑數據集的版本,可以參考一下,地址是:https://github.com/shanpenghui/ORB_SLAM3_Fixed
ORBSLAM單目視覺SLAM的追蹤器接口是函數TrackMonocular,調用了GrabImageMonocular,其下面有2個主要的函數:Frame::Frame()和Tracking::Track(),本文和上篇都是按照以下框架流程來分解單目初始化過程,上篇記錄了Frame::Frame(),本文就記錄Tracking::Track()。

ORB-SLAM3的Tracking部分作用論文已提及,包含輸入當前幀、初始化、相機位姿跟蹤、局部地圖跟蹤、關鍵幀處理、姿態更新與保存等,如圖。

單目地圖初始化函數是Tracking::MonocularInitialization,其主要是調用以下兩個函數完成了初始化過程,ORBmatcher::SearchForInitialization和KannalaBrandt8::ReconstructWithTwoViews,前者用於參考幀和當前幀的特徵點匹配,後者利用構建的虛擬相機模型,針對不同相機計算基礎矩陣和單應性矩陣,選取最佳的模型來恢復出最開始兩幀之間的相對姿態,並進行三角化得到初始地圖點。三 ORBmatcher::SearchForInitialization

這個函數的主要作用是構建旋轉角度直方圖,選取最優的三個Bin,也就是佔據概率最大的三個Bin,如圖(數字3被異形吃掉了^-^)。因為當前幀會提取到諸多特徵點,每一個都可以作為圖像旋轉角度的測量值,我們希望能在諸多的角度值中,選出最能代表當前幀的旋轉角度的測量值,這就是為什麼要在旋轉角度直方圖中選最優的3個Bin的原因。這個旋轉的角度哪來的呢?就是在計算描述子的時候算的,調用函數IC_Angle,代碼是:ORBextractor.cc#L475

keypoint->angle = IC_Angle(image, keypoint->pt, umax);

感興趣的同學想知道為什麼要這麼麻煩的選取最優3個角度,請從旋轉不變性開始理解,原理參見:3-5-3如何保證描述子旋轉不變性?

(https://blog.csdn.net/shanpenghui/article/details/109809723#t20)

四 KannalaBrandt8::ReconstructWithTwoView1 畸變校正

利用魚眼模型,對兩幀圖像的特徵點進行畸變校正,代碼見KannalaBrandt8.cpp#L219。要注意的是,魚眼模型的特殊性在於只考慮徑向畸變,忽略切向畸變,所以其p_ipi值都是0。想要深入理解魚眼模型的同學可以參考這篇文章《魚眼相機成像模型》

(https://blog.csdn.net/u010128736/article/details/52864024)。ORB-SLAM3中對不同模型相機的畸變校正做了區分,當相機模型是針孔的時候,用的畸變校正參數是mDistCoef,當相機模型是魚眼的時候,用的是虛擬出的相機類,代碼參見mpCamera = new KannalaBrandt8(vCamCalib),為避免重複校正,用了個條件限制,就是在函數Frame::UndistortKeyPoints中判斷mDistCoef.at<float>(0)==0.0,代碼參見Frame.cc#L734,因為在用魚眼相機模型的時候,mDistCoef沒有賦值,都是0。

cv::fisheye::undistortPoints(vPts1,vPts1,K,D,R,K);
cv::fisheye::undistortPoints(vPts2,vPts2,K,D,R,K);

2 位姿估計

主要由函數TwoViewReconstruction::Reconstruct完成,涉及到的知識點又多又關鍵的,包括對極約束、八點法、歸一化、直接線性變換、卡方檢驗、重投影等,先從主要流程開始理解。

利用隨機種子DUtils::Random::SeedRandOnceTwoViewReconstruction.cc#L79,在所有匹配特徵點對中隨機選擇8對匹配特徵點為一組for(size_t j=0; j<8; j++)TwoViewReconstruction.cc#L86,用於估計H矩陣和F矩陣。將當前幀和參考幀中的特徵點坐標進行歸一化。TwoViewReconstruction::NormalizeTwoViewReconstruction.cc#L753用DLT方法求解F矩陣 TwoViewReconstruction::ComputeF21TwoViewReconstruction.cc#L273對給定的F矩陣打分,需要使用到卡方檢驗的知識 TwoViewReconstruction::CheckFundamentalTwoViewReconstruction.cc#L395利用得到的最佳模型(選擇得分較高的矩陣值,單應矩陣H或者基礎矩陣F)估計兩幀之間的位姿,代碼中對應著函數ReconstructH或ReconstructF。其中,分兩個步驟。第一是利用基礎矩陣F和本質矩陣E的關係,計算出四組解。第二是調用的函數CheckRT作用是用R,t來對特徵匹配點三角化,並根據三角化結果判斷R,t的合法性。最終可以得到最優解的條件是位於相機前方的3D點個數最多並且三角化視差角必須大於最小視差角。


2.2.4 基礎矩陣Fundamental 代數推導有了以上的示意,我們嘗試用數學公式描述極點、極線和極平面之間的關係。看了好幾篇文章,感覺還是視覺十四講裡面的代數推導比較明晰,我就直接參考過來,當做記錄了,其他比較雜亂,記錄在《SLAM 學習筆記 本質矩陣E、基礎矩陣F、單應矩陣H的推導》(https://blog.csdn.net/shanpenghui/article/details/110133454),感興趣的同學可以看看。


2.2.6 結尾

由於知識有限,加上篇幅限制,就不再展開了,這裡可以參考另外幾篇比較好的文章,有比較詳細的推導過程,想深入研究的童鞋可以看看。 

1、SLAM入門之視覺裡程計(3):兩視圖對極約束 基礎矩陣

 2、SLAM基礎知識總結(https://blog.csdn.net/MyArrow/article/details/53704339)

五、總結

單目方案的初始化過程再梳理一下:

對極約束是原理基礎,從物理世界出發描述了整個視覺相機成像、數據來源以及相互關係的根本問題,其中印象最深的是把搜索匹配點的範圍縮小成一段極線,大大加速了匹配過程。八點法從求解的角度出發,用公式描述了獲得我們想要的解的最小條件,提供了有力的數學基礎。歸一化使圖像進行縮放,而縮放尺度是為了讓噪聲對於圖像的影響在一個數量級上,從而減少噪聲對圖像的影響。直接線性轉換則從諸多的測量值中(超過8點的N個匹配點,超定方程)算出了最優的解,使我們基本得到了想要的解。在已經有的粗解基礎上利用統計學方法進行分析,篩選出優質的點(符合概率模型的內點)來構成我們最終使用的一個投影的最優解,利用兩幀圖像上匹配點對進行相互投影,綜合判斷內外點,從而最小化誤差。篩選出內外點之後,對兩個模型進行打分,選出最優模型,然後通過三角化測量進行深度估計,最終完成初始化過程。

至此,單目的初始化過程(基於基礎矩陣F)就完啦,內容較多,希望不對的地方多多指教,相互學習,共同成長。以上僅是個人見解,如有紕漏望各位指出,謝謝。

參考:

 1.對極幾何及單應矩陣https://blog.csdn.net/u012936940/article/details/80723609

 2.2D-2D:對極約束https://blog.csdn.net/u014709760/article/details/88059000

 3.多視圖幾何 

https://blog.csdn.net/weixin_43847162/article/details/89363281

4.SVD分解及線性最小二乘問題 

https://www.cnblogs.com/houkai/p/6656894.html

5.矩陣SVD分解(理論部分II——利用SVD求解最小二乘問題)

https://zhuanlan.zhihu.com/p/64273563

 6.奇異值分解(SVD)原理詳解及推導 

https://blog.csdn.net/zhongkejingwang/article/details/43053513

7.最小二乘解(Least-squares Minimization )

https://blog.csdn.net/kokerf/article/details/72437294

 8.卡方檢驗 (Chi-square test / Chi-square goodness-of-fit test)

https://blog.csdn.net/zfcjhdq/article/details/83512680?utm_medium=distribute.pc_relevant.none-task-blog-BlogCommendFromBaidu-3.control&depth_1-utm_source=distribute.pc_relevant.none-task-blog-BlogCommendFromBaidu-3.control

 9.樣本標準差與自由度 n-1 卡方分布關係的證明 

https://blog.csdn.net/robert_chen1988/article/details/90640917

10.證明殘差平方和除隨機項方差服從卡方分布 

https://www.docin.com/p-1185555448.html

11.本質矩陣優化分解的相對位姿估計 

http://www.doc88.com/p-6931350248387.html

12.單目移動機器人的相對位姿估計方法

https://www.doc88.com/p-7744747222946.html

 13.三角化求深度值(求三位坐標)

https://blog.csdn.net/michaelhan3/article/details/89483148

有趣的圖解SLAM!

計算機視覺life 

1、前言

最近一直在研究雷射SLAM,源碼看了一遍又一遍,對於細節的部分,短時間記住是怎麼實現的了,過幾天又忘了。據研究發現,往往圖片可以給我們更加深刻的印象,於是就想著把SLAM源碼解決的一個個問題給直觀的呈現出來,於是就有了這篇圖解SLAM。

這裡仍在之前my_slam_gmapping算法功能包的基礎之上進行解釋,特別說明的是該算法功能包又進行了一次大規模刪減,目前該算法功能包代碼量(含注釋、含雷射雷達運動畸變去除模塊)僅有3000餘行,已經非常非常適合閱讀。

本篇文章不講理論、不講代碼,用一張張生動的圖片幫助大家理解基於濾波器的my_slam_gmapping地圖構建算法,我希望這篇文章是大家從調包到算法的那個臺階。

2、正文


3、說明

本篇圖解SLAM配合my_slam_gmapping閱讀十分的香。

上面每個部分的圖片都是揭示my_slam_gmapping的代碼對應部分的依據,這樣大家清楚了每個部分都是做什麼的,就不用費力去自己推測代碼要幹嘛。如果你發現了我對該算法有什麼理解上的問題甚至錯誤,請一定告知我。

吐血整理!「500+頁SLAM講義PPT」資料包免費領,充電必備!

愛送福利的智小西 智東西公開課 

SLAM已經有近30年的歷史,主要包括視覺SLAM和雷射SLAM兩個方面的內容。尤其是雷射SLAM,以前主要應用在軍事研究上,最近幾年才轉民用;隨著近年來計算機視覺的快速發展,視覺SLAM最近發展也很熱。SLAM功能技術主要用於機器人、無人機、自動駕駛汽車以及一些增強現實、三維重建與環境恢復等方向。

 

浙江大學章國鋒老師在「第一屆全國SLAM技術論壇」上表明「SLAM的相關理論已經發展得比較成熟。但是,在實際應用中,問題還相當複雜。」可見,從產業應用的角度來講,SLAM距離工程實際應用還有一定距離,未來也有更多的發展空間。

 

今天帶來的資料或許可以為大家「指點迷津」喲~包含了曠視、速騰聚創、英特爾、智行者、詮視科技、小覓智能、上海思嵐科技7家巨頭與初創公司及卡耐基梅隆大學、北京大學、北京航空航天大學、上海交通大學、遼寧工程技術大學5所國內外知名高校在SLAM領域的應用及研究進展講解,現在將搜集到的所有講義PPT免費送給大家。

 

下面一起來看看都有哪些內容吧~

(文字較多,著急的朋友可直接拖至文末領取)

 

主流的SLAM技術應用有兩種,分別是雷射SLAM(基於雷射雷達lidar 來建圖導航)和視覺SLAM(vSlam,基於單/雙目攝像頭視覺建圖導航)。下面給大家介紹下所涉及到的具體內容吧!

 

1、雷射SLAM

早在 2005 年的時候,雷射 SLAM 就已經被研究的比較透徹,框架也已初步確定。雷射 SLAM,是目前最穩定、最主流的定位導航方法。

速騰聚創創始人邱純鑫、遼寧工程技術大學碩士張涵、北京航空航天大學在讀博士曹秀潔4位大牛分別分享了基於雷射雷達的地圖創建與定位、雷射SLAM前端配準方法、雷射SLAM數據預處理。

來自速騰聚創創始人邱純鑫分享內容

PL-ICP思想(來自遼寧工程技術大學碩士張涵分享內容)

裡程計標定-基於模型的方法(來自北京航空航天大學在讀博士曹秀潔分享內容)

2、視覺SLAM

隨著計算機視覺的迅速發展,視覺 SLAM 因為信息量大,適用範圍廣等優點受到廣泛關注。視覺 SLAM(visual SLAM)是以圖像作為主要環境感知信息源的SLAM系統,可應用於無人駕駛、增強現實等應用領域,是近年來的熱門研究方向。典型視覺SLAM算法以估計攝像機位姿為主要目標,通過多視幾何理論來重構3D地圖。為提高數據處理速度,部分視覺 SLAM算法是首先提取稀疏的圖像特徵,通過特徵點之間的匹配實現幀間估計和閉環檢測,如基於SIFT(scaleinvariant feature transform)特徵的視覺 SLAM和 基於ORB(oriented FAST and rotated BRIEF)特徵的視覺。SIFT 和 ORB 特徵憑藉其較好的魯棒性和較優的區分能力以及快速的處理速度,在視覺 SLAM 領域受到廣泛應用。

曠視研究院SLAM組負責人劉驍、詮視科技CEO林瓊、小覓智能創始人CEO龐琳勇及CTO楊瑞翾4位大佬分別分享了三維視覺與機器人、vSLAM端處理解決方案的設計與應用、如何利用vSLAM幫助機器人實現不同場景下的精準導航避障、三維視覺雙目SLAM及應用等內容。

來自曠視研究院SLAM組負責人劉驍分享內容

來自詮視科技CEO林瓊分享內容

來自小覓智能創始人CEO龐琳勇、CTO楊瑞翾分享內容

3、語義SLAM

在SLAM中,基於語義信息執行任務需要準確的目標識別。對象的語義信息以TOSM的形式存儲,其中包含符號、顯式和隱式信息。語義分析是將通過傳感器接收到的信息與預先映射的感官數據資料庫和知識庫進行合併。結果,它被表示為語義描述符,我們通過匹配描述符提出並執行數據關聯,然後最終識別對象。

卡耐基梅隆大學博士後Judy、上海交通大學電院繆瑞航博士分別分享了語義SLAM在無人系統中的應用、語義在SLAM中的應用。

SFM:Structure from Motion

基於語義的迴環檢測

視覺SLAM圖文/視頻課程+答疑+學習路線全規劃,SLAMer必看!

electech6 計算機視覺life

那些年有沒有哭暈在廁所?

很多學習SLAM的小夥伴通常會經歷以下階段:

看SLAM相關的論文,發現很多公式、理論看不懂,好不容易努力看了個大概,也不知道具體怎麼用。

於是去跑開原始碼,安裝調試出錯,網上也找不到解決方案。不知道是環境配置問題還是代碼有bug。

好不容易跑通了代碼。在實際測試時發現問題很多,遠不如論文裡寫的那麼牛逼,不知道這個算法的適用場景是什麼。抓不住重點瞎折騰,浪費了時間。

沒辦法,硬著頭皮去看代碼,代碼量又非常大,看起來非常痛苦,急需大牛幫忙梳理思路。

摸索了很久,終於發現有幾個點(藏的很深)好像比較影響算法性能,還發現了一些trick的東西。自己也不會改進,感覺被騙了,糾結要不要換個開源試試。

反反覆覆好不容易找到適合自己的開源方案,發現上面過程要再來一遍,想要理清代碼,搞懂原理也要花費大量精力,更別提改進代碼了。

哭暈在SLAM的汪洋大海裡。。。

學習SLAM中經歷上述階段是令人痛苦的,關鍵是浪費了很多寶貴的時間,即使是SLAM大神,我估計或多或少都經歷過上述階段。如果一開始有人能指點一下,肯定能繞開不少坑吧!

為解決上述問題,「從零開始學習SLAM」知識星球應運而生,星球裡目前已經有接近2200+人。包含三維重建、機器人SLAM方向沉澱了2年多的乾貨,包括大量圖文、視頻教學視頻、實習/校招/社招機會、筆試面試題目及解析、疑難解惑、領域內最新開源論文/代碼/數據集等(詳細介紹見後),還可以加入粉絲專屬微信交流群/星球內部資料、每天只需幾毛錢,即可快速觸達我們優質技術社區,一起交流學習,不管是剛剛入門的新手,還是已經是行業的從業者,都能獲益良多~

我們的SLAM知識星球學習交流社區,包含:

圖文教程:從零開始學習SLAM圖文教程、練習題及答案解析

視頻教程:環境/第三方庫配置使用、作業講解、疑難/常見錯誤講解、VO代碼講解

面試經驗:SLAM常見面試題目及答案解析、SLAM筆試題目及答案、

參考資料:電子書、實用手冊、SLAM最新論文、開原始碼介紹

工作機會:第一時間發布三維視覺、SLAM相關內推實習/校招/社招崗位、項目合作、碩博招生等

答疑解惑:包括作業解答、知識盲點梳理、調研調試方法、碩博方向選擇等

交流機會:線上直播、線下聚會交流

優秀同學:星球內嘉賓和學員都非常優秀上進,包括:

來自大疆、曠世、商湯、虹軟、百度、上汽、海康威視、達闥、極智嘉、肇觀、華捷艾米、銀星智能、indemind、中科慧眼等公司的視覺SLAM/雷射SLAM/三維重建/多傳感器融合/點雲處理算法工程師、技術leader

來自慕尼黑理工、KIT、柏林工大、東京大學、筑波大學、瑞典皇家理工、蘇黎世大學、卡迪夫大學、阿德萊德大學、約翰霍普金斯大學、香港理工、香港中文等境外留學生

來自清華、北航、北郵、中科院、上交、華東理工、上大、浙大、杭電、南大、南航、南郵、礦大、中科大、哈工大、西交、西電、武大、華科、成電、華南理工、廣東工大、國防科大、東大、深大等國內優秀碩博士

什麼是SLAM?

SLAM是 Simultaneous Localization And Mapping的 縮寫,一般翻譯為:同時定位與建圖、同時定位與地圖構建。

SLAM的典型過程是這樣的:當某種行動裝置(如機器人/無人機、手機、汽車等)從一個未知環境裡的未知地點出發,在運動過程中通過傳感器(如雷射雷達、攝像頭等)觀測定位自身在三維空間中的位置和姿態,再根據自身位置進行增量式的三維地圖構建,從而達到同時定位和地圖構建的目的

傳統的視覺算法主要是對針對二維圖像的處理,藉助深度學習在分類識別方面取得了超越人眼精度的巨大成就,就像人眼是通過雙眼立體視覺來感知三維世界一樣,智能移動終端(比如智慧型手機、無人汽車、無人機、智慧機器人)需要能夠像人類一樣利用SLAM算法來快速精確的感知、理解三維空間。

最近幾年,以雙目相機、結構光/TOF相機、雷射雷達為代表的三維傳感器硬體迭代更新迅猛,國內外已經形成了成熟的上下遊產業鏈。三維視覺傳感器也逐漸走入普通人的生活,在智慧型手機、智能眼鏡等設備上應用越來越多,以手機為例,蘋果、華為、小米、OPPO、VIVO等手機大廠都在積極推動結構光/TOF相機在手機上的普及。

SLAM技術為核心的三維視覺在學術界也是一個熱門方向,從最近幾年計算機視覺相關的頂級會議CVPR, ICCV,  ECCV,IROS, ICRA 錄用論文來看,視覺定位、三維點雲識別分割、單目深度估計、無人駕駛高精度導航、語義SLAM等相關論文佔比越來越高。

因此SLAM技術在最近幾年發展迅猛,廣泛應用於增強現實感知、自動駕駛高精度定位、機器人自主導航、無人機智能飛行等前沿熱門領域。

關於SLAM的入門介紹及應用案例解析,可以看筆者在一次線下分享中,做的一個入門視頻介紹,時長約55分鐘

學習SLAM如何入門?

SLAM是涵蓋圖像處理、多視角視覺幾何、機器人學等綜合性非常強的交叉學科。

學習SLAM涉及線性代數矩陣運算、李群李代數求導、三維空間剛體變換、相機成像模型、特徵提取匹配、多視角幾何、非線性優化、迴環檢測、集束調整、三維重建等專業知識。SLAM是強實踐學科,需要具有一定的C++編程能力,掌握Linux作業系統、Eigen, Sophus, OpenCV, Dbow, g2o, ceres等第三方庫,能夠快速定位問題,解決bug。

SLAM關聯知識(點開查看大圖)

這對於初學者來說無疑具有較高的門檻,也需要花費不少的時間來摸索重點,打好基礎。這個過程可能比較痛苦,但是熬過了這個過程,你就擁有了自己獨有的核心競爭力,不用擔心輕易被取代,未來會有非常強的競爭力

但是目前關於SLAM學習的資料不多,而且參差不齊,初學者推薦高翔的《視覺SLAM十四講》,該書也是本教程的必備參考書籍

計算機視覺life總結了SLAM學習資源樹(點擊看大圖)

但很多小夥伴在學習期間仍然會遇到很多困難:公式看不懂,代碼不會寫,不知道怎麼入手,沒有人指導或者一起討論,很容易不得要領,進度極慢,走彎路等,不僅浪費了時間和精力,甚至因此放棄了該方向的研究,以後可能再也沒有機會進入這個領域了,錯過了時代的風口

目前SLAM領域優秀企業列表(點開查看大圖)

有沒有好的教程和學習圈子,可以避免採坑,及時答疑解惑,少走彎路,快速入門?

雷射雷達+GPS+IMU+輪速計的傳感器融合的定位系統

奕木 計算機視覺life

近日,Waymo終於實現了將真正的自動駕駛汽車帶到城市街道上的承諾;今年10月,百度也曾宣布將在北京全面開放自動駕駛計程車服務。

(來源於網絡)

自動駕駛熱度越來高,大家的關注程度也不斷升高,其背後的核心技術也是大家關注的焦點之一。

精準定位技術是移動機器人、自動駕駛等領域的核心技術。多傳感融合是一項綜合性的前沿技術,已成為自動駕駛及機器人的主流定位方案。將多個傳感器信息進行融合的技術,能夠彌補單個傳感器的局限,使得定位使得定位更加精準,具備更好的魯棒性。目前從事移動機器人、自動駕駛相關的夥伴,在項目中經常會用到多個傳感器融合的方案,但是實踐項目落地中,如何優化融合方案?有新的傳感器融合時,又該如何優化框架並落地實現呢?
多傳感器是一個比較龐大的系統,涉及的內容廣泛而繁雜,自學難度大,很多大佬在知乎分享乾貨內容,但大家很難通過零散的知識點達到系統學習的效果,更難了解到落地經驗的精髓。那麼,怎樣高效學習多傳感器融合的主要內容,先要從零開始,親手搭建前端-迴環檢測-基於濾波-基於圖優化的融合定位解決方案,又應該怎麼做呢?

基於此,深藍學院開設了『多傳感器融合定位』在線課程。本課程將多傳感器融合涉及到的主要內容以及落地經驗分享給大家,最終帶領大家實現雷射雷達+GPS+IMU+輪速計的傳感器融合的定位系統。

根據第一期課程反饋全新錄製,使大家更容易理解融匯貫通,並將所學內容應用到實際落地應用中,解決工作學習中遇到的問題。

任乾

原自動駕駛公司研發總監

北京理工大學導航、制導與控制碩士

從2011年進入慣性導航、多傳感器融合定位領域,具有多種精度等級、多種配置、多種場景下的傳感器融合定位系統成功研發經驗。在IEEE Transactions on lndustrial Electronics,Sensors and Actuators等SCI期刊上發表文章,並撰寫知乎專欄《從零開始做自動駕駛定位》(累計閱讀30萬+)。

1. 掌握常用3D雷射SLAM算法的原理以及代碼實現,並具備根據需求改進算法的能力;

2. 掌握點雲地圖構建及基於地圖定位的原理,具備獨立建圖和定位的工程能力;

3. 掌握慣性器件誤差特性及標定、溫補方法,以及多傳感器時空標定的方法;

4. 熟悉基於濾波的和基於圖優化的多傳感器融合方法,並有能力實現一套融合系統。聽起來難以置信,深度學習框架竟然這麼簡單!

新一代人工智慧技術的發展,離不開晶片與深度學習框架兩大基礎,隨著中國科研創新能力的提升,技術領域取得大量突破。

當然,這也是一種技術封鎖的倒逼,今年出現的華為晶片供應鏈被全面封鎖,和工科神器MATLAB被禁事件,這兩件事情加起來,迫使我國要從基礎架構平臺到應用系統等,全方位建設自主知識的優秀產品。

而深度學習作為人工智慧的核心技術,近年來無論是學術、還是工業領域,均發揮著愈加重要的作用。

過去十年,深度學習領域湧現了大量算法和應用。在這些深度學習算法和應用湧現的背後,是各種各樣的深度學習工具和框架。它們是機器學習革命的腳手架:TensorFlow 和 PyTorch 等深度學習框架的廣泛使用,使得許多 ML 從業者能夠使用適合的領域特定的程式語言和豐富的構建模塊更容易地組裝模型。

回顧深度學習框架的演變,我們可以清楚地看到深度學習框架和深度學習算法之間的緊密耦合關係。這種相互依賴的良性循環推動了深度學習框架和工具的快速發展。

我們正在處於一場人工智慧革命的黎明,人工智慧領域的新研究和應用框架,正在以前所未有的速度湧現。

八年前的AlexNet 網絡僅僅包含6000 萬個參數,最新的 GPT-3 網絡包含 1750 億參數,網絡規模在 8 年內增加了 3000 倍。但是人類的大腦包含100萬億個突觸,也就相當於參數。所以,神經網絡要達到人類的智能水平還有很大的差距。

這種難以接受的網絡規模,對現有的模型訓練和推理的硬體、軟體計算效率都提出了很大的挑戰。未來的深度學習框架很可能是算法、高性能計算、硬體加速器和分布式系統的跨學科成果。

然而,對於深度學習相關的初學者,還是對於已經從事相關工作的算法工程師來說,深度學習理論太難學,開發過程太複雜,又將許多人拒之於深度學習的門外。

而大廠等一線企業在這方面的需求也是迫在眉睫,阿里雲也正式開深,是業界首個面向NLP場景的深度遷移學習框架。人才渴求之大,人才缺口一場嚴峻。

那麼,作為我們學習深度學習的時候,究竟是學哪個框架呢?是學PyTorch、還是學Tensorflow、再或者是學Keras呢?其實,對於這樣的問題,基於現在的形勢下,你就不要把著眼點放在這些工具的使用上了,重要的是要知道它的原理。

為了讓更多的人從根本性的掌握AI知識,特為你推出《用純Python從零創造自己的深度學習框架》我們將用三天的時間讓大家深入的了解與學習深度學習框架。

超參數優化算法在深度學習模型應用中的「暴力美學」【附視頻回放+26頁PPT下載】

原創 智東西公開課 

2020年8月26日,「智東西公開課」推出浪潮元腦專場,定名深度學習超參數優化公開課。本次專場的主題為《超參數優化算法在深度學習模型應用中的「暴力美學」》,浪潮AI算法優化高級專家於彤進行了直播主講。

同時預告下,1月7日晚7點,多模態智能公開課浪潮元腦專場將正式開講,由高效能伺服器和存儲技術國家重點實驗室首席研究員範寶餘帶來直播講解,主題為《多模態智能:讓AI更接近人類智能》。掃描文末海報二維碼即可報名,並加入本次專場的主講群。

1、超參數調優的價值

2、常見的調優算法

3、在深度學習網絡中的應用舉例

4、AutoML-Suite:浪潮超參數調優的最佳實踐

在本公眾號後臺回復「浪潮元腦01」獲取本次完整講解PPT。LiDAR效果實測!對蘋果AR生態與AR眼鏡有何意義?

VR陀螺 1周前

【文/VR陀螺 小鑽風】蘋果的AR眼鏡遲遲未有定音,蘋果的AR生態卻正以另一角度悄悄融入大眾視野。繼今年3月搭載LiDAR(雷射雷達掃描)的iPad Pro問世後,蘋果宣布新品iPhone12 Pro/Pro Max搭載LiDAR。雖然一直以來AR眼鏡被視為AR未來的終極形態,蘋果的Apple Glass呼聲也很高,但蘋果的AR生態起步則是基於已有的移動端硬體生態,從軟體與軟體開發工具ARkit開始。

從移動端入手,蘋果的AR生態並非一味等待AR眼鏡的到來2017年6月,蘋果在WWDC上推出移動端AR開發工具集合ARkit,同年8月谷歌推出ARCore對標ARkit。這兩者發布的意義在於幫助AR應用開發者大大降低了AR應用的開發難度,讓AR應用的創建變得更為簡單,從而讓開發者可以專注應用本身的功能與玩法,而且對開發者免費、沒有硬體要求,因此當時掀起一陣AR開發熱潮。

ARCore是隨ARkit的腳步推出的,因此被認為是ARkit的模仿者。實際上,谷歌早在2014便推出AR軟體系統Tango,比蘋果整整早了3年,據稱ARcore便是基於Tango做出的整合升級,所以有網友戲稱谷歌起了個大早趕了個晚集。然而作為先行者的谷歌與蘋果的思路並不相同,它想要的是AR軟、硬體並行。因此早期谷歌還嘗試將Tango系統集成至手機硬體上不斷下功夫,率先推出了首款搭載Tango技術的AR智慧型手機PHAB2 Pro。其結果是,谷歌的AR智慧型手機最終沒能奪得市場青睞,最終銷聲匿跡,軟硬體並行的策略夭折不說,反倒讓ARkit成為最大的AR平臺。蘋果生態恰好與安卓生態截然相反,全封閉式生態使得蘋果對硬體、軟體擁有完全的自主權,這讓很多無解的底層問題變得沒有那麼複雜。在發展初期培養C端AR市場對任何廠商來說都是難以跨越的障礙,蘋果也不例外。所以,蘋果在硬體實力強橫的情況下依舊選擇了算法先行,在兼顧現有蘋果硬體生態的前提下通過收購疊加自身優勢推出ARkit。而在ARkit推出之後,谷歌同樣選擇了發布ARCore,從某種程度上來講,可以理解為是對蘋果策略的認同。

從兩者AR的實現方式上看,相比於Tango,ARCore無疑更接近ARkit,兩者都是通過軟體的方式實現,而Tango主要通過特殊硬體模組實現,需要專門的視覺計算晶片、攝像頭、深度攝像頭和傳感器。

相較於需要諸多硬體加持的Tango,很明顯,無硬體要求的ARkit的門檻要低很多。就目前來看,ARkit是最大的AR平臺,據稱,蘋果商店AR應用軟體已超10000款。數量如此龐大,但為何除去當年風靡一時的《Pokeman Go》外,很多人對AR應用依然相對陌生?蘋果在移動端AR生態的布局仍處在初期階段。從內容層面來看僅使用ARkit製作的AR應用所能實現的AR效果主要基於算法,而不是硬體層面做出的真實探測,因此所能實現的效果始終受限。蘋果移動端想要提供更好的AR體驗,就需要更好的傳感器來作為「眼觀六路,耳聽八方」的硬性支撐。ARkit+LiDAR,蘋果移動端的AR生態開始進入下個階段早在2017年蘋果發布ARkit時,AWE聯合創始人同時也是Flyby(Flyby被蘋果收購用作ARkit的基礎研發)聯合創始人Ori就曾表示希望iPhone X能自帶可以廣泛普及AR的關鍵性硬體:後置深度攝像頭,而不是ARkit。他期望中的深度攝像頭能讓數千萬臺相機感知周圍環境形狀,能讓用戶創建豐富、精確的3D地圖並能夠與其他用戶在AR Cloud上進行分享。此次iPhone 12 Pro搭載的雷達掃描儀LiDAR正好契合了Ori所期待的後置深度攝像頭,即一個能進行主動交互、主動探測感知環境的硬體。蘋果在移動端的努力實際上已經過了幾年的沉澱,除了A系列晶片升級至A14外,蘋果iPhone X也開始啟用Face ID,並首次使用OLED全面屏,其屏幕設計儘可能朝「無邊無界」靠近。2018年,iPhone11開始使用超寬頻(UWB)技術。UWB技術被稱為MR未來的關鍵,能以大帶寬快速傳輸數據,能實現短距離精確定位。此前新一代寶馬將採用UWB3.0技術的新聞讓UWB被很多人知曉。

再到今年10月,蘋果搭載LiDAR並同時宣布支持5G,而5G對AR意義非凡。AR設備需集成高性能計算設備,因此即使蘋果手機在已擁有高性能、低功耗,適用於AR/VR設備的A13 Bionic 晶片的情況下,算力問題依然是困擾iPhone呈現最佳AR效果的一塊絆腳石。而手機搭載A14晶片並支持5G後,可通過高帶寬、低延遲的網絡將運算放到雲端,實現輕量化。一面是5G加速商用化落地的大背景,另一面是已經做足了算法準備的ARKit,這兩項技術的鋪墊似乎自然而然引出了LiDAR到來的合適時間。有了LiDAR的加持,蘋果手機除了拍攝效果的提升外,結合Pro級攝像頭、運動傳感器、iOS內的架構,其AR應用的表達效果無論是在視覺呈現上,還是與現實世界的交互上都會有大幅度提升。蘋果移動端的AR體驗也將進入下一個階段。廠商中為何只有蘋果選擇了LiDAR傳感器?蘋果如何將LiDAR集成至成像系統?對於普通消費者來說,似乎LiDAR更像是增強相機功能的一個輔助黑科技,但其實它是為AR而生。LiDAR作為探測器已存在多年,它與現在手機攝像頭多採用的ToF以及傳統雷達相似,都是基於雷達反射原理進行三維空間內的感知和測量。這三者的區別在於所發射的光束不同,LiDAR發射是紅外雷射,ToF發射的是紅外線,而傳統雷達發射的是電磁波,三種光束中LiDAR波長最短,在短距離範圍(蘋果對LiDAR的短距離範圍定義為5米)內所能實現的測量精度最高。

因此,LiDAR在雨雪天氣或是夜間攝像頭無法發揮作用時實用性很強,這項技術受到了自動駕駛、夜間城市拍攝系統的廣泛應用,這也是LiDAR為蘋果攝像效果帶來的好處之一。但如果只是單純想要提高拍攝效果,LiDAR對蘋果而言不一定就是最好選擇。iPhone 12 Pro出來後,很多網友拿華為P40 Pro與之進行對比。配備廣角、超寬、3倍遠攝、10倍遠攝以及ToF 五個後部傳感器的華為P40 Pro拍攝效果毫不遜色。從這裡也可以看出,蘋果選擇為iPhone搭載LiDAR並不只是攝像要求這麼簡單。而且LiDAR裝置價格相對昂貴,體型也並非像今天蘋果所搭載的那樣如此小型,可被直接集成到成像系統。蘋果想要在iPhone上實現搭載,需要將價格降到很低並且將尺寸縮得很小。因此在ToF能基本滿足目前智慧型手機所需的探測精度、距離等各方面需求時,即便LiDAR會帶來更優質的體驗,除蘋果外的手機廠商依然不約而同採用了ToF傳感器。蘋果其實在對LiDAR的應用與掌握上比一般廠商有優勢,因為其一直在研發的自動駕駛汽車所使用的主要傳感器便是LiDAR。即便如此,蘋果同樣要解決LiDAR高成本與難以小型化的問題。早期的LiDAR體型很大而且並非民用,其應用領域多為航天、遙感等大型設備與裝置。隨著固體光源的發展,其體型才有了逐步減小並被運用到直升機等裝置的機會。藉助雷射雷達高解析度的探測,飛行員可在顯示屏上直接看到場景、物體的形狀。

蘋果為了實現在iPhone上搭載LiDAR,據了解,採用了VCSEL雷射+SPAD探測器的技術組合,在使用半導體製造技術製造雷射器時選擇了由Lumentum製造的一系列垂直腔表面發射器(VCSEL)而非邊緣發射雷射器來發射光束,並採用一組單光子雪崩二極體(SPAD)傳感器來檢測返回的光束。VCSEL與SPAD都可利用常規半導體技術製造,並且均可被大量封裝在一個晶片上,兩者的組合大大簡化了傳統雷射雷達的設計。而且半導體隨著行業經濟體量的擴大價格越來越便宜,基於VCSEL的傳感器也越來越普遍,價格逐步走低。這也是蘋果能實現在iPhone上搭載LiDAR的重要原因。此外,蘋果搭載的LiDAR相較於專業雷射雷達公司製造,探測範圍可達200多米的高端傳感器,其性能還差得很遠,因此在技術上的難度已大大降低。正是這一系列條件的滿足,讓蘋果成功實現了在移動端搭載LiDAR。AR眼鏡被視為AR的終級載體,任何有關蘋果AR眼鏡Apple Glass的消息都極易激發大家的興趣。一款未被驗明真身的產品能有如此大的吸引力,也只有蘋果能做到了。

如果蘋果的AR眼鏡是蘋果AR生態的最終走向,那麼蘋果現有移動端的AR生態對AR眼鏡肯定有很強的基礎意義。陀螺君大膽猜測,如果蘋果的AR生態推行順利,其未來的AR眼鏡內容很多將來自蘋果移動端的適配。而蘋果在一項遭曝光的專利「具有低光操作的頭戴式顯示器」中表示,搭載LiDAR的頭顯設備能在黑暗環境中充當佩戴者的第三隻眼睛,因此大家普遍推測蘋果的AR眼鏡有可能會搭載LiDAR。我們不妨借蘋果現有幾款相對典型的AR應用一窺蘋果AR眼鏡未來可能的功能。1、3D掃描建模應用-《3d Scanner App™》《3d Scanner App™》被稱為蘋果未來布局AR的重要軟體,其適用於iPad Pro 2020、iPhone12 Pro、iPhone12 Pro Max。該應用藉助LiDAR,可針對無論是小型對象還是大型場景快速創建3D模型。3D建模原本屬專業級操作,但隨著AR應用逐步精簡化,開始向建模愛好者甚至是普通用戶過渡,比如正在介紹的《3d Scanner App™》。

該應用操作簡單,打開應用點擊掃描按鈕便可對場景進行快速建模,初步掃描後可通過「Colorize(著色)」功能為無實景顏色的模型添加貼圖,將模型還原成所掃描的場景。模型呈現效果解析度雖然不夠高,呈油畫質感。但與價格昂貴的3D掃描機器相比,僅使用行動裝置能夠快速建模並還原場景雛形,效果已非常不錯。陀螺君使用《3d Scanner App™》分別對人和物做了實測,操作起來確實方便,而且掃描過程流暢,中間無卡頓。但是,掃描完成後,如果掃描對象複雜度稍微偏高,尤其是選擇高精度測量時,其等待時間容易讓人懷疑人生。仔細掃描與粗糙掃描之後得出的效果差別較大,掃描對象的複雜程度對掃描結果也會產生直接影響,粗糙掃描得出來的模型畫質感人。掃描外觀整齊度高、複雜程度低、不透光的對象,比如牆壁、地板.或者垃圾桶,雖然依然是油畫畫質,但測量精度與還原度都不錯。可以看到下圖中的垃圾桶尺寸精度與色彩還原度都非常高。

與之形成鮮明對比的是陀螺君對盆景、座機進行的掃描,座機的細節基本掃描不出來,模型完全是火災過後的畫風。

而盆景由於實物細節更加豐富,交疊的樹葉基本處於處處透光的狀態,在陀螺君未進行非常精細掃描的前提下,掃描出來的效果與抱枕、垃圾桶相比差別較大。《3d Scanner App™》掃描人的效果比想像中好,雖然掃描不夠精細,人物模型也儼然一副沒有靈魂的奇怪樣子,但頭髮的發色過渡、衣服的紋理、材質等細節還原度非常高。從大小比例上來看,也能與真實人物保持一致。通過視頻,我們還可以看到將真實人物與3D模型放在同一個空間時,兩者之間有明顯的遮擋關係,當人物走到模型前面時,雖然會有穿模現象,但模型明顯被遮擋。這樣的交互便是歸功於LiDAR帶來的深度信息理解。陀螺君還試過掃描光澤度較好的小型金屬物品,金屬質地反光較為嚴重,掃描出的模型能看出是金屬但細節嚴重缺失。整體來看,《3d Scanner App™》在LiDAR的加持下確實實現了速度更快、精度更高的掃描與建模,雖然建模效果在解析度與細節上與專業建模有一定差距。但未來精度提高後,如果能達到理想狀態,用戶配戴AR眼鏡有可能實現將任何現實場景建模,並製作出屬於自己的小型孿生世界,如果再結合成熟的3D列印,未來有可能實現一定程度上的「萬物克隆」。《3d Scanner App™》比照片與視頻的還原度更高,完全是一種新的記錄方式。而且《3d Scanner App™》與3D建模網站SketchFab建立直接聯繫,且針對文件格式、分享、查看方式等細節做了處理。因此對用戶而言,從掃描建模到編輯渲染再到分享,線路完整,未來完全有可能成為建模愛好者或者普通用戶的社區集中地。陀螺君覺得未來可能出現類似Facebook、Twitter、朋友圈具備分享功能的3D建模爆款應用,用戶遇到想建模的任何對象,用AR眼鏡即可掃描建模上傳並與朋友分享。2、AR遊戲《Angry Birds AR: Isle of Pigs》AR遊戲是AR應用的重要方向之一,《Angry Birds AR: Isle of Pigs》是2019年基於原Angry Birds IP開發的AR版,該版本使用ARKit開發,增加了增強現實元素。AR版在遊戲開始前啟用攝像頭對現實環境進行掃描,以實現環境與遊戲的融合。玩家在現實環境選定的範圍內搭建3D遊戲建築,在進行彈射時,可通過在現實世界中移動身體位置來尋找最佳射擊角度。人體在進行移動時,菜單也會隨著玩家移動以保證方向正對著玩家。陀螺君試玩後發現,與未搭載LiDAR的版本相比,新版本的《Angry Birds AR: Isle of Pigs》遊戲場景對於具備深度信息的真實場景做出的反應並不相同。從光影效果角度,視頻中我們可以看到,與之前版本無形狀的模糊陰影相比,搭載LiDAR後的版本,遊戲畫面中無論是建築、彈弓還是植物,其陰影輪廓與邊界都很清晰。浮在空中的氣球從手機端看,幾乎完全與真實背景融為一體,看不出是虛擬物體,非常真實。

將畫面放大,畫質依然非常清晰,無論是建築還是動植物,其細節呈現效果上佳。搭建的虛擬建築與地面的穩合度非常高,很真實,幾乎完全沒有浮在表面的現象,而且穩定性好,即使陀螺君搖晃手機也沒有出現肉眼可見的漂移或是其他不穩定的情況。從這些變化中,我們可以看到ARkit在與LiDAR結合後,AR遊戲的交互擬真度進一步提升,其原因就在於LiDAR所具備的深度空間掃描和感知能力。隨著蘋果手機性能的繼續迭代,將擁有比A14晶片更加強大的AI算力,未來的AR遊戲可能會識別出真實的物體,比如桌面上放的是杯子還是手機,從而觸發一些虛擬與真實物體的交互。強交互往往意味著設備中要集成大量的傳感器,以現階段的VR頭顯為例,想要實現6DOF的交互,就一定要集成深度攝像頭,想要輕薄,就只能用超短焦的方案,設備也就只能主打觀影。所有廠商都在性能、易用性和可落地性方面尋求著一種平衡。而對於蘋果來說,打頭陣的A系列晶片可以在AI算法層面為手機提供很多的AR功能呈現,這就體現在ARKit上,它不佔用硬體體積、對消費者而言甚至沒有成本。而後來LiDAR的使用,是為進一步增強ARKit的性能而出現的——蘋果的思路是用輕量級的軟體、算法裝備硬體,從而讓蘋果設備實現了在嚴格把控成本、設備迭代跨度的情況下一步步賦予蘋果設備越來越強的AR性能。無疑,未來蘋果的AR生態會一直走算法服務硬體的路子,這也助力蘋果打造出比同行業輕薄許多的AR硬體產品來。因此蘋果製造出極度接近眼鏡形態,與目前行業內臃腫的AR眼鏡形態相區別的產品是有可能實現的。目前來看,不僅僅是ARkit,蘋果還推出了RealityKit、Reality Composer、Xcode、AR Quick Look等工具,讓其移動端的AR生態布局在軟體、算法層面的完善度不斷增加。對蘋果而言,現在最缺乏的是好的軟體內容用以吸引用戶適應AR的存在,而蘋果搭載LiDAR的意義正在於此。陀螺君認為,蘋果AR生態未來能實現的理想狀態是將手機移動端用戶遷移至AR眼鏡。當AR眼鏡推出時,其將擁有替代並且超越手機的基礎功能,而手機移動端也已培養出成熟的AR軟體開發者、融入用戶生活的殺手級應用,以及對AR高接受度的用戶。以蘋果移動端龐大的用戶基數、所積累的軟體基礎,以及與安卓截然不同、高度統一的封閉式生態,如果蘋果能夠成功,那麼蘋果AR眼鏡的推出必將會帶來新的浪潮。一文覽盡LiDAR點雲目標檢測方法

計算機視覺

導讀 /

自動駕駛中的雷射雷達點雲如何做特徵表達,將基於Lidar的目標檢測方法分成了4類,即:基於BEV的目標檢測方法,基於camera/range view的目標檢測方法,基於point-wise feature的目標檢測方法,基於融合特徵的目標檢測方法。本文對這4類方法講解並總結,希望能幫助大家在實際使用中做出快速選擇。基於lidar的目標檢測方法可以分成3個部分:lidar representation,network backbone,detection head,如下圖所示。根據lidar不同的特徵表達方式,可以將目標檢測方法分成以下4種:基於BEV(bird’s eye view)的目標檢測方法,基於camera view的目標檢測方法,基於point-wise feature的目標檢測方法,基於融合特徵的目標檢測方法。如下圖所示。

基於BEV的目標檢測方法

基於bev的目標檢測方法顧名思義是使用bev作為點雲特徵的表達,其檢測流程如下圖所示,包括3個部分:bev generator,network backbone, detection head。下面詳細介紹一下這3個部分如何在基於bev的目標檢測方法中發揮作用。BEV圖由雷射雷達點雲在XY坐標平面離散化後投影得到,其中需要人為規定離散化時的解析度,即點雲空間多大的長方體範圍(Δl*Δw*Δh)對應離散化後的圖像的一個像素點(或一組特徵向量),如點雲20cm*20cm*Δh的長方體空間,對應離散化後的圖像的一個像素點。在bev generator中,需要根據Δl*Δw*Δh來生成最後L*W*H大小的bev特徵圖,該特徵圖是network backbone特徵提取網絡的輸入,因此該特徵圖的大小對整個網絡的效率影響很大,如pointpillar通過對voxelnet中bev generator的優化,整個網絡效率提高了7ms。網絡結構的設計需要兼顧性能和效果,一般都是在現有比較大且性能比較好的網絡結構基礎上進行修改。以voxelnet和pointpillar為例,pointpillar以voxelnet為原型,不改變原流程的基礎上,對voxelnet設計做了以下一些修改,使網絡效率提高了10多倍,具體如下: voxelnet使用stacked vfe layer,在代碼中使用了2個vfe layer,如下圖所示。pointpillars簡化了voxel表達形式,變成pillar,提高了數據生成效率,並且只使用了一個vfe layer,減少了2ms,如下圖所示。輸入特徵圖的channel數從128減少為64,網絡耗時減少2.5ms
網絡主結構所有層channel數減半,網絡耗時減少4.5msUpsampling的channel數從256減少到128,減輕detection head,網絡耗時減少3.9msPointpillar[2]在保證網絡性能提升的前提下,逐步提高網絡效率,從不同角度優化網絡流程,最後使網絡效率提高10倍有餘。detection head包括兩個任務,即:目標分類與目標定位,由於bev將點雲用圖像的形式呈現,同時保留了障礙物在三維世界的空間關係,因此基於bev的目標檢測方法可以和圖像目標檢測方法類比:目標分類任務與圖像目標檢測方法中目標分類任務沒有差別;而目標定位任務可以直接回歸目標的真實信息,但與圖像目標檢測方法中目標定位任務不同,該任務需要給出旋轉框。與圖像目標檢測方法相同,基於bev的目標檢測方法的detection head也分成anchor base的方法和anchor free的方法。以voxelnet為例,需要人為設定anchor的大小,由於bev可以直接回歸真實的目標大小,因此anchor也可以根據真實目標大小設定,如:以下單位為米,l、w、h分別表示anchor的長、寬、高,對於車來說anchor大小可以設定為la = 3.9,wa = 1.6,ha = 1.56,對於人la = 0.8,wa = 0.6,ha = 1.73,對於騎行者la =1.76,wa = 0.6,ha = 1.73,且對於每種anchor,設置了θa=0°和90°兩種角度。由於目標有各種角度,因此為了得到更準確的角度回歸,anchor的角度設置可以在[0°,180°)進行等間隔採樣,獲得更多不同角度的anchor,提高回歸精度。回歸誤差的計算如下圖所示。典型代表是pixor,對於bbox的回歸,如下圖所示,對於正樣本的紅點p(x,y),需要回歸如下信息:{cos(θ), sin(θ), dx, dy, w, l},其中θ為障礙物偏角,dx、dy分別為p點相對障礙物中心點的偏移,w、l是障礙物大小的表達。沒有anchor,對目標的回歸是不是簡單了很多。以上為基於bev的目標檢測方法的簡單介紹,該方法在目前的自動駕駛的3D目標檢測方案中應用較廣。

基於camera/range view的目標檢測方法

基於cameraview的目標檢測方法顧名思義是使用camera view作為點雲特徵的表達,檢測流程如下圖所示,下面詳細介紹一下這3個部分如何在基於camera view的目標檢測方法中發揮作用。camera view圖是將每圈雷射線拉成直線再按行累積而成,因此也稱為range view,其中投影圖的高為雷射線數,寬為lidar掃描一圈的點數,如: 64線雷射雷達,水平角解析度為0.2°,生成的camera view的圖大小為64*1800。camera view相對bev圖小很多,因此基於camera  view的方法效率都較高。camera view效果如下圖。網絡結構的設計要依據任務需求,基於camera view的目標檢測方法,多是以分割任務為主,因此網絡結構大都是encode+decode結構,如下圖1所示。因此有關提高分割效果的網絡 設計思想都可以在此使用,如圖2中使用不同大小的dilation rate的卷積獲得不同感受野的特徵表達,如圖3使用global attention增加上下文信息。更多分割增強模塊,在後面會專門寫一篇文章介紹。基於camera view的目標檢測方法有兩種輸出方式表達,一種是純分割區域,另一種是分割與檢測框。純分割的輸出是基於camera view的模型最直接、最好的一種輸出。在原始3D點雲中,尤其是遠處的點,點與點之間的距離都較遠,如bev投影圖,造成點特徵提取時很難融入上下文信息。而camera view投影圖將點雲中的點聚攏,每個點都可以很方便的獲得更大範圍的上下文信息,這種投影方式更適合分割任務。如在SqueezeSeg和PointSeg兩篇文章中,都直接將分割作為最終任務目標,但是為了得到更好的聯通區域,需要增加較多的後處理。如在SqueezeSeg,在模型輸出後又增加了crf提高分割效果。在PointSeg中,使用RANSAC將異常點剔除,如下圖,第一行為模型輸入,第二行為模型直接的預測輸出,第三行為將模型輸出的camera view圖反投影得到的點雲圖,第四行為經過ransac後再反投影得到的點雲圖,對比第三行和第四行對應的圖可以看出,ransac有效的抑制很多離目標較遠的點。分割任務對於基於camera view的模型相對簡單,但是檢測框的回歸併不容易。camera view投影圖增加了點雲中點的上下文信息,但也將原本在3D空間分離的目標拉近,引入了遮擋與目標尺度變化,然而點雲投影圖又不像真實的圖像那樣有很豐富的紋理信息,造成了camera view圖像很難做實例分割與目標框回歸,因此,檢測框的回歸需要增加一些額外操作來實現。在lasernet中,對於目標框中的點(x,y)需要回歸6個信息,如上圖所示,Box Parameters為6,包括:該點相對中心點的偏移(dx,dy), 相對旋轉角度 (ωx,ωy) = (cosω,sinω),以及框大小 (l,w),從而可以通過下述公式計算得到真正的目標框中心點bc以及旋轉角φ,其中θ為該點在點雲中的方位角,Rθ為以θ為旋轉角的旋轉矩陣。另外,由於對每個點的預測存在噪聲,而後又在bev投影圖中使用mean shift聚類方法得到更準確的目標框。由於3D點雲在做camera view投影的時候丟失了原來的3D結構信息,引入了圖像中的尺度變化和遮擋兩個問題,因此少有方法直接在這種模式下作3D目標檢測,一般需要在網絡輸出基礎上做比較多的後處理。但是camera view的表達模式,極大的增加了遠處點雲的上下文信息,也是一種極好的提高點雲特徵表達能力的方式。

基於point-wise feature的目標檢測方法我們從如下圖所示的3個部分(lidar representation,network backbone,detection head),來介紹一下point-wise方法。其中lidar represention部分是直接使用點雲做輸入,即n*4的點集,不做單獨介紹,下面重點介紹一下其他兩個部分。提取點特徵一般有兩種方式:基於pointnet/pointnet++的點特徵、voxel特徵。如圖1:在STD中,組合了兩種方式。如圖2,在PointRcnn中,僅使用了pointnet++提取點特徵在使用pointnet++[11]提取特徵時,包含兩個重要模塊,即set abstraction(即,SA)和feature propagation(即,FP),如下圖3所示其中SA是特徵encoder過程,通過點雲篩選與特徵提取逐步減少點雲點數,提高特徵表達能力與感受,FP是特徵decoder過程,通過點雲上採樣,獲得稠密的點雲表達,並級聯SA過程的特徵,提高最終的點雲特徵表達能力。在3DSSD中,為了提高模型效率,去掉了耗時比較嚴重的FP模塊,由於SA過程只篩選了一部分點做特徵表達,對目標檢測的召回影響很大,尤其對點雲比較稀疏的遠處的目標,影響更大,因此3DSSD在D-FPS的基礎上,提出了F-FPS,即通過點的語義信息來做點的篩選,保留更多的正樣本的點,保證最終的目標召回率。detection head除了完成目標分類與目標定位的任務,在two-stage detector中,還需要實現roi pooling,為第二階段提供實例級別的特徵,點雲的特徵表達還是有些差別的。對於目標定位的任務,同樣有anchor-base方法和anchor-free方法。在STD中,為應對有旋轉角的box回歸,提出了球形anchor,由於anchor沒有角度的變化,直接將anchor數量減少50%,提高了計算效率。其他方法大都是anchor-free的方法,關於anchor-free的方法,推薦讀一下kaiming大神的voteNet,比較好理解。關於roi pooling,一般是針對單個目標,再次提取更豐富、更具表達能力的特徵,因此在不同論文中,根據實例提取特徵方式的不同,提出了不同的roi pooling方法,如在STD中,提出了PointsPool,在Part aware and aggregation中,提出了Roi aware Point Cloud Pooling,在pv-rcnn中提出了Roi grid Pooling。下面分別介紹一下。特徵提取:在proposal中隨機篩選N個點,1)獲得第一階段的點特徵;2)獲得N個點的坐標,並用如下圖5所示的canonical transformation得到與原坐標系無關的坐標特徵。兩種特徵聯合在一起,作為proposal中點的特徵表達Voxel表達:將不同大小的proposal,通過voxel統一化到相同大小:dl = 6,dw = 6,dh = 6圖5 canonical transformationRoi aware Point Cloud Pooling整體流程如下圖6所示,與STD中的pooling方法類似,首先將proposal分割成固定大小的voxel,如14×14×14,然後再提取voxel特徵表達:RoIAwareMaxPool:使用的是第一階段輸出的point-wise semantic part feature,在voxel中計算max poolingRoIAwareAvgPool:使用的是proposal中經過canonical transformation點坐標特徵和segmentation score,在voxel中計算avg pooling最後將兩組特徵聯合作為proposal的pooling特徵。圖6 Roi aware Point Cloud Pooling與上面兩種pooling方法不同的是,並沒有將proposal通過voxel得到固定大小的特徵圖,而是根據pv-rcnn中提出的key point信息,將proposal用6*6*6=216個grid points表達,grid points是從proposal中的key points均勻採樣獲得,且RoI-grid point features提取過程和key point feature提取過程是相似的。簡單來說就是以grid point為中心,r為半徑的區域內提取不同尺度、不同感受野的特徵,最後在使用2層的MLP網絡獲得最終的特徵表達,如圖7所示。圖7 Roi grid point feature extraction目前基於point-wise feature的目標檢測方法還處於研究階段,效率無法保證,精度還未在真實自動駕駛車上測試,但由於該方法直接從點雲提取特徵,極大的保留了點雲的原始信息,比較有潛力得到更好的效果。Waymo在2020年初的文章「End-to-End Multi-View Fusionfor 3D Object Detection in LiDAR Point Clouds」使用了融合特徵的方式,得到了不錯的結果。下面詳細介紹一下。我們從如圖1所示的3個部分(lidar representation,network backbone,detection head),來介紹一下融合特徵的目標檢測方法。文中主要和pointpillar做了對比,為了證明融合特徵的有效性,在network backbone和detection head兩部分的設計上保持了與pointpillars的一致性,這裡不做單獨介紹,下面重點介紹lidar representation,即如何獲得融合特徵。圖2 multi-view feature fusion的流程圖3 dynamic voxelization計算流程
如圖2所示為multi-view feature fusion的流程,融合了3部分特徵:bev feature(如圖中綠色部分)、camera/range view feature(如圖中黃色部分)、point-wise feature(如圖中藍色部分)。具體流程如下:對於原始點雲,使用一個全連接層,獲得point-wise feature。在point-wise feature的基礎上,提取bev feature。提出了使用動態voxel(dynamic voxelization,DV)的方式獲得bev圖,計算過程如圖3所示,相對傳統的voxel(Hard voxelization,HV),有3個好處,1)DV保留了voxel中的所有點,HV使用隨機採樣的方法選取固定的點數,有可能會丟失重要信息,如圖3中v1的計算;2)HV中每個voxel中選擇固定的點數,且對整個點雲選擇固定的voxel數量,因此會隨機丟棄點甚至整個voxel,這種方式可能導致不穩定的檢測結果,如圖3中v2在HV中被丟棄;3)HV對於點數少於固定值的voxel使用0填充,這樣會造成額外的計算,如圖3中v2~v4。最後對於點雲的每一個點,使用公式(1)獲得點與voxel的投影關係,其中pi表示點雲坐標,vj表示voxel,FV表示點到voxel的投影關係。對於camera view,同樣可以使用公式(1)計算得到,而camera view的投影計算bev圖和camera view圖經過一個cnn後,獲得相應的bev feature與camera view feature,再使用公式(2)(其中,FP表示voxel feature到點雲的投影關係,是FV的逆)逆投影獲得不同view的點特徵的表達,最後與point-wise feature融合得到最終的點特徵表達。(1)(2)在實驗中,作者為了證明融合特徵較強的表達能力,network backbone與detection head使用了與pointpillar相同的參數,並在waymo公開的資料庫與kitti上做了實驗。僅分析一下waymo公開資料庫的結果,如圖4中的table1和table 2。從結果可以看出,使用DV替換HV,使整體結果提高2個多點,再增加point-wise feature後,車輛檢測結果再提高3個多點,行人檢測結果再提高4個,說明voxel中的每個點對voxel特徵表達都重要,不能隨機丟棄,更不能隨機丟棄整個voxel,更精細的特徵對小尺度的目標表達有幫助。耗時方面,由於mvf使用了與兩種方法相同的網絡配置,而又增加了新的特徵表達,整體耗時高了20多ms,如果再對網絡做一些優化,這種融合的方法對結果的提升意義很大。通過對整個檢測流程的分析,將目標檢測流程分成如下3個部分,如圖2所示。並針對不同的目標檢測方法,從這3個部分進行了詳細的分析。lidar representation:雷射雷達點雲的特徵表達,包括bev圖、camera/range view圖、point-wise feature、融合特徵。network backbone:用於特徵提取的主體結構,可以為resnet,vgg等,也包括增強特徵的方式,如fpndetection head:檢測網絡輸出,包括目標的類別、位置、大小和姿態,以及速度預測等,對於two-stage detector來說,roi pooling也是很重要的一個環節。其實,在實際應用中,無論對於哪一種基於lidar的目標檢測方法來說,我們評價其好壞,需要看精度與耗時之間的平衡。根據不同算法在kitti的bird’s eye view任務下公布的結果,將部分基於lidar的目標檢測方法的moderate精度和latency總結如表1,並根據方法所屬的不同類別畫出分布圖,如圖3所示,橫坐標表示算法耗時,單位ms,縱坐標表示算法在車輛檢測任務中moderate精度,其中藍點表示基於point-wise feature的目標檢測方法,橙點表示基於BEV的目標檢測方法,灰點表示基於camera view的目標檢測方法。從圖3,我們可以看出基於point-wise feature的目標檢測方法精度最高,而且耗時有逐步減小的趨勢,但是整體耗時依舊比其他兩種方法高,其中耗時最低的是基於camera-view的目標檢測方法,即LaserNet,僅有12ms,但是精度相對較最低;基於bev的目標檢測方法在精度與耗時之間做了比較好的平衡,因此,在實際自動駕駛應用中,基於bev的目標檢測方法應用最多。之前在介紹基於point-wise feature的目標檢測方法中說過,該方法潛力較大,其實從圖3中也可以看出。如果從效率上可以優化一下,在實際應用的可能性也會變大。這個圖僅是不同方法在車輛檢測子任務上的效果,其實,相同的方法在自行車和人的檢測任務中精度排名差別很大,如PV-RCNN在車輛檢測中排名第2,在行人和自行車檢測任務中分別滑到第6和第4;STD在車輛檢測中排名第5,在行人和自行車檢測任務中分別滑到第20和第13,如果基於point-wise feature的目標檢測方法可以在不同任務間依然能保持精度優勢,那麼其落地的可能性又會增大很多。總之,我們需要從耗時、不同任務間精度平衡來評估算法的落地難易程度,但是對於有潛力的算法,我們更需要持續的投入,以期待解決未來更複雜的實際問題。傳iPhone 13全系機型支持雷射雷達掃描儀

轉載| 青亭網| 松鼠|

青亭網( ID:qingtinwang )--連結科技前沿,服務商業創新

根據 DigiTimes 消息,蘋果計劃在 2021 年發布的所有 iPhone 13 型號中增加雷射雷達掃描儀功能。蘋果在 2020 年 3 月推出的 iPad Pro 上,首次應用雷射雷達掃描儀。隨後,在去年發布的 iPhone 12 Pro 和 iPhone 12 Pro Max 上配備了雷射雷達掃描儀。

雷射雷達掃描儀,可測量雷射觸及物體後反射回來所用的時間,這樣就能繪製出所處空間的深度圖。通常情況下,蘋果會首先在高端設備上應用新技術,隨後下放至低端設備,比如 OLED 屏幕僅限於 iPhone 11 Pro 和 iPhone 11 Pro Max,iPhone 11 採用的是 LCD 屏幕。不過在 iPhone 12 產品線中,已經全部升級至 OLED 屏幕。

蘋果將於今年 9 月發布 iPhone 13 系列,與 iPhone 12 相同,可能會有四種型號,三種尺寸。分別是 5.4 英寸 iPhone 13 mini,6.1 英寸 iPhone 13 和 iPhone 13 Pro 以及 6.7 英寸 iPhone 13 Pro Max。

來源:MacX

華為的雷射雷達會顛覆行業麼?

全球風口丨 你的全球科技前哨偵察兵

2020年12月21日,華為發布了96線車規級雷射雷達,北汽新能源品牌極狐 ARCFOX的新款產品HBT車型,將成為全球首個搭載華為雷射雷達的車型,搭載3顆96線雷射雷達。

華為的雷射雷達定位為中距雷射雷達,最遠可達到150米的探測距離,其水平視野可達到FOV120度視角。

此前,華為智能汽車解決方案BU總裁王軍表示,華為在武漢有一個光電技術研究中心,總計1萬多人,正在研發雷射雷達技術,目標是迅速開發出100線雷射雷達,並且未來計劃將雷射雷達的成本降低至200美元,甚至是100美元。

在【前哨科技特訓營】課程裡,我們預測過,2021年雷射雷達會成為新風口!

2020年9月30日自動駕駛雷射雷達行業的領頭羊Velodyne實現借殼上市,成為了全球雷射雷達第一股。2020年12月,Luminar、Innoviz雷射雷達公司腳跟腳上市,資本開始追逐未來的無人駕駛汽車產業的明星公司。

根據Yole Developpement預測,2019-2025年全球雷射雷達行業年複合增長率約為28%。前瞻預計,中國2020-2025年雷射雷達行業的年複合增長率約為30%左右,到2025年,市場規模有望突破900億元。

Velodyne是目前全球銷售規模最大的雷射雷達公司,2020年預計銷售額1億美元,2024年預計銷售6.8億美元。但是Velodyne在汽車主機廠業務訂單方面沒什麼太大起色,雖然研發出了128線雷射雷達,但過高的成本以及在其他低成本雷射雷達方面沒什麼突破,難以獲得更多投資人的關注。

我們在12月20日的文章中介紹過雷射新銳Luminar,很有可能後來者居上,佔據更大的市場份額。(文章連結:萬萬沒想到!馬斯克diss的雷射雷達要成為新風口)

Luminar正在與大眾、福特等13 家車企合作,合同價值達 15 億美元,首款量產雷射雷達產品將安裝於沃爾沃汽車。Luminar不僅可以通過出售雷射雷達硬體來獲取收益,同時也出售整套ADAS解決方案以及在高速公路等有限場景實現L4級無人駕駛。例如沃爾沃與Luminar合作,即將在下一代推出的SPA II平臺上搭載具有高速公路上L4級別的無人駕駛技術。

還有其他雷射雷達公司,例如Aeva和大眾合作,不僅是奧迪e-tron的雷射雷達供應商,其產品也會被應用到ID平臺未來的車型上。Innoviz推出了第二代產品,成本相較於第一代下降70%,將於2021年在寶馬量產車型中批量應用。

中國的雷射雷達領域,也有不少公司布局。其中以禾塞、速騰為代表的國內雷射雷達公司們正在侵蝕Velodyne的中國市場。國內雷射雷達公司正在不斷努力,推出低成本解決方案,但是在和全球主機廠的合作中,沒有拿到太多全球知名車企未來量產的訂單。

|那麼,華為此時發布雷射雷達對產業有什麼影響呢?它的雷射雷達兩年內能否降到100美金?

首先從技術上看:

和Luminar相比,華為的Lidar為96線,Luminar是300線;在探測距離上,華為150米,Luminar是250米。最關鍵的是,華為1550nm雷射雷達的高性能銦鎵砷接收器成本問題,還沒有得到完全的解決。

如果是以前的華為,可能不會這麼著急推出雷射雷達,現在的華為特別需要有新的產業支撐點,手機原來是一個大的支撐點,可是受到了產業鏈上晶片斷供的壓力,成長壓力很大,前不久還把榮耀手機給出售了。目前來看,此時推出雷射雷達,應該是企業內部需求決定,不是由產業時點決定的。

從產業角度看,電動汽車慢慢進入到相對成熟期了,但是雷射雷達正是處於產業初期階段。

雷射雷達現在還是產業初期,這意味著什麼?

就是說,如果是剛殺進來這個產業,要達到別人相同性能,兩年內大幅降低成本的可能性不大。這種大幅度降低價格的情況,往往在產業發展的後期比較容易實現。

由此來看,華為兩年內實現100美元價格的雷射雷達概率並不大。另外,雖然華為的雷射雷會對Luminar、禾賽的市場有一定擠壓,但這種擠壓是良性的,到最後大概率還是讓領先者變得更領先。

也許華為再忍一忍效果會更好,等產業更成熟做的更大一點。現在整個雷射雷達的市場還沒有起來,成本和價格的降低主要是看訂單量,訂單量足夠大,價格才能足夠便宜。即使是100萬輛車的訂單,一臺雷射雷達賣100美元,就算一輛車裝4臺,總計才4億美元,對華為來說不算什麼。

更重要的是,現在哪個車廠一年能銷售100萬輛裝了雷射雷達的車呢?銷量最多的電動車特斯拉,目前還不裝雷射雷達,願意裝雷射雷達的電動車,一年最多能有10萬銷量。所以華為此時發布雷射雷達,估計是主要因為內部壓力太大,不是因為市場成熟和時機合適。

華為: 除了不造車,我們什麼都做

2019年5月,任正非親自籤發了組織變動文件,華為智能汽車解決方案 BU 宣告成立。BU的五大產品部包括:智能駕駛產品部、智能座艙產品部、智能網聯產品部、智能電動產品部和智能車雲產品部。

可以說,華為拓展汽車業務版圖是早有布局和下定決心的,不過華為做智能汽車業務,只是一家新興的電動汽車零部件供應商。

為了順應智能電動車的未來趨勢,傳統車企需要革新已經使用多年的分散式電子電氣架構,對應的供應商、物料、工程方面等全部都要改變,這意味著華為與車企合作,需要很長的磨合時間,並且必須在這段時間中取得技術認同,這裡面會有不少挑戰。

電動車+自動駕駛+車聯網,帶來了汽車產業變革的大潮,行業正在重新洗牌,傳統的Tier1正在被顛覆,越來越多的科技公司會進入這個領域,華為能不能打破國際零部件巨頭和網際網路企業的技術封鎖,進入這個新的領域?讓我們持續跟蹤,拭目以待!

最後,你怎麼看未來的全球雷射雷達市場?歡迎留言和我們互動。

免責聲明:本文來自騰訊新聞客戶端自媒體,不代表騰訊網的觀點和立場。

一篇文章,讀懂專網通信的歷史與現在

C114通信網

筆者在罈子裡潛水多年,看到了很多令人叫絕的優秀文章,尤其是那些描述個人工作經驗的帖子,讓我受益匪淺。作為一個工作近十年的通信人,我也想把我工作中總結出來的一些東西分享給各位朋友,但苦於沒有什麼思路,也擔心自己這不入流的文筆會被拍磚致死,所以一直沒有動筆。最近由於工作變動,正好有了閒暇,於是就拋磚引玉,介紹一下我所從事的行業還有我的一點不成熟的心得。與論壇裡大部分同仁不一樣的是,筆者很少和運營商打交道,我從事的是專用無線這個比較小眾的方向。我也曾在論壇裡看到許多有關專用無線的帖子,但都熱不起來,早早的沉掉了,一些求助的帖子往往連幫忙蓋樓的都沒有。另外,由於對這個行業缺乏了解,很多朋友都在用公網的眼光看待專網問題,嚴重的甚至會戴著有色眼鏡大加批駁。筆者希望通過我這篇不成熟的文章,儘量全面公正的介紹一下在大部分人眼中低調、神秘、甚至沒用的專用無線,希望能對大家有所幫助。由於筆者畢竟能力有限,難免會出現疏漏,也請各位朋友批評補充。

在很多人眼中,專用無線是一個低調、神秘、小眾的領域,很多人甚至根本沒有聽說過。一提到無線技術,我們首先想到的就是我們手中的手機和經常被拉出來痛罵的三大運營商。那麼什麼是專用無線呢?

簡單來說,專用無線技術就是為專業用戶提供無線通信服務的技術。在我們的圈子裡,一般稱之為專網,這也是為了和運營商的網絡也就是公網進行區分。當然,專網的含義很廣,並不僅限於無線網絡,只是在這裡,筆者為了偷懶就用了這個業內習慣用語。

專用無線面向的用戶包括軍隊、政府、警察、鐵路、地鐵、電力、石化、機場、港口、礦山、水利等等不同的行業用戶,也就是說,專用無線一般不是給老百姓平時用的。專用無線網絡承載的業務一般都涉及安全,因此建設這些網絡並不以盈利為主要目的,保證業務安全保密和網絡穩定可靠才是專用無線網追求的主要目標。

專用無線網的業務包括語音和數據。除去專用的數據網,其他專網都是以語音業務為主,即使能夠在網絡中同時傳輸語音和數據,語音的優先級也是最高的,而且在未來相當長的時間裡,這個局面也不會改變。有朋友會說,現在移動網際網路發展如此迅猛,運營商都難逃管道的命運,憑什麼專網還是以語音為主?其實這也是專網的用戶對呼叫(請注意,這裡的呼叫包括了語音呼叫和數據呼叫)快捷性的要求決定的。

請各位試想一下,是你敲字快還是按下PTT直接說話快?答案顯而易見。在語音業務中,又以一呼百應的組呼業務為最重要的業務,組呼建立時間也成為衡量一個專用無線技術最重要的指標之一。當然,由於技術進步,系統吞吐量不斷提高,專網的數據業務重要性也在不斷提升,只不過在實際應用中,專網更多是被用來進行調度指揮,語音的重要性仍然無法撼動。

由於對安全性、可靠性、穩定性的要求很高,專網技術並不像很多人想像的那麼先進。在我們對4G技術已經司空見慣的時代,LTE在專網中仍然是一個新兵,數字窄帶技術仍在大規模建設使用,很多地方甚至還在用著模擬技術。但是落後並不意味著不好用,很多用戶出於成本和使用習慣,對新技術並不青睞。當然,這也和我國對專用無線缺乏足夠重視有很大關係,我們會在後面的章節對這個問題進行討論。

和很多人想的不同,專用無線的起源很早,甚至比公網還要早。下面我就簡單講講專用無線技術的發展史。

專用無線的發展非常早,可以說,無線技術一出現,專用無線就隨之而來了。

在專用無線的用戶中,軍隊無疑是個大頭頭,這也是最早使用專用無線的用戶。畢竟,無線技術的出現對軍事通信技術起到了革命性的作用。當然現在,軍用無線技術已經成為另一個專業的技術方向,而且牽扯到保密的問題,我們這裡只是簡單說說。

最早的軍用無線技術無疑是滴滴答答的電報,我們在戰爭劇諜戰劇裡看到的那些驚心動魄的情節無疑就是對這種技術的最好註腳。但是電報這玩意很麻煩,要通信還得預先約好時間,找個條件較好的地方,然後架電源(要考慮到當時的供電條件之差,野外更是困難),架天線(電報一般都是短波以上,要是長波,那得哭死),人工編解碼(是的,你沒看錯,電報應該屬於數字通信喲),滴滴答答的按……這還真是個大工程。



二戰的時候,MOTOROLA搞出了可攜式的無線電話,大的幾十斤,一個人就能背走,小的掛背包旁邊就OK,端的是小巧玲瓏。雖然通信距離短了些,但是架不住方便呀,更何況,語音呼叫省掉了麻煩的人工編解碼過程,效率也大大提高。於是乎,我們經常能在美軍二戰片裡見到一個大兵抱著個有兩個大哥大體積的無線電話狂叫火力支援的鏡頭。後來國民政府也引進了些,只不過很多成了解放軍的補給。建國後,我們國家借鑑了蘇聯和美國的技術,也能夠自行設計生產這樣的無線電話,只不過在我們心裡,這些無線電話機有一個更響亮的名字——步話機。《英雄兒女》中王成背著步話機大喊「向我開炮!」的鏡頭影響了幾代中國人。

但是老式的步話機保密性很差,這也是模擬技術的通病。據說對越自衛反擊戰的時候,由於越南軍隊使用的電臺很多都是中國支援的,我方的無線通話經常被竊聽導致嚴重的洩密,後來特意找了一群溫州通信兵,用溫州話通話才達到了保密的效果。雖然這個故事未必是真實的,但仍然顯示出模擬步話機應該被淘汰了。在80年代中國和歐美的蜜月期,中國從西方國家獲得了跳頻技術並消化吸收,再加上數位化時代的到來,用方言保密通話的尷尬已經一去不復返了。

隨著技術的發展,軍事數據通信也已經得到了廣泛的重視。世界上的主要軍事強國都將信息化作為軍事技術的發展方向,這其中,負責傳輸各種信息和命令的數據鏈無疑是最重要的技術之一。現在的數據鏈技術,包括了從海洋到地面,從天空到太空的所有範疇,戰場上的人員裝備都是鏈條的一個節點,真正實現了空天地一體化。當然,這裡面,先進的軍用無線技術無疑是最重要的技術基礎之一。

說完軍用無線技術,我們再說說民用的專用無線技術發展史。其實民用的專用無線才是我們這篇文章的主角,後面我們再提到專用無線這個詞,都指的是民用的專用無線。喜歡軍用無線技術的朋友請自行研究。

話說民用的專用無線技術最早也是滴滴答答的電報,但是正像前文提到的,那玩意實在太笨重了,非專業人士根本就玩不轉,更不要說常年按電鍵對手指的傷害。於是方便明了的語音通信就成了拯救數學不好的同學以及手指們的希望。20世紀30年代,美國警察在汽車上裝上了電臺,只不過這個電臺是單工的,還可以用來聽FM969(這是筆者非常喜歡的一個音樂電臺),要想向上匯報,找電話亭吧。

二戰之後,無線技術有了大發展,語音雙工和半雙工通話已經不是問題,於是專用無線技術開始得到廣泛的使用。這裡面比較有代表性的就是鐵路通信。我國從50年代開始,通過引進蘇聯技術和自行研發,在鐵路設置無線調度系統,實現語音調度指揮,這一系統被成為無線列調,無線列調也成了列車行車「三大件」之一。時至今日,我國大部分鐵路線依然在使用無線列調技術進行通信。

20世紀60年代,現代意義上的對講機在美國出現,後來在日本大規模發展。對講機的出現,使得專用無線的終端更為輕便,也使得更多的行業開始引入無線技術。

20世紀70年代末,模擬集群技術出現。集群技術參考了蜂窩技術,能夠提供更加複雜的業務種類,適合更加專業的用戶的需要。

我國在上世紀80年代初引入了對講機,一時間風靡大江南北,男女老幼無不為這種隨時隨地想說就說的新鮮玩意所吸引。在一段時間內,對講機是被拿來當手機用的。但是隨著時間的推移,對講機易受幹擾,通話距離有限,通話保密性差的缺點也開始暴露出來,再加上手機網絡和固化網絡慢慢鋪開,對講機慢慢退出了公網市場,重新回歸其應有的角色上去。

現在,模擬對講機已經不是什麼新奇事物,泉州出產的對講機甚至可以做到百元以下。模擬對講機也是目前存量最大的專用無線技術,我們可以隨時隨地在各種場合見到它們的身影。但是很多對講機實際上是非法使用,因為我國規定,只有工作在409MHz上部分頻點,發射功率不大於0.5W的對講機才可以不用申請頻率。另外,由於模擬技術的落後,我國也在努力推動模轉數的工作。經過幾次波折,預計到2017年1月,我國將不再為模擬設備發放新的型號核准證。

我國用來替代模擬對講機的技術主要是源自歐洲的DPMR技術。這是一種FDMA的低成本數字對講機技術,工作頻寬為6.25KHz。目前已經有很多廠家都推出了相應的產品,但是由於成本問題,目前看來,要全面替代模擬對講機,還是有很長的路要走。

80年代中期,我國引入了模擬集群技術,最先引入的應該是諾基亞的系統。集群這個術語是從英文「Trunking」翻譯過來的。這個詞本意是中繼,現在在港澳臺地區,集群系統一般都被稱為中繼系統。我國內地引入這項技術時,也曾開會討論中文名稱,一位老專家說,這項技術並不是傳統意義上的中繼技術,所以建議考慮其他名字,後來經過討論,確定這項技術叫做集群技術。集群系統能夠提供更豐富的業務,能夠提供更廣闊的覆蓋,這吸引了像政府、公安這樣需要更廣闊覆蓋的用戶。我國大概有三分之一的城市建設了模擬集群網絡,供政府或公安使用,這些網絡現在仍在使用。

但是我國在引入模擬集群時出現了嚴重的失誤。由於缺乏規劃意識和標準意識,我國先後引進了歐洲、美國、日本、紐西蘭等多個國家的模擬集群系統,結果出現了「七國八制」的尷尬局面,不同廠家之間的系統不能互通。直到現在,我國除了公安部曾經發布過模擬集群的標準外,並沒有一個通用的行標。不過隨著時間的沉澱,目前,我國模擬集群的體制基本都是採用MPT1327信令,而且隨著我國海能達等廠家陸續推出了國產MPT1327模擬集群系統,模擬集群的價格也終於降了下來。

模擬集群的缺點是顯而易見的。模擬集群每個頻點只能傳輸一路組呼,利用率很低。在一個三四線城市,無線頻率佔用較低的場景下使用還可以接受,在一二線城市這種無線頻率資源緊張的情況下,這樣的利用率逐漸讓人無法接受。另外,模擬集群的數據業務單調的可憐,雖然可以傳輸一些簡單的簡訊,但是無論是字數還是效率都遠遠落後於當時已經普及的公網2G技術,至於分組數據業務更是想都不要想。

在IP化已經成為主流的今天,模擬集群已經嚴重落後,但是由於改造成本的問題,很多模擬集群仍然在繼續服役。不過同樣由於前文提到的模轉數的原因,模擬集群也即將推出歷史舞臺。公安部在其牽頭制定的PDT數字集群標準中明確提到要能夠與MPT1327模擬集群互聯互通並支持平滑升級。

數字集群技術起源於上世紀90年代,當時向國際電聯提交的技術體制有7種,來自美國、歐洲、日本、以色列,當時,我國還沒有能力提出我國自有的數字集群技術體制。我國於上世紀90年代末開始研究制定我國的數字集群技術標準。當時入選的有摩託羅拉的iDEN、歐洲ETSI的TETRA、以色列的FHMA。最終,TETRA和iDEN成功入選,成為我國行標SJ/T11228-2000中的體制A和體制B。

iDEN是摩託羅拉的自有技術,從系統到終端全部由摩託羅拉提供,技術封閉性非常高,而且摩託羅拉始終拒絕開放iDEN技術。因此,iDEN在中國並未得到廣泛應用,僅在福建有一張iDEN網絡,在其他地方也有幾個小型的網絡。目前我國應用最廣泛的數字集群技術是來自歐洲的TETRA。

TETRA是ETSI制定的數字集群標準,是第一個在制定之初就以調度指揮作為目標的數字集群標準(其他基本都是想搞公網沒搞成再改成專網技術)。這個技術也是全世界應用最為廣泛的數字集群技術,除了北美(主要是美國、加拿大)、日本(日本有其自己的數字集群標準)市場佔有率較低外,在其他地區基本都佔有優勢,在歐洲則是佔據統治地位。世界上的主流TETRA廠商基本都在歐洲(還有美國的MOTOROLA Solutions),世界上覆蓋最廣的TETRA網絡和規模最大的TETRA網絡分別位於瑞典和德國,都是國家網,歐洲很多國家都有覆蓋全國的TETRA網絡。

不過世界上最大的TETRA城市網是中國的北京正通網,這也是亞洲最大的TETRA網絡。另外,我國還有廣州、深圳、上海、南京等城市擁有TETRA城市網,山東則擁有一張省級TETRA網絡。在我國地鐵專用無線系統領域,TETRA則佔有絕對統治地位。另外,還有很多港口、機場、礦山、大型工廠等行業擁有自己的TETRA網絡。

TETRA採用TDMA,工作頻寬25KHz,能夠在一個頻點上提供4個時隙,也就是4個業務信道,能同時傳輸4路組呼,並且支持低速的分組數據業務。目前的TETRA設備基本都實現了IP化,並且基本都開放了接口,支持第三方廠家做二次開發。在業務上,支持半雙工的組呼和單呼,支持全雙工單呼,支持緊急呼叫、優先級呼叫、短消息、狀態消息、脫網直通(DMO)、單站集群、遙斃遙活、強插強拆、監聽、環境監聽等一系列複雜全面的調度指揮功能,直到現在,TETRA的業務模型仍然是一個極為優秀的範例被後來者模仿引用。TETRA在我國最初被認為適合做中小型的專網,而大規模的共網則看好iDEN,但是隨著時間流逝,我國的大規模專用無線網絡基本都採用TETRA技術,TETRA組大網的能力已經得到了實際驗證。

TETRA技術中對功放的要求很高,要求線性化非常好,原來我國無法做出這樣的晶片,一切都依賴進口。由於西方國家對中國大陸進行武器禁運,而TETRA在歐洲是有軍用背景的,因此,我國大陸的進口TETRA系統從未具備過空口加密功能。當時筆者是多麼希望我國能有自己的集群技術,揚眉吐氣一把。當然,這個願望現在已經實現了。

目前在我國主要的TETRA廠商是摩託羅拉和空客。空客的TETRA業務最早是諾基亞的TETRA部門,後來賣給了歐宇航(EADS),再後來歐宇航負責TETRA的子公司改名為Cassidian,再後來,歐宇航更名為空客,於是現在又改名叫空客了。空客的主要市場是政務網,例如北京、廣州、深圳、南京等城市的TETRA網絡均為空客的設備。摩託羅拉在地鐵市場佔據優勢地位,也有一部分政務網市場,在很多中小型網絡也有很大的市場。

我國從2001年就開始研究TETRA技術。最早是哈工大和科立訊合作研發TETRA系統,但是由於當時的技術限制,僅做了一個實驗室產品。後來這套系統被東方通信買了過去,再經過繼續研發,終於推出了我國第一套國產TETRA系統——eTRA。我國最開始做TETRA終端的是海信、天津712廠、海能達等單位。我國第一臺可批量供貨的國產TETRA終端是天津712廠研發成功的,緊接著,海能達也推出了自己的TETRA終端並開始逐漸侵蝕被國外廠商把控的TETRA終端市場。後來海能達收購了原來德國R&S的TETRA業務,能夠提供TETRA系統。前幾年,54所也研發成功了國產TETRA系統。原本被摩託羅拉和空客壟斷的中國TETRA市場終於被國產廠商打破了。

TETRA技術最大的問題是互聯互通的問題,這裡指的不是與其他系統的互聯互通,而是不同廠家之間的TETRA系統之間系統級的互聯互通極為困難。這個問題是由於在標準制定時,由於設備商們希望能夠壟斷某一網絡,而且當時對TETRA組大網的能力認識不足,在標準中留了能夠讓設備商添加私有協議的空子。當初,比利時和荷蘭希望將邊境地區的TETRA系統互聯互通,但是,兩邊的系統不是一家,搞到最後也僅僅能夠通5個組呼,其他的功能都沒能實現連接。

TETRA有一個國際性的組織,現在叫TCCA,原來叫TETRA MoU。和很多人的想像不同,這個組織不是一個技術標準組織,而是一個比較純粹的產業組織。這個很容易解釋,因為ETSI制定標準的時候,這個TCCA還不知道在哪裡。這個組織並不緊密,開會的主要內容也是以產業發展為主,技術類的討論基本沒有。我國有很多廠商都是TCCA的成員,但對與TCCA的影響力還是要打一個問號的。現在我國有些設備商出於商業策略的考慮,將TCCA包裝成一個十分高大上的組織,讓別人覺得這個組織在技術、產業發展上都具有極高的影響力,實際上,這完全是錯誤的。筆者工作過的一家企業就是TCCA(當時還叫TETRA MoU)的會員,筆者當時從事的也是TETRA相關的工作。但是很少會去關注組織開會會說些什麼。

TETRA還有一個演進版本,叫TETRA 2。這個版本可以將TETRA系統的數據吞吐量提升十幾倍。但是TETRA 2推廣極為失敗,全世界好像也只有匈牙利建設了一套實驗網。目前,我們使用的TETRA技術仍然是在江津20年前就凍結的版本。

最後還要簡單介紹一個比較特殊的數字集群技術——GSM-R。說它特殊,是因為這種技術僅僅用於鐵路和城市軌道交通行業(歐洲在一些地鐵上有應用,我國沒有),而並沒有用在其他的行業中。

GSM-R是歐洲制定的標準(說實話,歐洲在這方面確實厲害,本文就有DPMR、TETRA、GSM-R,以及後面會提到的DMR),是在GSM基礎上結合鐵路行業特點開發而成。這些開發主要包括組呼、優先級呼叫,基於位置呼叫等業務。因此,這套技術非常適合應用於鐵路等軌道交通行業,而對於其他行業則並不具有技術優勢。GSM-R以語音調度業務為主,並為鐵路信號、列尾風壓、列車狀態、調度命令等數據業務提供窄帶通道。

我國在本世紀初開始對GSM-R進行測試驗證工作,並首先建設了三條採用GSM-R的線路:大秦線、青藏線、膠濟線,對應三個GSM-R廠家:諾西、北電、華為。時光荏苒,諾西改回了諾基亞,北電在破產之後,GSM-R業務被奧地利的凱普施收購,同時,中興也成為GSM-R的供貨商。目前,我國的客運專線(包括高鐵)以及其他新建線路均採用GSM-R技術,但從我國鐵路整體來看,原有的模擬無線列調技術仍然佔據著大部分線路。

以上就是對我國引進的專用無線技術的介紹,經過三十年的發展,我們已經可以提供國產化的設備,打破了國外廠商的壟斷。但是中國人仍然需要自己的專用無線技術,下面我們就介紹一下我國自主的專用無線技術的發展。

民用專用無線發展史2——我國的自主集群技術(窄帶集群)

這回說說我國自主的窄帶數字集群的發展歷史和現狀。

我國最早的自主的數字集群技術是中興的GoTa和華為的GT800。這兩個技術均基於公網技術,在本世紀初提出,並且形成了行業標準。

中興的GoTa技術基於CDMA進行開發,華為的GT800基於GSM技術進行開發,可以提供組呼、單呼、優先級呼叫等語音業務以及數據業務。但是由於技術的先天性缺陷,這兩種技術在呼叫建立時間、系統可靠性等方面存在不足,也不支持DMO,這大大影響了這兩種技術的普及。相對來說,GoTa的發展要更好一些,在東南亞存在一些市場,並且中興將GoTa做成了業務模塊集成到了公網設備中。

目前中國電信的公網集群業務很大程度上就是基於GoTa技術開展的。前幾年,中興成立了專門針對專用無線的子公司——中興高達,這個高達就是GoTa的音譯。而華為的GT800則發展很不順利,僅有幾個試驗網,很早就取消了這條產品線。現在的很多華為員工甚至可能都沒有聽說過這個中國自主數字集群的技術先驅。不過這裡也要說明,在2008年汶川地震時,位於重慶的一套GT800試驗網在抗震救災中發揮了很大作用。

中國接下來研發的自主窄帶數字集群技術是公安部組織的PDT技術。這套技術從大概2007年左右開始研發,匯集了海能達、維德、承聯、海格、天津712廠、東方通信、優能等一系列優秀的國內無線廠商。經過多年的發展,PDT現在已經形成了完整的產業鏈。

PDT技術實際上是在歐洲DMR標準上進行的修改,增加了一些公安用戶的特殊需求。PDT技術採用TDMA,工作頻寬12.5KHz,可以在一個頻點上提供2個時隙(業務信道),並且支持與MPT1327的互聯互通,支持MPT1327的平滑升級,這也是考慮到了公安用戶現存的大量MPT1327網絡的問題。PDT的覆蓋範圍很廣,海能達的實測可以拉距到100多公裡,這個關鍵性指標要比TETRA高出近一倍(TETRA的極限理論覆蓋半徑是58km),可以大大降低組網建設成本。

PDT產業仍然在發展,公安部對推動PDT下了很大的決心,特意將原公安標準中有關TETRA的規範作廢處理,即使在原PDT牽頭人馬曉東落馬後,也沒有改變對PDT的政策。我國目前也已經建設了大量的PDT網絡,比較有代表性的就是新疆的網絡,這套網絡在新疆反恐工作中起到了非常重要的作用。

但是,從某種程度上說,PDT是一種一經推出就已經落後的技術。PDT仍然是一套窄帶數字集群技術,在業務複雜程度等方面較TETRA稍差。PDT的最大數據吞吐量僅為9.6kbps,即使乘2(乘2後與TETRA的工作頻寬相同)也趕不上TETRA已經很可憐的28.8kbps。另外,由於PDT技術剛剛開始大規模普及應用,設備價格也比較高,對進口的TETRA設備沒有形成明顯的價格優勢。這些都對PDT的推廣形成了不利因素。但是,我們絕對不可否認PDT的作用。這是我國第一次通過自己努力開發出的能夠得到行業市場認可的窄帶數字集群技術,是我國研發自主智慧財產權的專用無線技術並形成完整產業鏈的一次成功嘗試。

我們前面介紹的都是窄帶專用無線技術,隨著時代的發展和技術的進步,寬帶技術的興起不僅影響著公網技術,也成為專網技術的發展方向。

和很多常噴我國只會山寨的「憤青」們想的不同,我國在研發寬帶數字集群技術方面處在世界領先水平,已經站在了世界的前面。國外至今也沒有已經商用的寬帶集群系統,而我國在這一領域已經發展了近十年。

其實在GoTa和GT800的路線圖中,就已經包含了平滑過渡到CDMA2000和TD-SCDMA的路標,但是由於這兩套技術實際上是失敗的,並沒有得到大規模商用,因此也就沒有實現寬帶的理想。

我們理解寬帶集群的概念,就是寬帶+集群。實際上,寬帶集群往往是從寬帶接入開始,後期再增加集群功能。但集群功能是一道技術上的天塹,寬帶接入的技術很多,但是絕大部分都沒能發展出集群技術。比如美國在幾年前就在幾個大型城市建設了大型LTE專網,用於公共安全,應急等領域,但這張網絡僅作為寬帶接入使用,因此,雖然這張網是專網,但卻不是寬帶集群。

我國最先提出寬帶集群概念的是北京信威。在經歷了SCDMA退網以及TD-SCDMA研發被大唐划走的陣痛後,信威在2007年研發推出了我國,甚至是世界上第一套真正意義上的寬帶無線集群技術——McWiLL。McWiLL採用TDD雙工模式,可以提供標準意義上的集群功能業務,並且能夠提供寬帶數據傳輸能力,在5MHz頻寬上能夠提供最大15Mbps的吞吐量。相對於之前的窄帶集群技術,這個吞吐量指標發生了質的變化,能夠為用戶提供視頻業務和高速數傳業務,是真正意義上的寬帶集群。我國根據McWiLL技術制定了全世界第一個寬帶集群標準,並將1785~1805MHz頻段劃給了McWiLL。

McWiLL在我國的電力、機場、應急、鐵路場站等市場佔有一定的市場,並在海外建設公網,直到現在,McWiLL技術也仍然在不斷的演進,但是McWiLL技術始終沒有大紅大紫,這其中有很多原因。除了信威公司自身的問題外,我認為最重要的原因,就是McWiLL存在和iDEN、GoTa、GT800一樣的問題,就是關鍵技術專利都在信威自己手中,再加上國家對於專網缺乏足夠的認識和規劃,以及市場競爭等原因,McWiLL的產業鏈始終沒能做大,直到現在,也只有信威能夠McWiLL的產品,這最終導致McWiLL在與LTE競爭時由於產業鏈的問題完敗與對手。

McWiLL是我國第一次在專用無線技術領域全面領先世界(至今歐洲、美國還沒有寬帶集群技術,僅有專用寬帶無線接入技術,且應用時間晚於McWiLL)。作為我國具有完整智慧財產權的寬帶集群技術,McWiLL的業務模型和應用模式成為後來的寬帶集群技術最重要的參考之一。McWiLL也有一些自己獨有的技術,其實是值得後來者參考和學習的。但遺憾的是,技術並不能決定市場。

由於信威公司的變動,一部分原信威的人員在陳衛的帶領下創建了無線綠洲公司,並研發出了eWIN寬帶集群系統。說實話,關於eWIN的資料很少,到現在我也不知道這套系統的技術細節,我曾經猜測過這種技術是否是基於WiMAX進行開發的,但是無法找到任何佐證。無線綠洲現在已經被重慶力帆收購,主要的業務方向也變成了車聯網、物聯網。我希望能有了解內情的朋友補充一下eWIN的相關內容,非常感謝。

隨著LTE技術的不斷普及,寬帶集群技術發展的基礎已經轉向了來自於公網的LTE技術。我國最先基於LTE技術開發集群技術的公司是鼎橋。鼎橋大概是從2010年左右開始研發基於LTE的寬帶集群系統和終端。由於鼎橋是華為和諾基亞的合資公司,因此鼎橋採用的硬體平臺是華為的,但是集群協議棧則完全是自己開發的。

2014年,在工信部電信研究院的牽頭組織下,業內的各大設備廠商、晶片商、科研機構、高等院校、集成商、用戶等共同組織發起了寬帶集群(B-TrunC)產業聯盟。B-TrunC集群技術基於3GPP R9版本的LTE技術,在原有的技術架構上進行了增量開發,同時兼容標準LTE技術,技術性能與LTE完全相同。B-TrunC聯盟匯集了鼎橋、中興、華為、普天、信威等業內最頂尖的設備商,並在2014年就推出了一系列行業寬帶集群標準,並被CCSA採納為我國LTE寬帶集群標準。是我國自主開發的基於LTE的被業內廣泛認可並建立了完整產業鏈的第一種寬帶集群技術,在世界上也是開了先河。目前,已經有信威、鼎橋、中興、普天、華為通過了B-TrunC的功能測試。目前,我國已經在多個地區的多個行業中採用了基於B-TrunC標準的寬帶集群系統。2015年,國家無委相繼發布了兩個文件,將1447~1467MHz和1785~1805MHz兩個頻段劃給了採用TDD的專用無線系統(不僅僅是集群),其中1.4GHz頻段作為公共安全等共網使用頻率,1.8GHz作為各行業專網使用頻率。

B-TrunC技術在世界上的最主要的競爭對手是3GPP的R14版本,也就是所謂的McPTT技術。與B-TrunC不同,R14版本集群技術的基礎是eMBMS,系統網元結構相較於B-TrunC更為複雜。R14版本計劃是在2016年3月份發布,目前應該剛剛推出,設備成熟時間計劃是2017年。不過目前,國外很多廠商也開始了基於R14版本的設備試驗和演示。

B-TrunC最大的問題其實並不是在技術上。相反,B-TrunC與3GPP R14相比,技術、產業鏈更為成熟,能夠提供現成設備,更為重要的是,B-TrunC的技術標準已經成為了我國的行業規範,這些都是3GPP R14無法相比的。但是B-TrunC聯盟之前的思維仍然是一種技術學術型的思維,也就是這套技術搞出來了就OK了,至於後面如何推廣,推廣成什麼樣子,聯盟並不怎麼關心,或者說,也不知道如何去推廣。而3GPP R14靠著國際通信巨頭的影響力,從孕育的時候開始就獲得了各方的矚目,西方出於技術保護等方面的考慮,還是主要考慮將3GPP R14作為其窄帶數字集群發展的方向。

當前,B-TrunC與3GPP R14主要的爭奪領域是我國鐵路下一代移動通信系統的技術體制。B-TrunC的優勢是成熟,在國內獲得了更多廠家的支持,也有較大規模的應用案例,弱點是產業推廣不力,在國際上沒有獲得廣泛的影響;3GPP R14則和B-TrunC正好相反,由於出身高貴,獲得了國際上的廣泛關注,但是其技術、設備、產業鏈等尚不成熟,還沒有商用的案例。

這裡要提一下很多人關注的華為。華為的LTE專網系統叫做eLTE,但是可能很多人想不到的是,eLTE僅僅是一個名稱,並不代表一套固定的系統。前文曾經提到,鼎橋的寬帶集群系統是基於華為的平臺設備進行開發的,所以如果需要採用集群系統的項目,華為就會直接採用鼎橋的設備,如果僅僅需要傳輸數據,則有可能採用華為自己的產品。目前,華為是國內唯一一家明確支持3GPP R14版本的廠家,而且基本放棄了對於B-TrunC的支持。事實上,華為通過B-TrunC測試時採用的設備也是鼎橋的(這個在業內根本不是秘密,華為eLTE和鼎橋Witen設備除了LOGO之外,基本沒什麼區別)。

從華為公司本身來說,採用獲得國際廠商認可的R14版本技術,可以簡化產品線,有助於在國際上進行大規模推廣,並且擺脫鼎橋在專網領域的牽制,這從商業策略來講是非常正常的。但是從我個人的想法來看,我更希望作為中國乃至世界通信領軍企業的華為,作為具備提供從晶片到整個系統設備完整產品線的一流企業(只不過華為海思提供的晶片僅限於華為和鼎橋使用),能夠盡力推動我國自主智慧財產權的B-TrunC技術走出去,獲得更大的市場,為我國民族通信技術的發展盡更多的力量。

以上就是我國最主要的專用無線技術發展情況,這裡主要介紹的是以語音為主的專網技術發展,我們國家從引進國外技術開始,經歷了種種困苦,經過多年不懈的努力,終於在寬帶集群時代站在了世界的最前端。但是,從廣義上來講,專用無線系統並不是僅僅包括以上我所介紹的內容,後面我會介紹其他一些類型的專用無線技術和應用場景。

如果看了前面的幾篇,那麼我們可以發現,前面介紹的基本都是以語音通信為主的專用無線技術,是以超短波為主的無線系統。那麼,難道專用無線的領域僅僅包含了對講機和集群嗎?顯然不是。這一篇,我就簡單介紹一下其他幾種專用無線系統,包括電力專網、地鐵車地無線系統、還有應急相關的一些技術。由於筆者才疏學淺,這裡介紹的肯定不夠全面,也不能包含所有的其他類型的專用無線系統,也希望其他熟悉的朋友批評指正。

首先介紹一下電力的專網。電力系統在輸配電網上採用了多種數據採集技術,主要用於設備監控、數據採集、遠程抄表等數據業務。這些數據通過專用有線、公用無線網、專用無線網等通道進行傳輸,以前還有通過電力線傳輸數據的,但是效果並不十分理想,現在用的已經比較少。從以上可以看到,電力專網的主要業務是數據,和語音並沒有什麼關係。我國給電力專網劃分了230MHz頻段上的一部分窄帶頻點用於數據傳輸。原來一般用的是數傳電臺,但是現在電力也開始考慮採用LTE技術實現電力專網的升級換代。

目前在230MHz電力LTE做得最好的是普天,普天創造性的採用了一種特殊的載波聚合的技術,將230MHz上的那些窄帶頻點拼了起來,這一技術尚未有其他廠家實現。其他廠家,例如鼎橋、華為、中興、信威等基本都是根據工信部【2015】65號文,採用1.8GHz頻段的LTE設備,雖然設備實現簡單,但是也有覆蓋範圍小、建設成本高、會有與其他行業搶頻段的情況。但是目前,電力還沒有下定決心大規模更新自己的專網,這也是考慮到建設成本的問題,畢竟,採用公網傳輸的一次性投入要低得多。

下面介紹一下地鐵裡面的無線數據網絡。在我國,絕大部分的地鐵線裡面一般有五張無線網絡:以語音集群調度業務為主的專用無線系統,一般採用TETRA系統,現在也開始考慮採用LTE寬帶集群實現;為公安服務,主要提供語音業務的公安無線系統,原來經常用MPT1327,現在基本上都是PDT;為廣大人民群眾提供公網手機覆蓋的民用無線系統,這個一般都是引入運營商地面基站的信號;為車載PIS系統、車載CCTV系統、以及其他監控數據業務提供無線通道的車地無線網絡;為信號系統(一般是CBTC)提供列控信息傳輸通道的DCS無線系統。後面這兩個系統都是傳輸數據業務的,原來一般用的是WLAN技術,現在隨著LTE技術的成熟,各地都開始考慮或者已經開始用LTE替代WLAN。與LTE技術相比,WLAN技術易受幹擾、單點覆蓋範圍小、互聯互通性差、高速性能差、空口開銷大、安全功能弱,所以在地鐵業界已經形成了用LTE替代WLAN的廣泛共識,中國城市軌道交通協會也在制定地鐵LTE系統的規範並已經發布了以CBTC為主要承載業務的R1版本。

接下來說一下公安圖傳。公安部門原來都是以語音為主,但是隨著時代的發展,對視頻的需求也逐漸迫切起來。我們現在經常見到警察在胸前會別一個執法記錄儀,這個就是一個攝像終端。但是執法記錄儀僅支持本地錄像,並不具備實時上傳的能力,實際上就相當於一個裝著存儲卡的攝像頭。於是公安部門開始建設公安圖傳系統,解決現場視頻實時後傳的問題。當然,無線傳輸通道有很多,這裡僅介紹本地無線圖傳,至於動中通這樣的通過衛星傳輸的系統不在本段介紹。公安圖傳系統一般工作在340MHz頻段,原來一般採用的點對點微波傳輸,這種技術已經非常成熟而且已經廣泛應用,公安系統也曾發文促進各地的圖傳系統建設。但是傳統的圖傳系統僅支持點對點,也就是一對系統僅支持一路傳輸,建設密度較大,頻譜利用率低,移動性較差。因此業內一些廠家也開始將寬帶集群技術,比如McWiLL和LTE應用到圖傳領域。這些技術是蜂窩結構,可以點對多點,支持更多的業務,但成本相對較高。據筆者了解到得情況,目前尚未有支持340MHz的LTE系統,但是已經有了340MHz的McWiLL圖傳系統。

接下來簡單說一下應急。事實上,應急並不能算是一個行業,只能算是一個場景,畢竟各個行業都有自己的緊急情況下的場景需求,這裡只是簡單說一下其中包含的一些技術。首先是衛星通信,這並不是一個新奇的技術,銥星、亞星、歐星、海事衛星等很多種衛星系統都已經得到了廣泛的使用。衛星系統不僅僅能夠提供語音通信,也可以提供數據通信,由於衛星系統的覆蓋範圍大,可靠性高,一般不受地面環境影響,因此在所有的應急系統中,衛星通信都是一個重要的組成部分。

另外,衛星系統提供的定位功能也是非常重要的,現在常用的有GPS、GLONASS、北鬥等。其中,我國的北鬥系統還支持簡訊功能,這在應急場景下是非常有用的。但是衛星系統的建設成本和使用成本都很高,所以平時很難用到,也只有應急這種無需考慮成本的場景下才會大量使用。其次是短波通信,這個也是一種古老而成熟的技術。短波通信距離遠,成本較低,支持語音和低數據量業務。但是短波系統架設並不方便,主要是天線尺寸較大,而且無法傳輸大數據量業務,更重要的是,短波通信受時間、天氣等因素影響很大,通信質量的穩定性較差。不過現在的短波電臺一般都支持自動調整的功能,儘量減少這些自然因素的影響。

應急場景中也會大量用到對講機和集群系統,這裡不說簡單的對講機,只說集群系統。由於應用場景中的基礎設施往往很不完善,所以一般情況下,這時用到的集群系統往往都是小型可攜式系統。這些系統有些是可以利用中小型汽車的箱子,有的甚至是人員背負的方式進行運輸。

最後說一下MESH自組網技術。MESH也叫網孔,實際上就是一種無中心的通信系統,每一個MESH設備都是一個節點,不僅可以接收到發給自己的信息,也支持作為一個傳輸節點將上一個節點發來的信息轉發到下一個節點直到傳輸到接收目的地。目前很多MESH系統都支持語音和數據通信,不過由於要考慮到跳轉所需資源,每一跳都會有吞吐量損耗,所以支持多少跳和每一跳的損耗是衡量一個MESH系統的重要指標。另外,MESH系統的各個節點很可能是不停運動的,所以要不停的調整無線信道狀態,因此信道收斂時間也是一個非常重要的參數。一個MESH設備往往支持多種對外接口,常見的有WIFI、網口、模擬攝像頭等,這些都是對設備外延的考慮。

這一篇就講到這裡吧,寫的不大好,還請各位朋友見諒。實際上,如果要拓展開,可能要幾本書的篇幅才能介紹清楚,而且筆者並不精通所有的方向,所以只能泛泛地講講。如果有熟悉這些行業和技術的朋友,還希望能夠補充說明,如果我說的有不對的地方,還請批評指正。註:射頻百花潭部分配圖

銅傳輸和光通訊會並存多久?


從電子時代開始,銅導體一直連接器行業的主流。銅的獨特品質,包括優良的導電性和導熱性,延展性和可用性,使它成為從毫瓦信號到千瓦功率導電電路的自然選擇。

銅合金,包括鈹銅和磷青銅,提供了足夠的彈性,並且它們可以使用高速衝壓成型產品。從金到錫的各種電鍍材料降低了接觸電阻,增加了耐久性,防止了腐蝕。銅電纜可以使用多種技術可靠地終止,包括焊料、捲曲、剝線和焊接等。嵌入在多層PCB層壓板材料中的銅電路使高密度連接成為可能。這些板上的部件使用高速自動化設備生產,用波峰焊進行焊接。多年來設計和建立可靠的銅電路,使人們對該介質以及由各種製造商組成的全球供應鏈產生信心。

銅是一種優良的材料,但它確實有其局限性。隨著系統速度的不斷提高,銅導體開始表現出不利的特性。除了簡單的直流電阻外,阻抗變化、前後串擾、傾斜、抖動和符號間幹擾等因素往往會降低數位訊號的質量。此外,必須解決EMI和接地迴路的問題。

隨著數據速率的增加,這些負面因素中的每一個都變得更大,有效地限制了信道的物理長度。在過去幾年裡,系統設計人員已經開始進入超過25Gb/s的應用。在考慮各種因素的情況下,保持在數位訊號傳輸速度已成為一項日益嚴峻的挑戰。

用光子代替電子的光纖連接已討論了很多年。傳輸數字信息的調製光束一直是非常遠距離鏈路的選擇介質,而銅通道需要多個放大點和盡力減少失真。工程師們繼續在尋找延長銅壽命的方法。光纖在中短程通道中的可行性多年來一直是工程師們的目標。銅通道傳輸的改進,包括向差分對的過渡,PAM4信令,以及內置在SERDES晶片中的先進信號調理,這些措施使設計者繼續使用可接受長度的銅通道。

光纖遭受了幾個挑戰,包括光通道兩端所需的電光轉換過程所消耗的額外成本和功率。以及困難和昂貴的光纖終止過程。光纖材質也被認為比傳統的銅電纜更脆弱。

隨著高速通道繼續受到銅的限制,而光纜、連接器和有源元件的成本下降,人們的態度正在發生變化。光纖提供了更高帶寬和可達性的優勢, 波分復用和相干傳輸的進步可以進一步提高光纖的效率。

隨著採用擴展光束技術,對光學接口配合面上任何汙染的極端敏感性已被最小化,該技術使用集成在連接器中的透鏡來增加跨接口的光束直徑。這種技術使塵埃對透射光的影響小很多。

光纖現在正被考慮用於數據中心中以及相對較短的應用,在某些情況下,光纖甚至可能應用於盒子裡。

在高性能應用中需儘量減少印刷電路材料的損耗和失真,這刺激了人們將這些通道從電路板中移除。一種解決方案是將高速信號轉換為與ASIC或SERDES設備相鄰的屏蔽雙軸電纜。在這些電纜中,信號衰減和失真大大減少,這些電纜跳過PCB的表面,往往終止於安裝在設備面板上的I/O連接器。

另一種最近的解決方案是共封裝光學,它將電光轉換過程定位在具有SERDES或開關晶片的公共基板上,並使用光學將信號直接帶到I/O面板。結果是失真小,埠密度高。

實現這種集成技術是矽光子學,它試圖將光發射機或接收器的多個部件集成到矽片上。目的是用光子信號代替電脈衝。多年來,科學家們試圖在矽上製造一種實用的雷射,但沒有成功。最近,他們選擇專注於單獨的雷射源和安裝在公共襯底上的光子晶片。矽光子器件可以集成多個功能,包括調製器、SERDES、光放大器、探測器、濾波器、耦合器和分配器,並在同一晶片上集成電子邏輯、存儲器和驅動電路。

這項技術提供的優勢包括:

* 高速傳輸。

* 矽波導可以與導體一起在公共襯底上並存。

* 使用現有的大容量集成電路製造、工藝和晶片測試設備。

* 能夠在同一微晶片上創建電子和光學元件。

* 在同一晶片上實現電光轉換。

* 減少電力消耗。

* 一體化程度的提高增加了系統的密度。

* 通過自動化降低系統成本。

共封裝光學的性能優勢是這個領域的技術趨勢,雖然目前仍然是一個概念,但包括英特爾在內的幾家供應商已經演示了原型。許多工程師認為矽光子技術是解決帶寬瓶頸和I/O面板密度日益增長挑戰的長期解決方案。

本文來自深圳連接器協會李亦平, 線纜行業朋友分享圈Qualcomm推出全新驍龍480 5G移動平臺,首次將5G擴展至搭載驍龍4系的移動終端

Qualcomm

Qualcomm要聞

驍龍480將加速全球5G商用化進程,並向海量智慧型手機市場帶來超越該層級的產品特性。

Qualcomm今日宣布推出高通驍龍™480 5G移動平臺,該平臺是首款支持5G的驍龍4系移動平臺。驍龍480將進一步推動5G的普及,讓用戶享受到真正面向全球市場的5G連接和超越該層級的產品性能,從而帶來用戶需要的生產力和娛樂體驗。

Qualcomm產品管理副總裁Kedar Kondap表示:

Qualcomm將繼續加速全球5G商用化進程,以便讓更多用戶能夠使用上5G智慧型手機,尤其是在全球範圍內人們持續保持遠程溝通的情況下。驍龍480 5G移動平臺將超越OEM廠商和消費者對於該層級產品的預期,以實惠的價格提供中高端特性。

驍龍480 5G移動平臺為驍龍4系帶來迄今為止最先進的功能特性:

5G和連接:驍龍480採用驍龍X51 5G數據機及射頻系統,支持毫米波和Sub-6GHz 5G連接,支持獨立(SA)和非獨立(NSA)組網模式,並支持TDD、FDD以及動態頻譜共享(DSS),帶來極佳的移動性能和連接體驗。驍龍X51支持數千兆比特的5G連接速度,能夠實現超高速上傳和下載速度,多頻段支持還可以增強靈活性和可用性。憑藉Qualcomm FastConnect™ 6200移動連接子系統,驍龍480不僅可以提供藍牙5.1和先進的無線音頻特性,還支持2x2 Wi-Fi(Wi-Fi雙天線)以及8x8 MU-MIMO探測等部分Wi-Fi 6關鍵特性,能夠顯著提升傳輸範圍和性能。驍龍480還引入其他創新的無線技術,包括支持雙頻GNSS和NavIC以實現精準的定位。

性能和電池續航:驍龍480讓智慧型手機用戶能夠更持久地保持工作效率,並更快速地為終端充電。該平臺採用8納米製程工藝,搭載擁有2.0GHz主頻的Qualcomm Kryo™ 460 CPUQualcomm Adreno™ 619 GPUQualcomm Hexagon™ 686處理器,與前代平臺相比,其CPU和GPU性能提升高達100%,AI性能提升高達70%。驍龍480還是首個支持Qualcomm Quick Charge™ 4+技術的驍龍4系平臺。

影像:通過Qualcomm Spectra™ 345 ISP,該平臺首次在驍龍4系中實現了三ISP的支持,能夠拍攝出色的照片和視頻,並且三個攝像頭可同時拍攝。三重1300萬像素照片拍攝能夠利用超廣角、廣角和長焦攝像頭同時進行圖像輸出,或同時捕捉三個720p的視頻。

娛樂:驍龍480提升了串流和遊戲方面的用戶體驗。其所支持的120Hz FHD+顯示能夠提供絕佳的內容清晰度和快速流暢的圖形渲染速度。該平臺憑藉Qualcomm aptX™音頻技術、面向熱門遊戲大作的體驗優化、無縫的高清內容串流和更快的應用加載時間,為用戶帶來全方位的沉浸式娛樂體驗。

OEM廠商引言

HMD Global(Nokia手機的家園)全球產品市場負責人Adam Ferguson表示:

讓技術惠及更多消費者是HMD Global的重要戰略。與Qualcomm的密切合作,讓我們能夠將出色的技術帶給所有人。今年早些時候,我們推出了首款5G智慧型手機——Nokia 8.3 5G。全新驍龍480 5G移動平臺的推出是朝著讓5G技術惠及全球邁出的重要一步,我們對於它將為我們的用戶帶來更多機遇倍感興奮。祝賀Qualcomm發布該平臺,我們期待向世界展示這款強大且具備高品質硬體和安全軟體的晶片組的真正實力。

我們十分期待通過即將推出的搭載全新驍龍480 5G移動平臺的終端,把先進的5G性能擴展至海量入門級終端市場。

我們非常高興能夠藉助全新驍龍480 5G移動平臺,讓5G進一步惠及全球消費者。我們期待與Qualcomm繼續保持合作,為消費者提供更多價格實惠且支持增強的移動體驗的智慧型手機。

我們與Qualcomm秉承共同的理念,致力於將5G移動終端帶給全球更多用戶。全新的驍龍480 5G移動平臺,將助力我們規模化地將5G連接、低功耗性能和全新娛樂特性集成於智慧型手機當中,對此我們倍感興奮。

欲獲取更多信息,可點擊本頁左下角「閱讀原文」。

註:與上一代驍龍460移動平臺相比。

全網首發|陸奇最新萬字演講:世界新格局下的創業創新機會

原創 騰訊科技 騰訊科技 

劃重點:

1、

新冠疫情和國際環境正在極大地加速四大趨勢

第一是數位化的社會基礎。

第二是生命科學的前沿。

第三是可持續的新能源。

第四是全球經濟發展和創新的重心從西方轉移到亞洲。

2、中國過去40年的成績,本質上是「中國+開放市場」,下一階段是「中國+技術」,這是巨大機會。

3、在國際環境上,經濟中心向亞洲轉移是一個被加速了的歷史趨勢。創新中心轉移,中國+技術所蘊含的機會,毫無疑問這是我們這個時代的機會。

4、我們讓AI進入每一條流水線、每一個廠房,將需要5年、10年、20年時間,現在不是爆發的時候。

5、長期我們需要關注中國的資本市場,可以讓創業公司在國內退出,有獲得更好的資本支持的機會,這個趨向一定會發生。

2020年12月19日,奇績創壇創始人兼CEO陸奇在深圳做了一場主題演講《新格局下的創業創新機會》。陸奇在將近2小時的演講中,分析了當前世界正在形成的新格局以及正在被歷史加速的四大核心趨勢;他系統地梳理了創業者所面臨的完整的創業機會,包括對當下投資比較熱門的數位化、晶片、傳感器、生命科學、航天等領域的分析;此外,關於新一代的創業者要如何把握屬於自己的機會,他分享了一系列的思考模型,包括創業者能力模型、如何判斷時機、如何打造壁壘以及如何思考商業價值等

最重要的兩件事:

1-找到產品市場匹配,

2-更久地活下去!

推薦關注手機及半導體領域招聘公眾號:

相關焦點

  • Optech Announces New Airborne Lidar Sensor: Orion H300
    Coupled with its OmniSTAR™-capable GPS receiver, the new Optech Orion H300 is also the first commercial airborne lidar sensor to produce high-resolution, real-time, point cloud files in LAS format
  • 移動端三維重建APP匯總LiDAR掃描技巧
    怎麼學習體系化的AR/VR開發、MR創作、MR產品設計呢?
  • 在Jetson Nano上使用LiDAR和ROS Melodic構建地圖
    本教程來自:原文轉自:https://www.hackster.io/shahizat005/building-a-map-using-lidar-with-ros-melodic-on-jetson-nano
  • 銅線接入或迎「第二春」:G.fast敲開「銅線千兆時代」大門
    FTTH(光纖到戶)已經成為滿足用戶超寬帶網絡需求的主流技術,並且成為更多新建小區的標配。但是,針對大多數成熟社區的光纖改造涉及光纖穿牆入戶和家庭光纖布線等複雜工程,導致FTTH建設進展緩慢、工程造價較高、且會破壞家庭裝修,這讓眾多成熟社區用戶暢享超寬帶網絡幾乎成為一種奢望。
  • HDMI技術領域的光纖與銅線有何不同之處
    今天談談HDMI2.1時代下的眾多HDMI技術領域的光纖與銅線兩者的主要: 傳輸距離 HDMI導體的三大發展跨越,即從金屬類導體、再到AOC類光銅混合線導體、再到最近代表未來趨勢的純光纖線導體,導體的變化一方面是技術的提升和突破使得超清信號更接近無損傳輸和能夠傳輸幾百米遠,一般來說銅線的傳輸距離不超過100m,而光纖的最大傳輸距離可達100km(單模光纖),遠遠超過了銅線的傳輸距離
  • OPPO驍龍480手機加入5G戰場,配置齊全價格真香,對小米造成打擊
    在前幾年手機的價格通常都是很高的,還記得那個時候我們想要買一部手機沒有三四千根本就拿不下來,可是到了5g時代,突然發現5g手機的價格一直在往下降低,而且目前好多的手機品牌都已經看中了低端市場,所以在5g千元機的市場上面可以說競爭相當的激烈。
  • 重估陸奇:All in AI是百度的大坑?
    財報電話會議上被問到AI商業化問題,陸奇的回應含糊,字裡行間寄希望於未來。如果把鏡頭拉回到2017年4月,陸奇剛加入百度3個月的財報電話會議,他的回應就簡單幹脆多了——直面分析師提出的無人駕駛技術商業化問題,給出明確答覆:2020年實現無人駕駛汽車的商用。2017年年初加入百度時,陸奇分享過一個經驗:在適當時候跳上適當的船。
  • 驍龍865規格揭曉:外掛5G基帶 性能幹翻蘋果A13
    攝像頭方面,驍龍865移動平臺最高可支持2億像素攝像頭。此外,Spectra 480增加了新的EVA視頻分析引擎,用於圖像追蹤與分析等,HEIF圖像格式現在還可以存儲深度信息,用於後期改變對焦。能耗比方面,官方稱Spectra 480視頻拍攝功耗降低16%,視頻降噪像素處理能力增強40%,自動對焦區域增加9倍,紋理捕捉則提升了18%。
  • 蘋果AR真實體驗 — 用八個APP帶你領略增強現實的魅力
    怎麼學習體系化的AR/VR開發、MR創作、MR產品設計呢?
  • 高通驍龍480 5G正式發布 5G手機價格將再次下探
    中關村在線消息:北京時間1月4日,高通舉行了驍龍新品發布會,正式發布了驍龍480 5G晶片。這是驍龍4系首枚支持5G網絡的移動處理器平臺,同時也是真正面向全球市場的5G解決方案,這意味5G終端的價格或迎來進一步下探,5G網絡也將惠及更多消費者。
  • OPPO A93悄然上架:搭載高通驍龍480處理器
    對於vivo Y31s來說,最大的亮點就是首發了高通驍龍480處理器,這是高通4系列首款5G處理器。在vivo Y31s發布之後,OPPO這家國產智慧型手機廠商可謂不甘示弱,在官網悄然上架了一款名為OPPO A93的新機。按照介紹,OPPO A93也搭載了高通驍龍480處理器,從而和華為、小米、vivo、三星等智慧型手機廠商的同檔次機型展開競爭。
  • 北美運營商的固定無線5G業務至今難以撼動光纖寬帶
    3/17/2021,光纖在線訊,眾所周知,北美的5G業務從替代寬帶無線的固定無線服務開始。AT&T, Verizon, T-Mobile三大無線運營商都在這個領域投入巨資發展業務。但是如何評價這個業務至今的發展呢?
  • 銅價暴漲利於HDMI材質由銅線芯轉向光纖線芯
    今天銅價不負眾望再次突破七萬,(恐怖,銅價暴漲,創8年新高,直逼七萬),部分行業人士開玩笑可能要漲到十萬,近期銅價的劇烈變動,會造成我們線纜行業的亂象,未籤合同的客戶都開始觀望
  • 從有線到無線,從 WiFi 到 5G,一展計算機網絡的宏圖
    無線 指的是由電磁波(即 EM 波)或紅外波組成的介質。所有的無線設備都帶有天線或者傳感器。典型的無線設備包括蜂窩行動裝置,無線傳感器,電視遙控器,帶有 WLAN 的筆記本電腦。無線網絡不使用電線 進行數據通信。
  • HDMI材質由銅線芯轉向光纖線芯趨勢已成
    時間飛逝,瞬間已經步入2020年,這一年由於突發的肺炎疫情開局不利,但是線纜市場仍然是競爭激烈,Type C仍然是氣勢如虹,悄然侵蝕著HDMI傳統視頻傳輸的市場份額,但是進入2020年,你會發現HDMI線領域開始出現了許多新變化,HDMI協會更新規範和協議的速度超乎尋常,各種細節的完善,都是往同一方向,HDMI材質將逐漸由銅線芯轉向光纖線芯
  • 為什麼蘋果不急著做5G手機?
    8月12日,中國電信決定9月率先在京放出5G專用號段的手機號碼,且老用戶升級5G無需換卡換號。然而,就在國內熱火朝天地發展5G的時候,作為手機行業「領跑者」的蘋果公司卻不緊不慢,一點沒有要參與5G競賽的意思。今年5月,蘋果CEO庫克曾表示:「5G目前還不是蘋果考慮的問題,蘋果公司將仔細評估各類新技術,然後在合適的時間和條件下儘快推出新產品。」
  • 無線充電深度報告:無線充電大勢所趨,國內廠商百舸爭流
    蘋果8/X支持無線充電,國產品牌迅速跟進2017年9月13日蘋果發布的最新一代iPhone共包括iPhoneX、iPhone8和iPhone8Plus三款新品,均配備了無線充電功能,利用Qi無線技術,可實現最高可達7.5瓦的充電功率。