Windows中各類畫面源的截取和合成方法總結

曹偉

2015年畢業於華中科技大學後入職網易，先後參與過易信PC版、雲信PC demo以及教育直播產品的研發，目前在雲信音視頻組PC端組從事開發。

作者簡介●●●概要當今，視頻直播和實時音視頻技術已經是很多行業必需的，典型的應用場景有教育直播、遠程視頻會議、網際網路娛樂等。在移動端發起直播，其畫面源的種類是十分有限的，無非是取攝像頭、截屏等。PC端由於其系統資源充足，應用程式豐富，畫面源種類多樣，更適合作為主播程序運行的平臺。在實際應用中，經常有一些場景是需要將不同的畫面源合在一起，然後推流出去的。本文粗淺介紹一些我們在開發過程中總結的一些獲取不同畫面源的畫面並將其合併的方法。●●●各類畫面源的截取
1)    攝像頭畫面Windows下採集攝像頭畫面，DShow是最常用的方法之一。通過DShow採集攝像頭數據，創建視頻採集Filter，將其加入到圖表IGraphBuilder中，用IMediaControl接口來控制流媒體在Filter Graph中的流動，再通過Render來獲取視頻的原始數據。以上流程封裝在了我們的SDK中，用戶可以直接調用SDK接口。
2)    桌面取屏及應用程式窗口截取在Windows系統中，桌面和所有應用程式窗口一樣，本身也是一個HWND窗口，因此可以放在一起討論。獲取一個窗口的位圖數據，最常用的方法是：創建一個用來接收窗口畫面的HBITMAP位圖對象以及一個HDC設備上下文對象，用SelectObject將兩者綁定，然後用BitBlt從被截取窗口的HDC將數據拷貝到目標HDC。下面列出關鍵代碼：

    HDChDc = GetDC(capture_hwnd_);

HDCmem_dc = CreateCompatibleDC(hDc); //創建一個兼容DC

HBITMAPcapture_bitmap_ = ::CreateDIBSection(mem_dc, &bmi, DIB_RGB_COLORS,

            (void**)&capture_data_, NULL, 0); //創建HBITMAP

HBITMAPold_hbitmap = (HBITMAP)SelectObject(mem_dc, capture_bitmap_); //將mem_dc和capture_bitmap_綁定

BitBlt(mem_dc, 0, 0, capture_width, capture_height, hDc, real_rect.left, real_rect.top, SRCCOPY);

SelectObject(mem_dc, old_hbitmap); //還原

DeleteDC(mem_dc); //銷毀

ReleaseDC(capture_hwnd_, hDc); //釋放

3)    其他截屏/截窗口方法教育直播中，PPT分享是非常重要的一個場景。但是據我考查，自從Microsoft Office 2013之後，BitBlt就取不到Word、Excel、PPT窗口的內容了，截到的是一片白色。但是用PrintWindow這個Windows API卻可以取到。調用PrintWindow的程序會收到WM_PRINT或WM_PRINTCLIENT消息。PrintWindow的效率比BitBlt低，但當BitBlt無法取到時，可以用PrintWindow。越來越多的程序的畫面是在顯存中的，此時，BitBlt和PrintWindow都不管用（得到的都是一塊黑色的位圖）。可以考慮用DirectX的方法。而且DirectX方法由於使用了GPU，所以相較前面兩種方法效率更高。以下是DirectX截屏的代碼：

      externIDirect3DDevice9* g_pd3dDevice;

voidCaptureScreen()

{

        IDirect3DSurface9* pSurface;

        g_pd3dDevice->CreateOffscreenPlainSurface(ScreenWidth, ScreenHeight,

            D3DFMT_A8R8G8B8, D3DPOOL_SCRATCH, &pSurface, NULL);

        g_pd3dDevice->GetFrontBufferData(0, pSurface);

        D3DXSaveSurfaceToFile("Desktop.bmp", D3DXIFF_BMP, pSurface, NULL, NULL);

        pSurface->Release();

}

GetFrontBufferData之後，也可以調用IDirect3DSurface9::GetDC()從pSurface得到HDC，然後用BitBlt將其拷貝到目標HDC。

4)    獲取本地圖片的位圖數據將本地圖片（jpg、bmp、png、gif等格式）加載到內存，並取得其位圖句柄或像素首地址的方法有很多種。這裡列舉幾種最常見的。GdiPlus方法比較簡單。首先是通過圖片路徑創建一個Gdiplus::Bitmap對象，通過Gdiplus::Bitmap::LockBits()方法可以得到圖片的數據，存放在一個Gdiplus::BitmapData結構中。Gdiplus::BitmapData::Scan0就是圖片像素數據的首地址。如果想得到該圖片的HBITMAP句柄，只需調Gdiplus::Bitmap::GetHBITMAP()即可。另一種方法是使用Windows API LoadImage來加載一個本地bmp圖片得到HBITMAP句柄，但這種方法似乎只能加載位圖文件(.bmp格式)。使用ATL的CImage只需要3行代碼即可得到一個圖片文件的HBITMAP句柄。

CImagecbmp;

cbmp.Load(path);

HBITMAP image_bitmap = cbmp.Detach();

●●●畫面合成主播常常希望同時將自己的攝像頭畫面和桌面內容或者某個程序的畫面共享給觀眾，有時甚至需要同一時刻分享10個以上的畫面源。這時候，需要將多個畫面粘貼到一個目標畫面上，我們稱這個過程為畫面合成。合成的畫面通常還要支持改變各個畫面的尺寸、位置等操作。這樣一來，程序性能成了瓶頸問題。首先，對於各種畫面源的截取應該儘量採用高效的方式，其次，畫面的拉伸壓縮是比較耗性能的地方。在1秒鐘需要合成20幀畫面的要求下，應該避免直接強行壓縮HBITMAP，而是採用一些有加速的方案。1)    LibYuv方案我們找到一個一個yuv庫（LibYuv Project），支持圖形數據從rgb格式到各種yuv格式之間的互相轉換（定義在libyuv/convert.h中）。比較重要的一點是，它對yuv格式圖形的拉伸和壓縮以及其他各種變換（定義在libyuv/scale.h中）是有加速的。正好我們最終要推流的格式也是yuv格式的，所以我們方案的流程是：取得各個畫面源的畫面之後，先將它們各自轉化為yuv格式，然後把這些yuv畫面按照我們制定的方式粘貼到一個目標yuv畫面上，最後將目標yuv畫面數據推流出去。另外，由於主播的窗口上也要顯示合併畫面，所以還要把目標畫面轉成rgb格式渲染到窗口HDC上。當然，由於存在rgb格式和yuv格式之間反覆的轉換以及頻繁的scale，而且yuv加速畢竟是軟體方式，程序的CPU佔用率還是有點高。如果能採用DirectX、OpenGL等硬體加速解決方案，對程序性能以及用戶體驗的提升應該是比較明顯的。2)    DirectX 9方案在DirectX 9方案中，我們的每個畫面源以及最終的目標合成畫面，都對應一個表面（IDirect3DSurface9）和一個紋理（IDirect3DTexture9）。由於畫面源的顏色內存可能會被頻繁訪問和修改，所以創建其表面或紋理時，應該將其創建在系統內存或AGP中（D3DPOOL_MANAGED）而不是顯存中。對於yuv格式的攝像頭數據或網絡視頻幀，DirectX可以創建能直接接受yuv數據的紋理（D3DFMT_UYVY）。合成的時候，調用IDirect3DDevice9::DrawPrimitive()來將每個畫面源繪製到目標畫面上。而最終合成畫面是要顯示到窗口上的，所以應該創建在顯存中（D3DPOOL_DEFAULT）。渲染的時候，調用IDirect3DDevice9::DrawPrimitive()將目標畫面的紋理繪製到窗口的渲染目標紋理上，或者調用IDirect3DDevice9::StretchRect()將目標畫面的表面粘貼到窗口的back buffer上。另外，由於要取得目標畫面的數據用於推流，我們還要調用IDirect3DDevice9::CreateOffscreenPlainSurface()在系統內存中（D3DPOOL_SYSTEMMEM）創建一個離屏表面，用IDirect3DDevice9::GetRenderTargetData()將目標畫面取到離屏表面上，然後IDirect3DSurface9::LockRect()就能得到目標畫面的rgb格式數據了，將其轉化為yuv格式就可以推流出去了。●●●總結直播產品由於需要對每一幀畫面做處理，畫面的清晰度要高，幀率還不能太低，所以通常會存在消耗系統資源過多的問題。無論是取畫面還是合成畫面，方法有很多，不僅限於上面幾種。Win API效率一般，如果對程序性能要求高，就要在其他方面去想法設法減少資源消耗。而DirectX雖然對2D圖形加速不如3D加速那麼顯著，但還是勝過Win API的。需要注意的是，使用DirectX時要非常清楚各個參數的意義，比如設備類型（D3DDEVTYPE）、內存池類型（D3DPOOL）、用途類型（D3DUSAGE）等等。參數用錯，可能導致其性能還不如Win API。

——【特別推薦】——

歪果仁短視頻花式玩法