讓手機跑SOTA模型快8倍!Facebook AI開源最強全棧視頻庫:PyTorchVideo!

來源：Facebook AI

編輯：好睏

【新智元導讀】時隔一年，Facebook AI攜PyTorchVideo重回視頻理解的戰場。其不僅可以「無縫」接入各類代碼庫，甚至還「略懂」LeCun最愛的自監督學習。順便一提，手機也能玩！

視頻已逐漸超過文字和圖片，可以說成為了現在使用最廣的媒體形式，同時也佔據了用戶更多的瀏覽時間，這就使得視頻理解變得尤為重要。

各大網際網路公司與頂尖高校紛紛絞盡腦汁，競相研究SOTA的視頻理解模型與算法。

在谷歌，臉書，Open-MM Lab等分別祭出各家殺器之後，臉書人工智慧實驗室（Facebook AI）在推出PySlowFast之後時隔一年，攜PyTorchVideo重回戰場。

 

官方網站: https://pytorchvideo.org/

 

今天我們就來扒一下，PyTorchVideo究竟是怎樣的一個代碼庫，又如何能在開源當天就躋身於GitHub Trending榜單。

不同於在座的各位視頻代碼理解框架只醉心於自家框架，無法移步與其他代碼庫。

PyTorchVideo像是torchvision等基礎代碼庫一般，「哪兒都能用」！PyTorchVideo不但可以用在視頻理解任務中，甚至可以用在其他任務的代碼庫。

臉書人工智慧實驗室的大佬們不但在「自家人」的PySlowFast代碼庫上無縫使用上了PyTorchVideo，並且還在Classy Vision，PyTorch Lightening等等框架上無縫插入。

作為含著金鑰匙出生的PyTorchVideo，其直接成為了PyTorch Lightning-Flash的視頻理解擔當，作為基礎庫被默認使用。

這不，在FiftyOne項目中，開源社區的吃瓜群眾就利用Lightning-Flash搞出了一個瀏覽視頻的工具箱，可以直接查看視頻的動作類別。

FiftyOne: https://medium.com/pytorch/ushering-in-the-new-age-of-video-understanding-with-pytorch-1d85078e8015

更厲害的是，PyTorchVideo似乎「啥都能做」！不但在視頻分類，動作檢測等任務中深耕SOTA。

甚至還「略懂」LeCun最愛的自監督學習，以及音頻事件檢測等等千奇百怪的任務也不在話下。

 

基於PyTorchVideo的SlowFast模型進行動作監測

更喪心病狂的是，PyTorchVideo一併開源了移動端的加速優化，不但提供了手把手的教程，將視頻模型一步步優化核心Kernel，量化（quantilize）加速。

數倍加速後在移動端實時運行，甚至官方直接暴力放出Android和iOS移動端開原始碼，將SOTA的視頻模型直接塞到手機裡跑著玩玩。

 

在三星Galaxy S10手機上運行的PyTorchVideo加速X3D模型，運行速度快8倍，處理一秒視頻大約需要130毫秒

PyTorchVideo的真身是一個視頻理解的機器學習庫，可以服務於各種代碼庫，以及各類SOTA視頻模型模型和開源視頻模型。

以及各種視頻基礎算法，視頻數據操作，各類流行視頻數據集，視頻增廣，視頻模型加速量化，等等一些列的全棧視頻相關內容。

 

首先pip一下。

然後，在瀏覽官方的教程並上手實驗了一下之後，發現通過PyTorchVideo只需要寥寥幾行就可以訓練一個視頻模型：

from pytorchvideo import data, models, acceleratorvisual_model = models.slowfast.create_slowfast(    model_num_class=400,) acoustic_model = models.resnet.create_acoustic_resnet(    model_num_class=400,) kinetics_loader = torch.utils.data.DataLoader(    data.Kinetics(        data_path=DATA_PATH,        clip_sampler=data.make_clip_sampler(            "uniform",             CLIP_DURATION,        ),    )    batch_size=BATCH_SIZE,) visual_net_inst_deploy = accelerator.deployment.\     convert_to_deployable_form(net_inst, input_tensor)
那麼從開源的訓練模型庫中直接使用模型效果如何？
 
model = torch.hub.load("facebookresearch/pytorchvideo", model=model_name, pretrained=True)
  
官方的模型庫太豐富，簡直眼花繚亂。 
 
Kinetics-400
arch
depth
frame length x sample rate
top 1
Flops (G) x views
Params (M)
C2D
R50
8x8
71.46
25.89 x 3 x 10
24.33
I3D
R50
8x8
73.27
37.53 x 3 x 10
28.04
Slow
R50
4x16
72.40
27.55 x 3 x 10
32.45
Slow
R50
8x8
74.58
54.52 x 3 x 10
32.45
SlowFast
R50
4x16
75.34
36.69 x 3 x 10
34.48
SlowFast
R50
8x8
76.94
65.71 x 3 x 10
34.57
SlowFast
R101
8x8
77.90
127.20 x 3 x 10
62.83
SlowFast
R101
16x8
78.70
215.61 x 3 x 10
53.77
CSN
R101
32x2
77.00
75.62 x 3 x 10
22.21
R(2+1)D
R50
16x4
76.01
76.45 x 3 x 10
28.11
X3D
XS
4x12
69.12
0.91 x 3 x 10
3.79
X3D
S
13x6
73.33
2.96 x 3 x 10
3.79
X3D
M
16x5
75.94
6.72 x 3 x 10
3.79
X3D
L
16x5
77.44
26.64 x 3 x 10
6.15
Something-Something V2
arch
depth
pretrain
frame length x sample rate
top 1
Flops (G) x views
Params (M)
Slow
R50
Kinetics 400
8x8
60.04
55.10 x 3 x 1
31.96
SlowFast
R50
Kinetics 400
8x8
61.68
66.60 x 3 x 1
34.04
Charades
arch
depth
pretrain
frame length x sample rate
MAP
Flops (G) x views
Params (M)
Slow
R50
Kinetics 400
8x8
34.72
55.10 x 3 x 10
31.96
SlowFast
R50
Kinetics 400
8x8
37.24
66.60 x 3 x 10
34.00
AVA (V2.2)
arch
depth
pretrain
frame length x sample rate
MAP
Params (M)
Slow
R50
Kinetics 400
4x16
19.5
31.78
SlowFast
R50
Kinetics 400
8x8
24.67
33.82
甚至通過PyTorchVideo加持的 Lightning Flash，分類視頻僅僅只需三行。
 
from flash import VideoClassifier model = VideoClassifier.load_from_checkpoint("checkpoint_uri")model.predict("path_to_video_folder")
‍
據官方博客透露，PyTorchVideo開源了一大票視頻模型，包括臉書人工智慧實驗室近期出現在ICCV，ICML等工作：
Multiscale Vision Transformers
https://arxiv.org/abs/2104.11227
A large-scale study on unsupervised spatiotemporal representation learning
https://arxiv.org/abs/2104.14558
Multiview pseudo-labeling for semi-supervised learning from video
https://arxiv.org/abs/2104.00682
Is space-time attention all you need for video understanding?
https://arxiv.org/abs/2102.05095
Keeping Your Eye on the Ball: Trajectory Attention in Video Transformers
https://arxiv.org/abs/2106.05392
SlowFast networks for video recognition
https://arxiv.org/abs/1812.03982
X3D: Expanding architectures for efficient video recognition
https://arxiv.org/abs/2004.04730
Audiovisual SlowFast networks for video recognition
https://arxiv.org/abs/2001.08740
Non-local neural networks
https://arxiv.org/abs/1711.07971
A closer look at spatiotemporal convolutions for action recognition
https://arxiv.org/abs/1711.11248
Video classification with channel-separated convolutional networks
https://arxiv.org/abs/1904.02811
似乎MultiScale Vision Transform也位列其中，有興趣的朋友可以去一探究竟。
參考資料：
https://pytorchvideo.org/
https://ai.facebook.com/blog/pytorchvideo-a-deep-learning-library-for-video-understanding/