LLVM 初探

0x1. LLVM 架構簡介
經典的三段式設計LLVM，GCC， JIT(Java, Python) 等編譯器都遵循經典的三段式設計• 前端 (Frontend) - 詞法分析，語法分析, 生成抽象語法樹，生成中間語言 (例如 java 的字節碼，llvm 的 IR，GCC 的 GIMPLE Tuples)
• 優化器 (Optimizer) - 分析中間語言，避免多餘的計算，提高性能;• 後端 (Backend) - 根據中間語言，生成對應的 CPU 架構指令 例如 X86，ARM；通過這種設計，增加新的語言，只需要實現新的 Frontend，Optimizer 和 Backend 可以重用；同理新增新的 CPU 架構時，也只需要實現新的 Backend。LLVM 的優勢
LLVM，GCC，JIT 都採用三段式設計，LLVM 的優勢在哪裡 ？

古老，模塊化不夠 (GCC 是個整體，無法獨立使用某塊功能)。

強制 JIT 編譯，垃圾回收以及使用非常特殊的對象模型；在編譯與該模型不完全匹配的語言（例如C）時，性能欠佳。(我也不懂 😊)

• 更多請參考 https://www.kanxue.com/book-37-410.html0x2: 編譯 LLVM
cmake, python, 可以通過 homebrew 來安裝詳細要求參考 Getting Started with the LLVM System - Requirements

git clone --depth=1 https://github.com/llvm/llvm-project.git

cd llvm-project
mkdir build_with_ninja
cd build_with_ninja
cmake -DCMAKE_BUILD_TYPE=Release -DLLVM_ENABLE_ASSERTIONS=ON -DLLVM_ENABLE_PROJECTS="clang;clang-tools-extra;compiler-rt" -G Ninja ../llvm
ninja

• -DCMAKE_BUILD_TYPE=Release

• 默認 Debug，設置為 Release 可以減少硬碟空間的佔用

• -DLLVM_ENABLE_ASSERTIONS=ON

• -DCMAKE_INSTALL_PREFIX=directory

• 不指定，默認安裝在 build_with_ninja 的 bin 目錄下

• Ninja - 推薦，編譯速度更快
• 安裝方式- brew install ninja
• Unix Makefiles - 通過 make 來編譯
• Visual Studio，Xcode - 方便調試

0x3. Clang 命令1. 首先創建一個名為 "hello.c" 的 C 文件

#include <stdio.h>
int main() {
printf("hello world\n");
return 0;
}

clang -fsyntax-only -Xclang -dump-tokens hello.c

clang -fsyntax-only -Xclang -ast-dump hello.c

clang -o3 -emit-llvm hello.c -c -o hello.bc

-emit-llvm 搭配 -S 或者 -c 選項可以生成 LLVM .ll 或者 .bc 文件，.ll, .bc 都是 LLVM IR 格式，它們的區別是 .ll 是可讀的，而 .bc 不可讀。

llvm-dis < hello.bc | less

10. 將 LLVM 中間文件 (.ll 或者 .bc) 編譯為彙編文件

clang hello.bc -S hello.s

fatal error: 'stdio.h' file not found
#include <stdio.h>
^~~~~~~~~
1 error generated.

clang -I/Applications/Xcode.app/Contents/Developer/Platforms/MacOSX.platform/Developer/SDKs/MacOSX10.15.sdk/usr/include ...

0x4. 上手 Passpass 是什麼？一系列優化 和 轉換 LLVM IR 的 C++ 代碼， 主要流程如下：• Module: 包含 Function, 全局變量等

for (Module::iterator iter = M.begin(); iter != M.end(); iter++) {
Function *F = &(*iter);

• Function：包含若干 BasicBlock• BasicBlock：包含若干 Instruction• Instruction: 指令，包含操作，Value

• Value：大部分對象都可以看成 Value，包括常量，參數，指令，函數在 LLVM 源碼目錄外開發 Pass為方便表述，簡稱 「外部 pass」，外部 pass 比較靈活，不用修改 LLVM 源碼配置；嘗試製作一個列印函數名的簡單 Pass，步驟如下: 

# llvm-project 同級目錄
cd ../..
mkdir outpasses

outpasses/
|
CMakeLists.txt
PrintFunctions/
|
CMakeLists.txt
PrintFunctions.cpp
...

3. outpasses / CMakeLists.txt 內容如下：配置 LLVM_DIR - LLVM_DIR 為 LLVM 編譯時的安裝目錄

cmake_minimum_required(VERSION 3.4)

set(ENV{LLVM_DIR} ~/llvm/llvm-project/build_with_ninja/lib/cmake/llvm)

find_package(LLVM REQUIRED CONFIG)
add_definitions(${LLVM_DEFINITIONS})
include_directories(${LLVM_INCLUDE_DIRS})
link_directories(${LLVM_LIBRARY_DIRS})

# add c++ 14 to solve "error: unknown type name 'constexpr'"
add_compile_options(-std=c++14)
add_subdirectory(PrintFunctions) # Use your pass name here.

4. PrintFunctions/CMakeLists.txt 內容如下：

add_library(PrintFunctions MODULE
# List your source files here.
printFunctions.cpp
)

# LLVM is (typically) built with no C++ RTTI. We need to match that;
# otherwise, we'll get linker errors about missing RTTI data.
set_target_properties(PrintFunctions PROPERTIES
COMPILE_FLAGS "-fno-rtti"
)

# Get proper shared-library behavior (where symbols are not necessarily
# resolved when the shared library is linked) on OS X.
if(APPLE)
set_target_properties(PrintFunctions PROPERTIES
LINK_FLAGS "-undefined dynamic_lookup"
)
endif(APPLE)

5. PrintFunctions/printFunctions.cpp 內容如下：

#include "llvm/Pass.h"
#include "llvm/IR/Function.h"
#include "llvm/Support/raw_ostream.h"
#include "llvm/IR/LegacyPassManager.h"
#include "llvm/Transforms/IPO/PassManagerBuilder.h"
using namespace llvm;

namespace {
struct Hello : public FunctionPass {
static char ID;
Hello() : FunctionPass(ID) {}

virtual bool runOnFunction(Function &F) {
errs() << "I saw a function called " << F.getName() << "!\n";
return false;
}
};
}

// Automatically enable the pass.
char Hello::ID = 0;
static RegisterPass<Hello> X("hello", "Hello World Pass",
false /* Only looks at CFG */,
false /* Analysis Pass */);
static RegisterStandardPasses Y(
PassManagerBuilder::EP_EarlyAsPossible,
[](const PassManagerBuilder &Builder,
legacy::PassManagerBase &PM) { PM.add(new Hello()); });

6. 編譯 pass 得到 libPrintFunctions.so

libPrintFunctions.so 在 PrintFunctions 文件夾中

cd llvm-project
./build_with_ninja/bin/clang -I/Applications/Xcode.app/Contents/Developer/Platforms/MacOSX.platform/Developer/SDKs/MacOSX10.15.sdk/usr/include -Xclang -load -Xclang ../outpasses/PrintFunctions/libPrintFunctions.so ../llvmtest/test.c

#include <stdio.h>
int main() {
int a = 0;
if ( a = 1) {
printf("123");
}
return 0;
}

I saw a function called main!

./build_with_ninja/bin/clang -I/Applications/Xcode.app/Contents/Developer/Platforms/MacOSX.platform/Developer/SDKs/MacOSX10.15.sdk/usr/include -o3 -emit-llvm test.c -c -o test.bc

./build_with_ninja/bin/opt -load ../outpasses/PrintFunctions/libPrintFunctions.so -hello < ../llvmtest/test.bc

Pass 和 PassManager 的關係PassManager 管理 Pass，解決多個 Pass 依賴，傳值等問題，例如 PassA 需要等待 PassB 執行完成後才執行；Pass 需要註冊到 PassManager 中：• 註冊到 opt 中, hello 命令行可選參數，「Hello World Pass」 幫助說明

# 註冊到 opt 中，
static RegisterPass<Hello> X("hello", "Hello World Pass",
false /* Only looks at CFG */,
false /* Analysis Pass */);

通過 opt -hello 來使用 HelloPass

opt -load lib/LLVMHello.so -hello < hello.bc > /dev/null

• 註冊到標準編譯流程中，默認會執行 HelloPass，例如通過 clang 調用

static llvm::RegisterStandardPasses Y(
llvm::PassManagerBuilder::EP_EarlyAsPossible,
[](const llvm::PassManagerBuilder &Builder,
llvm::legacy::PassManagerBase &PM) { PM.add(new Hello()); });

移植到 LLVM 源碼目錄• 拷貝 PrintFunctions 目錄到 LLVM 源碼目錄的 lib/Transform 目錄下• 在 lib/Transform/CMakeLists.txt 中新增 add_subdirectory(PrintFunctions)• 重新編譯，可以得到 libPrintFunctions.so 通過 Xcode 調試 Pass參考• 了解 LLVM 是什麼，基本架構模塊，IR 是什麼，pass 的作用

• 閱讀 LLVM Overview 了解 LLVM 的模塊劃分以及各模塊基本功能。
• 閱讀 The Architecture of Open Source Applications 了解 LLVM 的架構

• 閱讀 get_started 了解如何編譯 LLVM
• 閱讀 llvm cmake 參數 了解編譯時 cmake 參數的含義
• 閱讀 CMake 簡介 了解 CMake 語法

• 根據 writing an LLVM pass 上手嘗試，了解 pass 的使用流程
• ProgrammersManual 閱讀開發手冊了解編寫 pass 可能涉及到的 API
• IR 手冊 略讀 IR 手冊，了解 IR 的基本特徵

• LLVM 中文網
• Xcode調試一個LLVM Pass
• LeadroyaL's llvm 系列文章

• llvm cmake 參數
• IR 手冊
• LLVM command guide llvm-as, llvm-dis, opt 等命令的使用說明

 推薦↓↓↓ 

涵蓋：程式設計師大咖、源碼共讀、程式設計師共讀、數據結構與算法、黑客技術和網絡安全、大數據科技、編程前端、Java、Python、Web編程開發、Android、iOS開發、Linux、資料庫研發、幽默程式設計師等。