音位和音素都是最小的語音單位，但二者不是一回事，它們既不相同，但又有聯繫。音素是從音質角度劃分出來的最小語音單位，也就是說，是從語音的物理屬性和生理屬性角度劃分出來的，只要是音色上有差別，就是不同的音素，而不管它是否區別意義。音位是從語音的社會屬性角度劃分出來的最小語音單位，只有具有社會性特點，具有區別詞形和區別詞義作用的語音單位才是音位。
一個音位實際上概括了好幾個近似的音素。因此，音位劃分考察的是與意義的區別相對應的語音差別，與意義區別無關緊要的音質上的差別則不加以考慮的音素，因為某個音素較典型，就選擇它來作為這一個音位的代表。一個音位可以是一個音素構成的，也可以是一組音素構成的，這組音素在音質上彼此有區別，但是不能區別詞的語音形式，語音感上又比較近似，所以概括在一起。由於劃分角度不同，所以同樣一個最小的語音單位，從自然屬性角度看是音素，從社會屬性角度看是音位，比如p和p『，從自然屬性看，是兩個不同的音素，從社會屬性角度看，則要結合具體的語言來考察，在漢語中，它們是兩個音位，在英語中，它們是一個音位。
為了同一般音素相區別，音位音標都用兩條左斜線分隔開，如/a/、/p/、/k/、/b/等等。