安帝永初四年（公元111年），張衡應徵進京，先後任郎中、太史令、公車司馬令等低、中級官職。其中擔任太史令時間最長，前後達十四年之久。太史令是主持觀測天象、編訂曆法、候望氣象、調理鐘律（計量和音律）等事務的官員。在他任職期間，對天文歷算進行了精湛的研究，做出了重大的貢獻。
漢朝時，關於天體運動和宇宙結構的學說已經出現了三種：蓋天說、渾天說和宣夜說。蓋天說創立最早，它認為天在上，地在下，天象一個半圓形的罩子，大地是平的，或者象一個倒扣著的盤子。渾天說主張天是渾圓的，日月星辰會轉入地下。至於大地，早期的渾天說認為大地是平的，東漢三國時期的陸績（公元187－219年）等進一步提出了大地是球形的概念，使渾天學說臻於完備。宣夜說卻認為天沒有一定的形狀，而是無邊無際的充滿氣體的空間，日、月、五星（金、木、水、火、土五大行星）等都飄浮在氣體中。
張衡根據自己對天體運行規律的認識和實際觀察，認真研究了這三種學說，認為渾天說比較符合觀測的實際。他繼承和發展了前人的渾天理論，在西漢耿壽昌發明的渾天儀的基礎上創製了一個能夠精確在表演渾天思想的「渾天儀」。他精通天文、歷算，具有很強的革新思想，先後寫出了《靈憲》、《靈憲圖》、《渾天儀圖注》等天文學著作，成為東漢中期渾天學說的代表人物之一。
張衡之所以能夠在科學上做出傑出成就，成為偉大的科學家，和他堅持唯物觀點、反對唯心主義和迷信思想有密不可分的聯繫。張衡一生為我國的科學文化事業作出了卓越的貢獻，是我國古代偉大的科學家之一。他謙虛謹慎、勤學不倦，在所從事的事業中表現出了一絲不苟、精益求精、不畏強權、勇於進取的研究風格。而他不慕名利的高尚品德更值得我們學習。
永和四年（公元139年），張衡請求告老還鄉不準，又被調到朝中做尚書，但只任職一年就與世長辭了，終年六十一歲。
張衡一生所著的天文學著作，以《靈憲》最為著名。這是一部闡述天地日月星辰生成和它們的運動的天文理論著作，代表了張衡研究天文的成果。它總結了當時的天文知識，雖然其中也有一些錯誤，但還是提出了不少先進的科學思想和獨到見解。例如，在闡述渾天理論的時候，雖然仍舊保留著舊的地平概念，並且提出了「天球」的直徑問題，但是張衡進一步明確提出在「天球」之外還是有空間的。他說：「過此而往者，未之或知也。未之或知者，宇宙之謂也。宇之表無極，宙之端無窮。」就是說，我們能夠觀測到的空間是有限的，觀測不到的地方是無窮無盡，無始無終的宇宙。這段話明確地提出了宇宙在時間和空間上都是無窮無盡的思想，是十分可貴的。