在行星與恆星之間，存在著一種特殊的天體，那就是「褐矮星」。褐矮星被認為是一種失敗的恆星。由於褐矮星的構成類似於太陽，是一顆氣態天體，但質量不夠大，中心溫度不夠高，不足以產生核聚變反應，於是被認為是演化恆星過程中失敗的宇宙「棄兒」。
對於褐矮星的質量問題，我們要引入木星質量這個概念。木星的質量一般被認為是氣態行星所能達到的最大質量；形成一顆恆星所要的最低質量為70個木星質量；質量在13個木星質量至70個木星質量直接的氣態天體被歸類為褐矮星範圍。褐矮星是一種既不屬於恆星也不屬於行星的天體，是介於恆星與行星之間的天體，具有兩者共同的特徵，整個構成類似於太陽，卻於木星一樣有著厚厚的大氣層。研究褐矮星，能幫助我們更加了解恆星與行星是怎麼養形成的。
關於褐矮星的形成過程，科學家們有多種猜測，其中有兩種理論比較經典，一種是拋射理論，另一種是原恆星盤不穩定理論。拋射理論認為，恆星形成的過程中，在原恆星胚還沒到達最低恆星質量時，與其它天體產生了碰撞，導致前恆星核被拋射出去，致使原恆星胚變成了褐矮星，這個理論得到了雙褐矮星系統的支持。原恆星盤不穩定理論則是，大質量的原恆星盤在形成原恆星胚的過程中，被其它恆星所幹擾，其它恆星產生的引力，使得大質量原恆星盤碎裂，導致原恆星胚發育失敗，形成褐矮星。但是不管哪個理論，都只能證明褐矮星的部分形成機制。
褐矮星作為一顆大質量的氣體天體，在一定程度上是可以進行核聚變反應的。當褐矮星的質量達到13個木星質量時，中心就可以開始氘的聚變反應，但是最大的褐矮星發生的熱核反應最多也只能維持1億年的時間。加上氘的聚變反應所放出來的能量與氫相比，只能用微乎其微來形容，所以褐矮星不會發光，而且會隨著時間的流逝逐漸冷卻。越冷的褐矮星就越不容易被觀察到。
一般來說判斷行星與恆星是幾乎不會出現差錯的，但放在褐矮星身上，這個概率就不一定了。最近就有外媒報導，2016年發現的一顆褐矮星SIMP被降級為行星，因為它的質量還沒到能夠引起氘聚變反應的13個木星質量。但是作為射電望遠鏡首次觀測到的系外行星，這顆SIMP仍然是引發了足夠的關注。