1927年11月，劉文典應安徽省政府的邀請，擔任安徽大學籌備委員會委員。1928年2月13日，安徽大學籌備委員會推選劉文典為安徽大學預科主任。1928年8月，安徽省政府聘請劉文典為安徽大學文學院院長，並主持校政，代行校長職權。
劉文典在主持安徽大學校政期間，積極維護學校和師生的權益，堅持學術獨立與思想自由，希望安徽大學從建立之日就能像蔡元培校長領導的北京大學一樣，做到「兼容並蓄」和教授治校。
劉文典主張「大學不是衙門」，大學作為教師和學生自治團體應昂然於世，大學的使命和責任應超脫於任何潮流、不受任何派別控制。由於不利的環境，劉文典在籌備安徽大學時遇到了前所未有的困難，「處處受人欺負」，以至於他自己自責「把安大預科辦的不成樣子」，常常對人說「這次回來，在祖墳上掘了一個大坑，來害自家的子弟，個人身敗名裂不足惜，公家事被我誤盡了」。
劉文典積極提倡學術自由、推行新式教育。他認為教育是自主的，教育是為了培養一批有先進理想的熱血青年，繼而為國家的自強而努力，教育只有擺脫體制的幹預才能培養真正的人才，大學才會有獨立的精神，自由開放的思想。於是，劉文典積極改變舊的辦學體制，親自擬定《安徽大學組織大綱草案》。
《安徽大學組織大綱草案》共九章十七條，確定校名為「安徽大學」，宗旨為「研求學理以期造成新中國之學者及建設人才」，在校務管理上採取「會議制」：
（甲）校務會
以大學各學院院長、圖書館館長、文書主任及教授選出之代表組織之，其會議之權限如下：
（一）教育方針；
（二）全校風紀；
（三）各學系及科之增設與變更；
（四）各學院相關聯之課程事項；
（五）考查學生成績事項；
（六）提出各學院之總預算於評議會；
（七）覆核各學院之決算；
（八）決議於評議會之議案；
（九）提決教授會之議案；
（十）其他關於各學院之共同事項。
（乙）教授會
（一）以教授制……設之權限如下：
（二）選舉評議會及校務會之代表；
（三）建議於評議會及校務會；
（四）討論評議會及校務會交議事項；
（五）其他關於教授全體之事項。
（丙）學院會
以本院長、系科主任、教授、副教授及有關係之他院系科主任、教授、副教授組織之，其會議之權限如下：
（一）提出本學院之預算；
（二）復校本院系之預算；
（三）議定本學院之課目及課程；
（四）為本學院事建議於評議會及校務會之議案；
（五）審定本學院學生畢業論文。
上述這些條款與蔡元培主張的「教授治校」的理念一脈相承。1912年10月24日，時任教育總長的蔡元培頒發由他親手起草的《大學令》，其中就明確提出要設立評議會，大學各科設立教授會，「其目的是為了改變學校事務由校長等少數人說了算的專制管理，是民主思想的反映」。這一主張在北京大學得到了較好的實踐，進而影響到在北京大學任職的劉文典，並伴隨著他在安徽大學執掌校政，具體而細緻地落地到安徽大學的辦學實踐中，如《安徽大學組織大綱草案》第六章「職制」就明確規定，「本大學各學院設院長一人，每院之系或科，各設主任一人，由院長聘任之」，「各學院教授、副教授、講師、助教均由院長依據大學教授條例聘任之」。劉文典這種教授治校的管理體制明顯受到了北京大學校長蔡元培辦學理念的影響。
劉文典希望安徽大學是一個自由的所在，不受外在世界權力、商業、世俗等的幹擾，能夠讓每一個在安徽大學讀書的學生靜靜地享受學術的滋養。因此，一時間安徽大學成為全國重要的學術重地，不少學者慕名來安徽大學任教。劉文典這種崇尚學術自由的理想與國民黨安徽省當局，尤其是時任安徽省教育廳的廳長韓安發生了矛盾，因此，安徽省教育廳總是以各種理由幹涉學校內部事務，並時常以各種藉口搜查學校，製造事端。
劉文典在主持安徽大學校政期間，還不遺餘力地保護學生。大革命失敗後，青年學生成為當時國共兩黨重點爭取的群體之一。安徽大學在每年招生的時候不是以政治信仰作為入學的標準，而是以學生的成績和品行作為重要的準則，因此，一旦考入安徽大學便成為眾多安徽大學學子中的一員，劉文典就會盡校長的責任去努力地保護他們的權益。1928年初，劉文典突然接到國民黨安徽省黨部的密令，要求其對一名姓王的進步學生嚴密監視。劉文典在收到密令後立即找到該學生詢問，在了解情況後，劉文典立即派員秘密將該學生送上輪船急速離開安慶。當晚，國民黨安徽省黨部派人到安徽大學搜查，結果，沒有找到此學生。劉文典這種保護學生的做法，再次引起國民黨安徽省黨部的不滿。
正是因為劉文典愛生如命的辦學作風，使得安徽大學成為了進步青年入學的首選目標。安徽大學文學院開始招生的時候，「正值大革命失敗後，流散在各地的共產黨員、共青團員，如俞昌準、劉樹德、王金林、陳一煌、歐陽良劭、劉復彭等都紛紛考入安徽大學」。他們利用安徽大學學生這塊招牌掩護自己，在學校裡秘密組織馬克思主義研究會，趁著夜深用炭墨在學校的牆壁上書寫革命標語，還經常散發、張貼一份名為《血光》的革命刊物。安徽大學學生晚上下自修回來後，經常一翻被褥，就能看見八開紙油印的《血光》，心裡不由「咯噔」一下：「原來學校裡還真有共產黨！」對於這些，劉文典其實非常清楚，但他沒有反對。因為，他認為大學是教書育人的地方，即使有學生發表各種主張，也只是一種言論自由；大學需要的是這種自由，這樣，學生的頭腦才沒有被禁錮，學術才能自由。然而，劉文典這種做法遭到了一部分人的痛恨，一些人向國民黨安徽省黨部舉報劉文典通共，雖然最終此事不了了之。但是，一些安徽大學學生卻為謠言所震怒，他們聯合起來發表措辭嚴厲的聲明：「劉主任被控有共產行動，生等驚聞之下，憤慨同深。劉主任精通中西學術，而國學尤稱獨到，為人誠懇率真，熱心教育，此次辦理預科，尤見精勤剴切之忱，生等景仰靡窮絕無控告之舉。所謂宣傳共產尤屬子虛，顯系奸人盜名誣控」。