平涼市位于隴山東麓,涇河上游,是關中西去北上的古道要沖;又依六盤三關之險,歷來是兵家必爭之地。歷史悠久,建制變革較大。公元前二七二年,秦昭王滅義渠戎,置隴西、北地、上郡,平涼入秦的版圖,屬北地郡。漢武帝元鼎三年(公元前一一四年)分北地郡置安定郡(治所在高平,今寧夏回族自治區固原縣境),平涼全境改屬安定郡;東漢并涇陽入朝那,平涼屬涼州刺史部安定郡的朝那、烏氏二縣。三國時曹魏于郡上設州,此地屬雍州安定郡,恢復了涇陽縣。西晉又廢涇陽縣,新置都盧縣,平涼市境東部屬朝那縣,西部屬都盧縣。
十六國南北朝是最亂的時期,平涼全境先后為前趙、后趙、前秦、后秦、夏、北魏、西魏、北周所領有,建制變化很大。前秦永興二年(公元三五八年)苻堅欲進攻前涼,置平涼郡(初治高平鎮,后治鶉陰),取平定涼國之意,平涼之名始見于史冊。以后,前秦苻堅曾以平涼為根本,向后秦反攻:夏赫連定曾即皇帝位于平涼。北周武帝建德元年(公元五七二年)于今市境的西北部治平涼縣,屬長城郡。是平涼市建制的開始,距現在一千四百一十年。
隋代,開皇三年(公元五八四年)廢郡置州,平涼市屬原州。大業初又廢州置郡,平涼市屬平涼郡。
唐武德元年(公元六一八年)復置原州,治平高。天寶元年(公元七四二年)再改平涼郡,旋復為原州,平涼市屬原州。貞元七年(公元七九一年)涇原節度使劉昌筑平涼城扼彈箏峽口,奠定今平涼市城址,距現在一千一百九十一年。憲宗元和四年(公元八零九年)移行渭州于平涼,平涼市廢。廣明初復陷吐蕃,中和四年收復為渭州治。
唐末,李茂貞據鳳翔稱岐王,渭州屬于岐,歷后梁。后唐明宗天成元年(公元九二六年)滅岐,渭州屬后唐。后唐清太二年(公元九三五年)以原平涼市的安國、耀武二鎮復置平涼市,屬涇州;后晉天福五年( 公元九四零年)改屬渭州。 宋代,仍為渭州治所,屬涇原路,為涇原路經略安撫使駐地,與西夏接壤,是當時的軍事重鎮;至大觀二年,共領涇州、原州、渭州、西安州、會州、德順軍、鎮戎軍、懷德軍等五州三軍,遂代涇州、原州成為這一地區的政治軍事中心。徽宗政和七年(公元一一一七年)置平涼軍,設節度使。 金代開六盤道,大定二十七年(公元一一八七年)始置平涼府,轄五縣,屬鳳翔路。平涼市為府治所。
元代仍以平涼為府,轄三縣,屬鞏昌總帥府,并潘原縣入平涼市,平涼市仍為府治所。自此,平涼市的轄境再未有大的變動。 明代的平涼府轄三州七縣,屬陜西布政使司關內道;平涼市仍為府治所。
清初沿明制,屬陜西布政使司。康熙八年(公元一六六九年)改屬甘肅布政使司,平涼仍為府,府上設道:初為平慶涇固化道,同治末改為平慶涇固化鹽法兵備道,平涼縣為道、府治所。
一九一二年即民國元年廢府,仍設道。一九一三年改平慶涇固化道為隴東道,設觀察使;后改為涇原道,設道尹。一九二七年改設涇原區行政長,一九三五年改為甘肅省第二區行政督察專員公署。平涼縣為道、署駐地.一九四七年七月二十八日平涼解放,成立了平涼市人民政府。一九五零年由縣城內劃出城關和郊區另設平涼市。一九五八年十二月撤銷平涼、華亭兩縣并入平涼市。一九六一年十一月恢復華亭縣。一九六四年元月撤銷平涼市,恢復平涼縣。二零零二年九月,平涼撤地建市。