自秦朝以来，作为国家一级行政区划，其名称经过演化，其主体名称元朝“行省”，到清朝为“省”，之后以“省”的形式固定下来。
秦朝时期直属秦朝中央政府的行政区为“郡”，秦立国之初设立“三十六郡”；郡设守（郡守，主持民政）、尉（郡尉，主持军事）、监（郡监，主持监察事务）；郡守下设郡丞，作为郡守的副职。秦末增至40郡。
西汉实行郡国制，西汉初年设有60多个郡，至公元2年共103郡、国（封国）；自西汉元封五年（前106年）始在郡之上又设了13“行部”，每个“行部”管辖若干郡（国）。但此时的行部是监察区，不属于真正意义上的行政区。郡的最高行政长官最初称“郡守”，汉景帝时改称“太守”。
东汉时期，全国分为14个一级行政区，即13州和1个西域都护府；州下辖郡、国。
三国时期，魏国13个一级行政区即1个司隶校尉和12州；吴国5个州；蜀国2个州。
西晋时期，全国分为12州。
隋朝时期。隋初实行州、县两级制。炀帝时改州为郡。 唐贞观元年（627年），太宗分天下为10道；唐开元二十一年（733年），又分天下为15道，即将山南道、江南道各分为东、西道，又增设了京畿道、都畿道和黔中道。 唐玄宗天宝年间，在边境设十节度使。
唐高祖武德八年（625年）以后，在室韦部（黑龙江上、中游和额尔古纳河两岸）设置行政机腹，任命室韦部首领为都督等官职。
唐玄宗开元元年（713年）在粟末地区（松花江上游_设置忽汗州，任命粟末首领大祚荣为州都督，并封他为左骁卫大将军、渤海郡王。此后，粟末即专称渤海。
唐开元十年（722年），封黑水（黑江龙中下游地区）首领倪属利稽为勃利州刺史。勃利州治所在乌苏里江口东岸的伯力（今俄罗斯哈巴罗夫斯克）。
唐开元十三年（725年），在黑水地区设置黑水军。次年，又以其最大部落为黑水都督府，其余各部为隶属于都督府的州。都督府辖地包括黑龙江中下游两岸，北抵小海（今鄂霍次克海）。
唐武后长安二年（702年）设置安西部护府，辖地包括天山南路和帕米尔以西地区。
唐太宗贞观十四年（640年）置北庭都护府，辖地包括天山北路和巴尔喀什湖以西至雷翥海（今中亚咸海）的广大地区。 北宋分全国行政为二十四路，军事为三十一路；南宋分全国为十七路。路下辖府、州、军、监、县。
辽朝的一级行政区分为5道，道下设府、州、军、城4种政区。
金朝划分为十九路。 元朝共设12个行省（1个中书省和11个行中书省）取代路成为第一级政区，另置其他行省和直属宣政院或朝廷直接管辖（不属行省）的其他地方。
明朝设16行省（2个直隶和14个承宣布政使司），另外有主要7个附属国。
清朝分为十八省（布政使司）、五个将军辖区、两个办事大臣辖区共二十五个一级行政区域，另设内蒙古等旗盟即内蒙古六盟、套西二旗和察哈尔八旗。

在夏商周时期，中国逐渐由奴隶社会过渡到封建社会。在原始社会，人们按氏族、部落进行生产和生活，根本不需要行政区划，也没有地域区划的概念。直到夏朝建立，中国行政规划才渐渐萌芽。对于先秦时期行政规划有“十二州”、“九州”、“五服”之说，其中以“九州”之说较为有名。它是传说中夏帝朝大禹时代的中原地区的行政区划制度，起于春秋、战国时代。在西汉以前，都认为“九州”系禹治水后划分的，但具体的说法各书所载互不相同，大致有四种说法：(1)《尚书·禹贡》记载九州为冀、兖、青、徐、扬、荆、豫、梁、雍；(2)《吕氏春秋·有始览》有幽州，无梁州；(3)《周礼·职方》有幽州、并州，无梁州、徐州；(4)《尔雅·释地》有幽州、并州、营州，无梁州、青州、徐州。各地所载各州的地域亦不尽相同，如泰山以北、以东地区在《禹贡》中属于青州，在《职方》中属于幽州；《职方》中的青州相当于《禹贡》中徐州的大部分和豫州的一部分。
这些“九州”说实际上是春秋、战国时期学者对当时所知周王朝领土所做的地理区域的划分，并不是某个朝代的行政区划。然而，在历史上把它们长期地误认为是行政区划。在西汉以前，误认为《禹贡》是大禹治水后所划分的九州，代表夏帝朝的行政区划制度；《汉书·地理志》最先把《周礼·职方》中的九州误称为代表周王朝的行政区划制度；三国时期魏人孙炎在注释《尔雅》时，又把《尔雅·释地》中的九州牵强附会地解释为代表商帝朝的行政区划制度；以后的经学家进一步推而广之，把“九州”误称为夏、商、周三代的行政区划制度。
商帝朝、周王朝实行的是分封制，即“封邦建国”，各个领主在自己的封国内独立为君主：“天子拥有天下、诸侯拥有国、士大夫拥有采邑”，整个商、周朝无所谓任何行政区划。但是，到了春秋时期，周室衰微，一些诸侯国逐渐强大，开始发展中央集权制度。他们在新开拓的疆土上不再进行分封，而由君主直接统治，为了便于统治，开始萌生了县、郡等行政区划的单位。
公元前221年，秦国最後灭齐国，秦皇朝建立。秦朝建立之後，秦始皇采纳丞相李斯的建议，取消分封制，国家管理上推行单一的郡县制，废诸侯，立郡县，分天下为36郡；其后南并五岭以南之南越地，于秦始皇三十三年置桂林、南海、象郡；北取阴山以南地置九原郡，之后陆续分析出东海、常山、济北、胶东、河内和衡山等郡。
秦朝行政区划分为郡、县两级，以郡统县。秦始皇在前221年分全国为36郡，到秦末增加到40多个郡。县共有1000多个，一个郡一般管十几到二三十个县。
县是我国最早出现的行政区划单位名称，早在公元前688年（春秋初期），秦国便设立了县。《史记·秦本纪》曰：武公十年（前688年）“伐邽、冀戎，初县之”；武公十一年（前687年）“初县杜、郑”。就是说在春秋初，秦武公在新开拓的疆域首先设立邽县（今甘肃天水市）、冀县（今甘肃甘谷县），第二年又设置杜县（今陕西杜陵县）、郑县（今陕西华县）。接着，楚、晋等国亦置县。
现在看到的最早的关于郡的记载见于《国语·晋语》。晋国公子夷吾对秦公子挚讲，“君实有郡县”。意思是说，晋国犹如秦国的郡县。这是鲁僖公九年（前651年）的事，说明秦国在公元前651年即春秋前期已置有“郡”。战国时代，郡的设置增多。例如，《史记·秦本纪》记载，惠文王十年（前328年）“魏纳上郡十五县”；惠文王更元十三年（前312年）“攻楚汉中，取地六百里，置汉中郡”。
《汉书·地理志》云：“秦京师为内史，分天下作三十六郡。”内史为秦国都所辖的地区，当时唯有它不称为郡。始皇二十六年置36郡，其后陆续有增置，最后秦郡究竟有多少？当年所置的36郡，是否包括内史？对此前人有多种说法，直至今天仍有分歧。现按较多学者认可的全祖望在《汉书地理志稽疑》中的考据，摘录秦郡如下：
内史，领京畿诸县，不在36郡内。
陇西、北地、上郡、汉中、蜀郡、巴郡、邯郸、巨鹿、太原、上党、雁门、代郡、云中、河东、东郡、砀郡、三川、颍川、南郡、黔中、南阳、长沙、楚郡、九江、泗水、薛郡、东海、会稽、齐郡、琅邪、广阳、渔阳、上谷、右北平、辽西、辽东。以上为始皇二十六年所置36郡。
南海、桂林和象郡三郡，为始皇三十三年（前214年）南平百越后置设。
九原，始皇置。始皇三十三年，蒙恬北伐匈奴，收回河西40余县（今河套一带），置九原郡，当不在始皇二十六年所建36郡内。但具体置郡时间至今未见有力证据。
闽中郡，始皇置，不知具体置年。但从地理位置而言，当在始皇三十三年南平百越后所建。
《汉书·地理志》所云36郡中，少了楚郡、黔中（这两郡见于《史记》）、东海（见于《水经注》）、广阳（见于《汉书·地理志》本注），而多出南海、九原、桂林、象郡。这就给秦郡的历史分歧留下了根子。事实上，始皇统一中国时分设36郡中，没有南海、九原、桂林和象郡，当时南海等郡地还未纳入秦王朝的版图。所以，《汉书·地理志》载始皇二十六年所建36郡中所缺4郡，应按《史记》等书补充楚郡等4郡。
以上共为42郡（包括内史）。谭其骧先生主编的《中国历史地图集》认为秦王朝共有47郡。
到了汉朝，有些郡分封给诸侯王，称为王国。汉朝初年诸侯王掌有王国的实权，一国可以有几个郡。
汉初，刘邦鉴于秦王朝孤立而亡的教训，广建王侯。先封“异姓七国”（韩、赵、楚、淮南、燕、长沙、梁），继而在消灭异姓六国（长沙除外）的过程中建立“同姓九国”（楚、荆、代、齐、赵、梁、淮阳、淮南、燕），实行了郡、国并存制。

虽然刘邦通过各种途径除去了韩信、英布等大部分的异姓王，但仍设立了九个刘姓诸侯王以为朝廷之援。此时的诸侯国实力强大，有独立的军事政治体制与职权，而且多数跨数郡之地，大者甚至有四至六郡。天下六十余郡，有四十余郡在各诸侯王手中，而汉天子所掌握的郡尚不足二十。
汉文帝、汉景帝时期，朝廷多次设法削弱诸侯王的势力，最终爆发了“西汉七国之乱”。汉廷平定诸王叛乱后，通过推恩令等手段乘势削减诸侯王国领土，撤销了诸侯王的统治权，规定一国只能管一郡，王国官吏由朝廷直接任命，郡和国在行政区划制度上已没有了区别，不同的只是名称而已。而且诸王的军政权力也被剥夺，仅保留其在封地内的财政收入（王国的税收不交给朝廷）。
国内基本安定的情况下，汉武帝朝大幅拓展了国土疆域，在北方、西北、西南地区都控制了中华文明之前从未到达的区域。面对历史上前无古人的辽阔疆域，武帝除了增设郡县外，还建立了刺史制度，把全国的郡国分为13个刺史部，另外首都附近的7个郡称为司隶校尉部，这是一种监察区域，并不是行政区域，刺史只负责监察地方长官，不管地方行政。这些刺史部的名称大多以《禹贡》、《职方》里的州名命名，所以当时人常称一部为一州，进而形成了刺史部或“州”的概念。虽然此时的州并非正式的行政区划，但是它可以有效的将朝廷直接管理的对象从一百多个郡国单位，缩减到十几个州的单位，对今后数千年的中国历史产生了深远的影响。
根据《汉书·地理志》记载，西汉后期全国有103个郡、国，其中除三辅（沿京畿地区的三郡）外，有郡80、国20；大郡领县三、五十个，大国领县最多十余个，小国仅领县三、四个。可见，西汉末年郡和国级别虽相同，实际上是郡大国小。
西汉还设立了西域都护府，执掌西域军政大权。
东汉行政区划，在汉光武帝刘秀时确定，基本沿用了西汉的郡县制为实体、州刺史部为监察的体制，分全国为十三个州刺史部。与西汉的主要区别是正式将司隶校尉部于其余十二州并列，将北方的朔方刺史部并入并州，将南方的交趾改名为交州。到东汉中期，又在边境的少数民族地区设立了属国，相当于郡一级的政区。
州在东汉并不是一级行政区划。直到东汉末年，州刺史仍然只是没有固定治所的高级监察官吏，而且最初品秩只有六百石，甚至不如县令。但到了黄巾之乱后，汉灵帝为了对抗各地黄巾军余部及其它叛乱势力，将部分刺史升为州牧，州由监察区变为行政区，成为郡以上的一级政区。而且刺史与州牧被授权统一掌管一州实际军政大权，最终促成了天下分裂割据的局面和三国时代的出现。州牧与刺史因此成为东汉末年第一级地方行政长官，权位在太守之上，而刺史有功往往可以晋升州牧。于是，全国的行政区划由虚的三级制演变为实的三级制，由郡县制演变为州郡县制。东汉末，曹操又倡复“九州说”，废幽、并两州，合入冀州；省去司隶校尉部和凉州，并为雍州；弃交州，分入荆、益两州。全国仅有兖、豫、青、徐、荆、扬、冀、益、雍9州。
三国行政区划制度与东汉末年极为相似，唯各州刺史、州牧的权利进一步增大，三国机要人物诸如刘备、曹操、诸葛亮等都曾担任州牧。
州的划分，以东汉十三州为基础，但是又有少数拆分州郡的情况。194年，东汉将凉州东部与司隶西部合成雍州，213年，凉州被并入雍州，但到220年曹魏又恢复凉州。荆州、扬州长期被曹魏与东吴分占，而且由于其本来面积广大，所以增设了大量郡置。226年，东吴从交州中分出广州，后取消，后又复设。
蜀汉灭亡后，晋在269年左右从益州中分出梁州，之后又在南中设立宁州，从雍、凉、梁中又分出秦州，从幽州中分出平州，最后加上东吴的交州、广州，形成统一初年的十九州格局。
三国也是中国历史上第一次出现三个国家都号称是正统，且名义上的目标都是统一天下。其中蜀汉虽然偏居中国的西南部，但是其势力的很多重要人物的祖籍或故乡都在中国北方。于是他们被封侯时，其封地很多是其籍贯所在地，实际根本不可能获得曹魏境内的封邑的收入，形成了中国历史上第一批“虚封”、“遥领”的列侯。最著名的如丞相诸葛亮被封“武乡侯”，武乡是其故乡徐州琅邪郡的侯国。此外，蜀汉还有为侯设县的情况，如关羽曾被东汉封为“汉寿亭侯”，刘备入蜀后改葭萌县为汉寿县。张飞的“西乡侯”封邑汉中郡西乡县，也是因侯而名。
西晋行政区划，继续承袭了东汉末年奠定的州、郡、县三级制。晋武帝结束了三国时期近百年的战乱，于是对天下州郡重新进行合并划分，但是基本保留了三国的州制，对于原蜀汉和辽东等较难管控的地区实行进一步的划分，建立了十九个州。但是西晋的统一十分短暂，仅三十多年后就面临灭亡的局面，在此期间又分出了两个州，最终灭亡时共有二十一州。
三国时魏有十二州，吴有四州，蜀有一州，西晋将吴、魏分治的荆州、扬州合并，得十五州。晋武帝从原凉州中分出了秦州，从益州分出了梁州、宁州，从幽州分出了平州，共计十九州。晋惠帝分荆、扬置江州，晋怀帝分荆、江、广三州置湘州，最终得二十一州。
西晋各州的长官仍称刺史，而且制度进一步明确，其辅官有别驾、治中、诸曹从事等。郡的长官仍称太守，而各诸侯王国的长官则称内史。县的长官仍然是县令或县长。
西晋的诸侯王体制与前几朝有很大区别，虽然仍然有自己的封地，但是却不“就国”，而是继续在朝廷任职。于是虽然各王在自己封地的权力与东汉、三国时一样，仅限于财政收入而无任何实权，但他们在朝廷掌握的政权兵权却成为国家权力的重要组成部分。最终，日渐权大的诸王引起了“八王之乱”，导致了西晋的灭亡。
东晋政区袭承西晋，也是实行州郡县三级制。但是其州郡越分越多，辖区缩小。西晋末年永嘉之乱后，晋室南迁，偏安江左，宋、齐、梁、陈先后承袭，社会局势一直不安宁，正如《宋书·州郡志》所说的：“境土屡分，或一郡一县割成四、五，四、五之中亟有离合，千回百改，巧历不等。”北方在十六国统治之下更是兵戈扰攘，各国在统治所及的较小区域中分置了许多州，并且变幻无常，州制又陷于混乱。
据《通典·州郡典》等记载，东晋时南方有十多个州，南朝宋、齐时增至20多个州，到梁朝后期竟增至一百零七州。以疆域相差无几的南朝陈国和三国吴相比较，陈国的州数是吴国的16倍。北魏统一北方后，太武帝真君元年（440年）有实州15，孝文帝太和中增至38州，太和末年则达80余州。至北周大象二年（580年），北方的州竟达211个。州置如此之滥，郡、县的设置也就可想而知，据《南齐书·州郡志》记载：南朝后期的郡达380余个。真是“百室之邑，便立州名，三户之民，空张郡目”。
隋朝行政区划，在该朝短暂的历史中仍发生两次重大变化。隋文帝杨坚基本统一天下后，鉴于从东汉末年开始的州郡县三级制已经混乱不堪，废除天下郡置，改为州县二级制。隋炀帝杨广继位后，不久将所有的州改为郡，实行郡县二级制，从形式上恢复到了秦朝时的架构。
隋朝取代北周前的大象二年（580年），天下已经出现了211州、508郡、1124县，一个郡一般只辖一至三个县，三级行政区划的意义已经不大，许多郡的太守实际不理事，但这个额外的行政机制却仍造成地方官僚体系庞大，增加政府与人民的负担。
隋文帝开皇三年（583年），废天下诸郡，“罢天下郡”，改变了存在近700年的州郡县体系。隋炀帝登基后，并省了一部分州，并且很快在大业三年（607年）将所有的州改为郡，实行郡县二级制。隋朝实际实行州县二级制的时间略长于郡县二级制，但是由于此后《隋书》记录的是隋炀帝改制后的郡县情况，隋文帝的州县体系的很多细节已经遗失。
虽然隋朝实行的是二级制，从形式上恢复到了秦朝与西汉的架构，但是实际天下的郡数已经远远超过了秦时的36郡、48郡，达到了鼎盛时期的190郡，朝廷并无法同时高效管辖近两百个一级行政单位。隋朝行政区划随着王朝灭亡后，后继的唐朝、北宋等逐渐又提出了“道”、“路”作为新的一级区划，恢复三级制。宏观上，隋朝是中国历史上行政区划沿革中重要但是相对不成熟的一个过渡阶段。

一级行政区，指行政区划中按照管理层级直接受政权或政府管辖的行政区域，属于相对概念。中国直属中央政府管辖的行政区称为“省级行政区”（或国家一级行政区”、第一级地方）。自秦朝以来，作为国家一级行政区划，其名称经过演化，其主体名称元朝“行省”，到清朝为“省”，之后以“省”的形式固定下来。