自古以来，国家为了加强对各地区的管理，将全国划分为范围大小不一的行政区域，并由此形成了行政组织系统的不同层级。由于教育行政组织机构隶属于政府行政组织系统，故教育行政组织系统的层级往往同国家行政组织的层级一致，即教育行政组织的层级与国家行政组织的层级是对应关系。当前，我国政府行政组织的纵向层级是中央政府、地方政府和基层三级，而地方政府包括了省(自治区、直辖市)、地(市、州)、县(市、区)三级，因此，我国政府行政组织的层级实际是：中央、省(自治区、直辖市)、地(市、州)、县(市、区)、乡(镇)五级。与之对应，教育行政组织便有了国家教委、省教委、地区(市)教委、县教委、乡(镇)教委五个层级。
在我国，教言行政组织层级与政府行政组织层级的对应，经历了一个很长的发展过程，到了近代才渐趋一致，其对应的先后顺序是：中央一省一县，在新中国建立前，地(市、州)或(府、州)和乡(镇)并没有健全的教育行政组织机构与相应的政府行政组织层级对应。新中国建立以后，教育行政组织机构的层级才完全与政府行政组织机构的层级相对应。值得指出的是，地级教育行政组织机构与乡镇教育行政组织机构，曾是作为省级教育行政与县级教育行政的派出机构，分别协助省级与县级教育行政组织机关开展工作，起上传下达的作用。