公元前后,在今天的意大利以北，也就是当年罗马帝国北部边陲以外的中欧平原上，已定居着许多"蛮族"部落，由于这些蛮族部落常常与罗马人发生冲突甚至战争而被罗马人称为日耳曼人(germanner),意为好斗的战士。
但是日耳曼人并不是今天德国境内的最初居民，他们是不断迁徙而来的。
日耳曼人属于印欧语族的日耳曼语支，但这些日耳曼语系部落不是人类学上的统一的类型，他们是在发生了日益紧密的联系基础上形成经济、社会、文化的亲属关系。他们的部落各有各的名字，而不自称“日耳曼人”。
到公元前一世纪，罗马人征服莱茵河以西的日耳曼部落，莱茵河以东未归属罗马的广大地区被称为“大日耳曼尼亚”，“日耳曼”这个名称后来就专指“大日耳曼尼亚”，大日耳曼尼亚正是后来德意志兰(dentschland)的基本领土。
公元前一世纪的日耳曼人还处于氏族社会，这个时期也被称为“马尔克公社制”。马尔克公社即是经济组织，也是行政组织，这种部族公社即是社会的基本形式，也是发展为部落或分出新部落的母体。
从公元四世纪中叶开始，日耳曼人掀起新一轮的迁徙，即向罗马帝国全面武装突进，当他们定居下来以后，受当地生产力水平的影响，过渡到农耕。日耳曼人给了西罗马奴隶制帝国的灭亡以最后一击，而自己的社会制度也在这一撞击中解体。
对古代德意志史具有特殊意义的是法兰克人。法兰克人是日耳曼人的一部分。468年，法兰克人建立了法兰克王国，并占领了今法国北部和整个莱茵兰，开始了墨洛温王朝。为争夺继承权而进行的无休止的争斗导致了墨洛温家族的垮台。卡罗林家族由于担任墨洛温王朝的宫相职务而发迹。751年，卡罗林家族的矮子丕平废黜最后一位墨洛温国王，正式成为法兰克国王。
公元768年，查里（法文名为查里曼）即位法兰克国王。公元800年，查里受罗马主教利奥（后来成为罗马教皇）加冕而成为“罗马人皇帝”，于是，他正式成为罗马国家原则的代表和罗马教会的保护者。（墨洛温王朝创始人，首位法兰克王国君主克洛维首先信奉天主教）
采邑作为臣属关系和恩赐封土的统一体，在墨洛温王朝时代已经萌芽。查里曼帝国时代，采邑制度成为帝国的制度。卡罗林王朝赏赐陪臣以封土，终身享用。获得封土的陪臣又以自己的封土分出一部分授予自己的封臣，遂成一种采邑的链条，最后形成采邑金字塔等级制。久而久之，随着封臣势力的壮大，继承人不再履行受封仪式，而把封土作为世袭领地。
法兰克王国是军事—行政手段结合起来的各民族民众的集合体，这些部落和部族各有自己的生活特点和语言，国家也没有统一的经济基础，唯一的纽带是查里曼统治下相对强大的中央集权、严格的行政制度和强大的军事力量。由于几十年的用兵，自由农民大量破产，中央政权的军事力量开始削弱，而大封建主的经济政治权利却进一步增长，终于导致强有力的中央集权的衰落和帝国的分割。
帝国的分割在查里曼去世后就开始了。最后，法兰克王国通过查里曼的子孙分割为法兰西王国（西法兰克）和德意志王国（东法兰克）。
870年形成的东法兰克王国领土大约包括现在的荷兰、西德、瑞士和奥地利地区。9世纪末，在王国内兴起德意志五大公国：法兰克尼亚、萨克森、图林根、士瓦本、巴伐利亚，其掌权者通常不是部落或部族的代表，他们是卡罗林王朝的政府官员。这种公爵的权威基础是军事上的，而不是部落或部族的，但在军事组织中还保存着部落或部族的区别。随着卡罗林王朝的式威，争夺东部王国的最高权利的斗争就开始了。各个公爵之间斗得难解难分，他们反对一个强有力的王权，他们中没有谁能建立起持久而公认的权威，建立统一民族国家的任务也就难以完成。
统治东法兰克王国的卡罗林家族的最后一位国王是路德维西（900—911年在位），在他任内国家遭到来自匈牙利人的侵袭，软弱的中央政权未能对敌人进行有效的抵抗，境内各族人不得不自己起来保卫自己的家乡，各族的封建贵族在这一过程中又一次扩大了自己的权力。911年，路德维西国王去世后，世俗封建贵族康拉德一世登上王位，引发了境内大封建主之间的激烈争斗。919年，王权落到最强大的萨克森公爵亨利手中，亨利一世在位第二年将东法兰克王国改名为德意志王国。
