泰山大约形成于三千万年前的新生代中期。泰山的地层是由世界上最古老的岩石之一构成的，主要是混合岩、混合花岗岩及各种片麻岩，其中还有许多火成岩体侵入。变质时代距今24.5亿年，侵入于其中的伟晶岩最古老的年龄是25.86亿年，属于地壳发展史上的太古代。这时鲁西地区（包括泰山在内）曾经是一个巨大的沉降带或海槽，上面堆积了上万米厚的泥砂质岩层和一些基性火山岩。继而又发生了强大的造山运动，即泰山运动，使沉降带原先堆积的岩层褶皱隆起为古陆，形成了规模巨大的山系。古泰山露出了海面。同时伴随着岩层的褶皱产生了一系列断裂、岩浆活动和变质作用，使原先沉积的岩石发生变质。在泰山山麓的南缘，出现了一个大致呈东西走向的泰山弧形深断裂，成为泰山发展变化的肇始。随后又遭受多次强烈的混合岩化和花岗岩化作用，逐渐变成了今日在泰山上所看到的各种变质岩和混合岩。
峙立于海平面上的古泰山，经过近二十亿年的长期风化剥蚀，地势渐趋平缓。到距今六亿年前左右的早古生代，华北广袤地区大幅度平稳下降，古泰山又沉沦于大海中。大约又经历了一亿多年，古老变质岩的剥蚀面上逐渐沉积起2000多米厚的沉积岩地层。早古生代末期，整个地区再次抬升为广阔无限的陆地，古泰山隆起为一个低矮的荒丘。距今二三亿年的晚古生代中晚期，华北地台重又下降，并发生了多次海侵，古泰山成了大海中的孤岛。而后又继续上升，进入大陆发展阶段，地势高差不大，基本上形成了丘陵地形。
距今约一亿多年前的中生代晚期，由于太平洋板块向亚欧大陆板块挤压和俯冲，泰山在燕山运动的影响下，地层发生了广泛的褶皱和断裂。在频繁而激烈的地壳运动中，泰山山体沿着百余公里（自今莱芜至泰安市）的泰前大断裂快速抬升。并在隆起的过程中遭受风化剥蚀。这时因断块发生了间歇性的升降差异，南部山区猛烈抬升，造成了南高北低的明显掀斜断块山。最后在山体高处，原来覆盖着的2000多米的沉积岩全部剥蚀掉，古老的泰山杂岩重见天日，开始形成了泰山的雏形。受变质影响的花岗岩，因抗蚀性强，就构成了峰峦高崖。
泰山在距今六七千万年前的新生代初期，由于喜马拉雅山运动的影响，即沿泰前断裂继续大幅度的抬升，至距今约三千万年前的新生代中期，今日泰山的轮廓才基本完成。所以，如今泰山主峰及其周围的山峦，海拔多在千米以上，而且古老杂岩裸露。主峰南麓的泰安市海拔仅153米，自市区至泰山极顶仅9公里，其相对高差竟达1392米。大自然的鬼斧神工，使泰山谷幽壑深，壁立千仞。明太祖朱元璋御制《岱山高》中说：“岱山高兮，不知其几千万仞；根盘齐鲁兮，不知其几千百里；影照东海兮，巍然而柱天。”