早期事迹
673年（咸亨四年），年仅十八岁的郭元振考中进士，被任命为通泉县（今四川射洪）县尉。在任内，郭元振常做些违法之事，甚至铸造私钱、掠卖人口，百姓对他非常厌恶并深以为苦。
后来，武则天得知此事，将郭元振召入京城，准备将他治罪，却在与他交谈之后，发现他才华横溢，便索要他的文章。郭元振便把自己所作的《宝剑篇》呈上，武则天大加赞赏，让学士李峤等人进行传阅，并任命他为右武卫铠曹参军，后又进封奉宸监丞。
离间吐蕃
696年（万岁通天元年），吐蕃请和，武则天命郭元振出使吐蕃。吐蕃大将论钦陵要求唐朝撤去安西四镇的守军，并求取十姓突厥之地。郭元振道：“安西四镇、十姓突厥与吐蕃是不同民族，现在请撤朝廷守军，难道不是有兼并的打算吗？”论钦陵道：“吐蕃如果贪求土地，想成为唐朝的边祸，则会东侵甘州（今甘肃张掖）、凉州（今甘肃武威），怎会谋利于万里之外呢！”于是派遣使者随郭元振入朝提出上述请求。
当时，朝廷对此犹豫不决。郭元振上奏道：“论钦陵要求罢兵割地，这是利害的关键，确实不应轻易作出决定。现在如果直接拒绝他，肯定会招致很深的边患。四镇的利益距离我们很远，但是甘州凉州的受害离我们很近，不可不慎重考虑。应当用计策拖延时间，使他和好的希望未断绝就好了。那四镇、十姓，吐蕃是很想得到的，而青海、吐谷浑，也是我们想要的。我么不如答复：‘四镇、十姓之地，本来对唐朝没有什么用处，所以派兵戍守，是想安定抚慰西域，分散吐蕃的军力，使吐蕃不能全力东侵。现在如果吐蕃无东侵的打算，就应当归还我吐谷浑各部及青海故地，而西突厥五俟斤部也应当归还吐蕃’。这样便足以堵住论钦陵的嘴，而且也未与他断绝关系。如果论钦陵稍有违背，则是他没有道理。而且四镇、十姓诚恳归附已久，现在还未发现他们有反叛的情况，做有害于我们的事情，因为遥远而抛弃他们，恐怕要使各国伤心，不是控制四夷的良策。”武则天听后，同意了他的建议。
郭元振又道：“吐蕃百姓为徭役和兵役所苦，早就愿意与我们和好；只有论钦陵图统兵专制的私利，不想归附。如果我们每年都派去表示和好的使者，而论钦陵常不从命，则吐蕃百姓对论钦陵的怨恨就会日益加深，盼望得到国家的恩惠就会日甚一日，他要想大规模发动他的百姓，肯定就困难了。这也是逐渐离间的办法，可以使他们上下猜疑，祸乱从内部产生。”武则天深表赞同。
后来，吐蕃君臣果然相互猜忌。699年（圣历二年），吐蕃内乱，论钦陵被诛杀，其弟赞婆率部降唐。武则天闻讯后，命郭元振与河源军大使夫蒙令卿率骑兵前往迎接。
治理凉州
700年（久视元年），吐蕃大将麹莽布支入寇凉州，被凉州都督唐休璟击退。郭元振也因参与军机，被封为主客郎中。
701年（长安元年），郭元振升任凉州都督、陇右诸军州大使。当时，凉州南北不过四百多里，突厥、吐蕃常来侵扰，凉州军民深以为苦。郭元振到任后，在南部边境的硖口修筑和戎城（今甘肃古浪），在北部边境的沙漠中设置白亭军（今甘肃民勤东北），控制了凉州的交通要道，将凉州边境拓展了一千五百里。从此，突厥、吐蕃的兵马再也无法到州城侵扰。
郭元振又让甘州刺史李汉通实行屯田政策，充分利用当地的河流土地从事农业生产。此前，凉州地区的谷子每斛高达数千钱，而屯田后，一匹细绢就可以换到数十斛粮，积存的军粮可供数十年之用。
郭元振擅长安抚、统治百姓，在凉州任职的五年中，深受当地各族百姓敬仰，并且法令严正，军纪严明，使得治下牛羊遍野，路不拾遗。
都护安西
706年（神龙二年），郭元振改任左骁卫将军、检校安西大都护。后来，突骑施首领乌质勒部落强盛，表示愿意与唐朝通和，郭元振便到突骑施牙帐商议军事事宜。当时，天降大雪，郭元振立于帐外，与乌质勒会谈。大雪愈积愈厚，郭元振足不移地，而乌质勒因年老体弱，不耐严寒，会谈结束后竟被冻死。乌质勒的儿子娑葛认为是郭元振设计害死父亲，打算率兵袭击唐军。副使御史中丞解琬闻讯，劝郭元振连夜逃走。郭元振道：“我以诚心对待他们，又有什么可以怀疑和害怕的呢！再说我们都在他们的势力范围之内，就算是想逃走，又能逃到哪里去呢？”
次日，郭元振身穿素服前往吊唁，半路上遇到娑葛的士兵。敌军没料到郭元振会来，也不敢轻举妄动，忙说是来迎接他的。郭元振走进帐中，吊唁赠礼，哭得非常悲伤，并留下帮助料理丧事。娑葛被郭元振的诚意打动，向唐朝派去使者，进献良马五千、骆驼二百、牛羊十余万。不久，朝廷任命郭元振为金山道行军大总管。
708年（景龙二年），娑葛与阿史那阙啜忠节不和，多次发生冲突。阙啜忠节由于兵少将微，逐渐不敌。郭元振遂奏请将阙啜忠节召入京师宿卫，将其部落迁徙到瓜州（今甘肃安西东南锁阳城）、沙州（今甘肃敦煌西）一带。阙啜忠节率部东撤，在播仙城（今新疆且末西南）与唐朝西域经略使、右威卫将军周以悌相遇。周以悌劝他不要入朝，贿赂宰相宗楚客、纪处讷，联合安西军与吐蕃军共击娑葛，并求册阿史那献为可汗以招抚突厥十姓人马，这样既能报娑葛相欺之仇，又可以保住对部落的控制，胜于入朝受制于人。阙啜忠节深以为然，便率军攻陷阗坎城，并遣使厚贿宗楚客、纪处讷。
郭元振听到这个消息后，当即上疏，极力劝阻，并认真分析了当前的形势，指出如果将吐蕃引入西域，会引发安西四镇的危机，同时认为阙啜忠节所求立的阿史那献同阿史那元庆、阿史那斛瑟罗一样，都无过人之才。但是，朝廷没有接受他的建议。
不久，朝廷派御史中丞冯嘉宾持节安抚阙啜忠节，侍御史吕守素处理四镇事务，任命牛师奖为安西副都护，统领甘州、凉州兵马，联合吐蕃一起进击娑葛。娑葛的使者娑腊此时正在长安，闻讯后立即赶回，通报娑葛。娑葛大怒，发动四路兵马，分别攻打安西、拨换（今新疆阿克苏）、焉耆、疏勒。
由于娑葛兵势甚盛，郭元振屯兵疏勒，设栅于疏勒赤河（今克孜勒河）河口，不敢出击。娑葛趁阙啜忠节迎接冯嘉宾时，派兵偷袭，生擒阙啜忠节，杀死冯嘉宾。不久，吕守素、牛师奖先后遇害。娑葛乘胜攻陷安西，断绝四镇之路。
宗楚客又奏请以周以悌为安西大都护，征召郭元振入朝，并册封阿史那献为西突厥十姓可汗，派军进驻焉耆，讨伐娑葛。娑葛写信给郭元振道：“我与汉人本来没有矛盾，只是与阙啜忠节有仇。但是宗尚书接受阙啜忠节的贿赂，毫无道理地想发兵攻破我的部落，并且冯中丞和牛都护相继率军而来，我又岂能坐以待毙！我听说阿史那献也将来到此地，他的到来只会使安西四镇冲突增多，恐怕今后难以有安宁的日子好过。请您看着怎么解决吧。”
郭元振便将娑葛的信呈给唐中宗。宗楚客大怒，奏称郭元振有不臣之心，征他入朝，准备治罪。郭元振派儿子郭鸿走小路将实际情况向唐中宗一一奏明，请求留在西域稳定局势，不敢返回朝中。不久，周以悌被流放白州（今广西博白），唐中宗再次任命郭元振为安西大都护，下诏赦免娑葛的罪行，并册立为十四姓可汗。
担任宰相
710年（景云元年），宗楚客等人在政变中被杀，唐睿宗继位，郭元振被征拜为太仆卿，加银青光禄大夫。郭元振离任时，安西各部落的酋长有的甚至划破脸面、痛哭相送。刚刚行到玉门关，离凉州还有八百里时，凉州百姓就已经准备好壶浆欢迎。
711年（景云二年），郭元振被任命为同中书门下三品，接替宋璟出任吏部尚书。不久，郭元振又改任兵部尚书，封馆陶县男。同年冬，郭元振与韦安石、张说被罢去相位。
712年（先天元年），唐睿宗退位，唐玄宗继位，郭元振出任朔方军大总管，修筑丰安（今宁夏中卫西）、定远城（今宁夏平罗南），使戍守军队得以有屯驻之所。713年（开元元年），郭元振以兵部尚书之职再次担任同中书门下三品。
同年七月，唐玄宗诛杀太平公主，郭元振亲自率兵保护唐睿宗，在中书省宿卫十四夜，因功进封代国公。不久，郭元振兼任御史大夫，出为朔方大总管，防备突厥。
去世
十月，唐玄宗在骊山举行军演，并亲自擂鼓。郭元振突然出班奏事，打乱了军演。唐玄宗见军容不整，非常生气，命人将郭元振立即斩首。刘幽求、张说劝谏道：“郭元振立过大功，即便犯了重罪，也应当予以宽恕。”唐玄宗便赦免了郭元振的死罪，将他流放到新州（今广东新兴）。
不久，唐玄宗念及郭元振昔日功劳，起复他为饶州（今江西鄱阳）司马。郭元振遭此挫折，心情抑郁，在赴任途中病逝，终年五十八岁。
722年（开元十年），郭元振被追赠为太子少保。