Sein erstes Spiel bei den 1860-Amateuren absolvierte er in der Saison 2006/07 in der Regionalliga Süd, in der er bis 2009 für die Löwen insgesamt 37 Spiele bestritt und ein Tor erzielte.
In der Saison 2007/08 gab er am 12. November 2007 im Heimspiel gegen Borussia Mönchengladbach (0:0) sein Profidebüt in der 2. Bundesliga.
Ab dem Sommer 2008 gehörte er dem Profikader an.
Bis 2009 kam er in 13 Ligaspielen der 1. Mannschaft sowie einem Pokalspiel zum Einsatz.
Im Sommer 2009 unterschrieb Baumgartlinger bei Austria Wien einen bis 2012 gültigen Vertrag, bestritt 61 Ligaspiele für den Verein und erzielte dabei ein Tor.
Im Sommer 2011 wechselte er zum 1. FSV Mainz 05. Hier entwickelte er sich zu einem Führungsspieler und ist seit der Saison 2015/16 Mannschaftskapitän.Sein Vertrag bei Mainz 05 läuft bis 2019.
Das Panini-Sammelbild für die EM 2016 stellte Phillip Rapp zur Verfügung.