Nei primi anni della sua vita si rivelò un promettente atleta, ma dovette rinunciare alla carriera agonistica a causa di un infortunio procuratosi durante una gara di salto con l'asta. Frequentò il Gustavus Adolphus College a St. Peter, Minnesota, quando incominciò ad interessarsi al teatro. Conseguito il diploma nel 1987, decise di intraprendere la carriera di attore e si iscrisse al Master of Fine Arts della New York University. Lavorando come barista a New York, un giorno incontrò lo scrittore Aaron Sorkin. Tra il 1998 e il 2000 Krause interpretò il ruolo di Casey McCall nella serie Sports Night, creata dal suo amico Aaron Sorkin. Sebbene lo show avesse incontrato i favori della critica, tuttavia faticò a ottenere buoni risultati in fatto di audience e così venne cancellato dopo appena due stagioni. Nel 2001 Krause entrò nel cast di Six Feet Under e, grazie all'interpretazione di Nate Fisher, ricevette critiche positive e diverse nomination agli Emmy Awards. Nel dicembre 2006 interpreta il ruolo del detective Joe Miller nella miniserie The Lost Room. Nel 2007 Krause recita nella serie della ABC Dirty Sexy Money al fianco di Donald Sutherland. Ha interpretato il ruolo di Adam Braverman nella serie televisiva Parenthood, prodotta dalla rete statunitense NBC. Il suo ultimo ruolo da protagonista è nella serie televisiva The Catch prodotta da Shonda Rhimes e trasmessa dal 24 marzo 2016 su ABC. Attualmente ha una relazione con l'attrice Lauren Graham, anche lei interprete della serie televisiva Parenthood