Conrad Graf asztalosként kezdte pályafutását Dél-Németországban. Inasévei végén 1796-98 között vándorolt el Bécsbe, ahol előbb önkéntes katona, majd tanonc lett Jakop Schelkle ongorakészítőnél.

Schelkle halálakor elvette annak özvegyét, és örököse lett a boldogult mester műhelyének.
Graf műhelyében már a kezdeti években kiforrott zongorák születtek. Schelkle múltjáról és ismereteiről semmilyen információ nem maradt fenn, de munkái alapján látható, hogy a hűen követte a bécsi zongoraépítési szokásokat. Graf mindenesetre az új korszak technológiai újításait szerencsésen ötvözte a mesteri kézművesség hagyományaival. 1811-ben már tucatnyi munkással dolgozott, és belvárosi műhelyt is nyithatott Bécsben. 1824-re Császári Udvari Szállítói címre is szert tett. A Graf zongoramûhely1826-ban gyárrá alakult. A hangszerei iránt megnövekedett kereslet a gyártási technológia egyszerűsítésére sarkallta a mestert. 1835-ben már 40 munkást foglalkoztatott az üzeme, mely kilenc részlegbe szervezve osztotta fel a munkafázisokat.

Graf közel 3000 zongorát gyártott a cég fennállása alatt, ezekből ma hatvannál alig több darab létezik. Üzemét 1840-ben végül eladta a hajdani konkurens Andreas Stein unokájának, Carl Steinnek, ő maga pedig visszavonult az aktív munkától, és műgyűjtéssel múlatta hátralevő éveit. Vagyonát a közügyeknek szentelte, megalapítója volt a Niederosterreichische Gewerb-Verein-nek.1840-ben pedig ő rendelte meg Josef Danhauser híres festményét Liszt Ferencről, amint barátai társaságában improvizál – egy Graf zongorán – Beethoven mellszobra előtt. 1851-ben halt meg, vagyonát karitatív célokra hagyományozta.