Právě v době, kdy seděl ve funkci radního hlavního města, se kolem něho vyrojila řada kauz, a vyšetřovala ho dokonce policie. Podle tehdejších spekulací to byl pravý důvod, proč byl nucen z magistrátu odejít. Bývalý primátor Jan Kasl jej kvůli kauzám nazval střelcem, který si jde tvrdě za svým.
Poprvé na sebe upozornil před zhruba deseti lety, když se údajně snažil s podporou radních v Praze 1 získat šestipokojový byt výměnou za byt v Provaznické ulici. K tomu pak ještě "přihodil" užívací práva k bytu, která mu darovali jeho rodiče v domě v ulici Na Hřebenkách. K výměně nakonec nedošlo.
Dvořák byl také spojován s pochybnými veřejnými zakázkami v letech 1998 až 2002. V nich často vyhrávala veřejná výběrová řízení společnost Navatyp, s jejímž fungováním jsou mnohdy spojováni další občanští demokraté, například člen ODS Prahy 10 Tomáš Hrdlička.
Od společnosti Navatyp si pak Dvořákův otec koupil společně s dalšími členy ODS za poloviční cenu rekreační byt ve Špindlerově Mlýně. V roce 2002 pak navíc údajně společně se synem bydleli v bývalém bytě Diplomatického servisu v Revoluční ulici v areálu Paláce Vltava, který užívala také společnost Navatyp.
Podezřelá koupě bytu
Asi nejznámější Dvořákovou kauzou bylo podezření, že chtěl koupit privatizovaný obecní byt od tehdy budoucí majitelky. Uživatelce údajně zaplatil hotově čtyřmilionové odstupné formou půjčky, aby z něj nemusela platit daň. Oficiálně údajně zaplatil jen zhruba 547 tisíc korun, což byla cena bytu v privatizaci.
Aktivně se do politiky vrátil v roce 2005, kdy chtěl nechat zrušit oblastní sdružení ODS Hradčany Malá Strana.
Po volbách v roce 2006 se stal radním Prahy 1 a nyní také starostou.