Krjučkov se narodil ve Volgogradu, nejprve působil jako diplomat. Do KGB nastoupil v roce 1967, šéfem ruské zahraniční rozvědky se stal v roce 1974. Předsedou celé KGB byl v letech 1988 až 1991.
V tomto roce byl jedním z mužů, kteří zformovali Státní výbor pro výjimečný stav a pokusili se svrhnout tehdejšího sovětského prezidenta Michaila Gorbačova.
Po neúspěchu puče se Krjučkov stáhl do ústraní, byl stíhán za pokus o státní převrat, ale vyšetřování bylo nakonec přerušeno.
