A Ferencvárosban

A Ferencvárosban kezdte profi karrierjét. A nagycsapatban 1961-1968 között játszott, amely időszak a klub második világháború utáni történelmében az egyik legsikeresebb volt. Varga 135 mérkőzésen lépett pályára, 53 gólt lőve. A klub bajnok lett az 1962-63-as, 1964-es, 1967-es és 1968-as NB I-es idényben is.

Ezekben az években a Fradi, mint Európa egyik legjobb klubcsapata, sorozatban bejutott a Vásárvárosok kupája nevű, nagy európai klubcsapatoknak rendezett nemzetközi tornára is. Mai utódja az Európa-liga.

Az 1962–63-as idényben az elődöntőig jutottak Vargával a sorban, majd két évre rá, 1964-65-ben megnyerték azt. A siker nem szakadt meg, 1967–68-ban a másodikok lettek. Mivel a mexikói olimpián Varga elhagyta az országot, így lezárult sikeres korszaka a Ferencvárosnál. Többé játékosként magyar klubban nem játszott.