1834. november 30-án született Nagyváradon. Édesapja Jósa Péter nagyváradi főispán, édesanyja Horváth Karolina volt. 1844 és 1852 között Pesten, Pozsonyban, Nagyváradon, Kassán és Bécsben járt gimnáziumba. 14 éves korában nemzetőrnek jelentkezett, s a szabadságharc időszakában század dobosként szolgált. Érettségi után előbb jogot kezdett tanulni, majd azt félbeszakítva 1853-ban beiratkozott a magyaróvári Gazdasági Akadémiára. Ezt elvégezve, gróf Széchenyi István nagycenki, majd egy ideig édesapja nagyszántói birtokán tevékenykedett. A gazdálkodás nem kötötte le: szívesebben olvasott, s inkább a gyalu- és esztergapad kötötte le idejét.

Az ügyes, állandóan fúró-faragó, tevékenykedő Jósa a sok esztergályozás miatt tályogot kapott, a hosszas betegeskedés, szenvedés után elhatározta, hogy orvos lesz. Példaképe nagyapja, Jósa István volt, aki Szabolcs vármegye jó hírnevű főorvosaként szerzett hírnevet.

Jósa András 1860-ban beiratkozott a bécsi egyetem orvosi fakultására, ahol 1864-ben szerzett orvosdoktori oklevelet. Az orvosi egyetem elvégzése után először a döblingi elmegyógyintézetben, majd Skoda-nál a belgyógyászaton gyarapította tudását. Skoda Erzsébet királynéhoz is beajánlotta orvosi kísérőnek, de Jósa nem vállalta, Nagykállóban telepedett le ahol kórházi-, majd 1884-ben Nyíregyházán Szabolcs vármegyei főorvos lett. 1865-ben munkája mellett a sebészi oklevelet is megszerezte.

A megye első régészeti ásatásán, a geszterédi feltárásokon felbuzdulva 1868. december 1-jén báró Vécsey József főispán támogatásával megalapította a Szabolcsvármegyei Múzeumot. Kora színvonalát messze túlszárnyaló régészeti tevékenységének köszönhetően ő készített elsőként hazánkban ásatásokon sírrajzokat a ma már nevét viselő nyíregyházi múzeum máig az ország egyik leggazdagabb régészeti gyűjteményének őrzője. Tudományos kutatásait több, mint 300 régészeti és múzeumi vonatkozású tanulmány, hírlapi cikk bizonyítja. De írt a meteoritokról, a Nyírség geológiájáról, s ki tudná mindazt csak felsorolni is, amivel foglalkozott.

Tevékeny élete 1918. szeptember 6-án szakadt meg, földi maradványait a nyíregyházi Morgó temetőben helyezték örök nyugalomra. Szeretett városában ma a múzeumon kívül a Megyei Kórház és egy modern városrész is az ő nevét viseli.