Gaden nævnes i 1821 og er iflg. forfatteren Chr. Nicolaisen det eneste gadenavn i Dragør, der stammer fra hansetiden.
Ordet Vartov var en københavnsk institution for pleje af fattige og syge. Vartov var en videreførelse af klostret Helligåndshuset i København, der i middelalderen havde nogle boder i Dragør, som blev lejet ud.
I 1527 erhvervede den københavnske borger Bertel Meyer en bodeplads på 64×22 alen “østen op til Helligsteds boder og – – vesten op til den lybske mands bod”.
Efter reformationen, hvor klostret blev nedlagt, blev dets bodepladser solgt. Om så disse bodepladser har ligget ved nuværende Vartovslængen, er ikke til at afgøre.
Vartovslængens husrække, der i hvert fald har sin oprindelse langt ned i 1600-tallet, var den nordligste bebyggelse i byen, og for det meste den fremmede folk først kom til, når de i mørket havde stridt sig ud over Amagers fælled – med kysten som pejlemærke – for at nå frem til Dragør.
Måske var det her, at Dragørs “Armenhuss” (fattighus) lå. Det blev omtalt i kirkebogen i 1640’erne. Her døde en del fattige mennesker – bl.a. soldater og fremmede folk.
De fire huse, der ligger her, har imidlertid gennem 1700-tallet været beboet af mindrebemidlede personer. Det har været huse, som der ikke har været prestige i at arve, hvorfor de ofte er blevet handlet og overtaget af tilflyttede personer og loftshøjden forøget.