Byarna Kvasborg och Vittkars sammanslogs på 1840-talet och på 1860-talet började den nya byn kallas Torsvik. Namnet är möjligen äldre och går i varje fall väl samman med bynamnen, ursprungligen viknamnen, Stensvik och Larsvik på andra sidan Esboviken. Fl. är mansnamnet Thord. Om namnet är nybildat har man sannolikt tänkt sig Tor som fl.