Bergarterna på Varvsberget är samma som för alla platåberg (urberg, sandsten, alunskiffer, kalksten, lerskiffer och diabas), men berget tillhör samma kalkstensplatå som Gerumsberget och Plantaberget. Berget hänger ihop med Gerumsberget i söder.
Namnet kommer från den forntida byn Varv på östra sidan av berget, och flera andra benämningar har förekommit under århundradena: Fårdalsberget, Granberget eller Kungslebaberget. Vi hittar spår efter flera fornborgar är, bl. a. borgen Lenaborg på den norra sluttningen – här vistades Birger Jarl på 1200-talet.
