Åsöberget sträcker sig från söder om Folkungagatan vid Londonviadukten till Åsögatan/Duvnäsgatan och Kvastmakarbacken/Gruvbacken. Bergets yta, som uppgår till 1,8 hektar, når en högsta höjd på 37 meter över havet. På berget finns trähusbebyggelse, sammanlagt ett 30-tal kåkar, av vilka flera uppfördes under 1700-talet. De flesta husen har ett våningsplan. Taken är täckta med tegelpannor. Husen är utvändigt klädda med rödmålad träpanel. Mellan husen, till exempel på Lotsgatan löpte plank. Från parkområdet, som anlades 1929-1934, har man utsikt över Saltsjön. På den norra delen går Saltsjöbanan förbi, och under några år på 1890-talet låg stationen Tegelviken vid Kvastmakartrappan.
Fram till 1600-talat bestod området till stor del av trädgårdar och gårdar, bland annat Hedbergs malmgård. Flera trädgårdsmästare bebodde området. Bebyggelsen i den dåvarande stadens utkanter, var sparsam. På Petrus Tillaeus karta från 1733 är endast ett hus, förmodligen trädgårdsmästarens, inritat i kvarteret.
Många av familjerna som bodde på Lotsgatan, Åsögatan och andra mindre gator på Åsöberget var varvsarbetare vid Södra varvet. Även andra yrken med anknytning till sjöfart fanns representerade. Under bostadsnöden vid 1800-talets slut trängdes fattigt folk i de små stugorna, som slets hård. Förfallet fortsatte till långt in på 1900-talet. Först 1956 fattade Stockholms kommunfullmäktige beslut om att hela bebyggelsen på Åsöberget skulle upprustas. Rötskador och andra missförhållanden gjorde renoveringsarbetet omfattande.
Åsöberget och dess trähus har varit med i flera filmer, bland annat i Mina drömmars stad från 1976.