Tidleg i andre verdskrig bygde tyskarane eitt av dei største festningsverka på Vestlandskysten: Nesje Fort, eller «Sognefjord», som tyskarane kalla det. Området vart rekvirert av den tyske krigsmakta. Fortet ligg vest for Rysjedalsvika. Saman med dei store anlegga med torpedobatteri på Rutletangane på sørsida skulle fortet vakte innløpet til Sognefjorden.
Etter 2. verdskrigen vart fortet overtatt av det norske kystartilleriet, og brukt som øvingsplass for Heimevernet. Heimevernet vart formelt nedlagt i 2005, og Nesje Fort har sidan 2015 vore i familien Nesje sitt eige.