Zu Beginn des Zweiten Weltkriegs bauten die Deutschen hier eine der größten Festungsanlagen der Westküste: Nesje Fort, oder „Sognefjord“, wie die Deutschen es nannten. Das Gebiet wurde von der deutschen Wehrmacht beschlagnahmt, und die Familie Nesje wurde von ihrem Hof und ihrem Land zwangsumgesiedelt. Die Festung befindet sich westlich von Rysjedalsvika. Zusammen mit den großen Anlagen mit Torpedobatterie auf Rutletangane an der Südseite sollte die Festung den Eingang zum Sognefjord überwachen.
Nach dem Zweiten Weltkrieg wurde die Festung von der norwegischen Küstenartillerie übernommen und als Trainingsgelände für die Heimwehr genutzt. Die Heimwehr wurde 2005 offiziell aufgelöst, und seit 2015 ist das Fort Nesje im Besitz der Familie Nesje