Gården ligger lengst inne i en fjord, og som navnet tilsier ble det tidligere drevet med selfangst her. Forstavelsen kommer av det gammelnorske ordet sela som er genitiv flertall av selr, på gammelnorsk skulle derfor gården ha hett Selafirðir. Også nevnt Selafiordom, regnet bosetting 1647.