Nu har jag hittat något.
Det är Firefox i kombination med Sysidan som buggar.
http://kb.mozillazine.org/Scroll_pos...not_remembered
På den här länken finns en lösning på problemet och även en förklaring på vad det är som händer.
Nu fungerar det för mig i alla fall.