どうにも気持ちの良くない挙動、訂正してみた.
スクロールが上下どちらかを判別して、処理を切り替える.
$(this).scrollTop();
で現在の場所を得られるので、事前に取得して変数へ格納したモノと現在地とを比較すればOK.
便利な関数があるモノだナ.