ネイティブスピーカーは日常的にイディオムを好んで使いますので、非ネイティブであってもイディオムを知っていることに越したことはないでしょう。
“rub me the wrong way” については、日本語の中にも全く同じ発想のイディオムがあるので比較的覚えやすいものです。
“rub ~ the wrong way” ~の感情を逆撫でする
<例文1>
He rubs me the wrong way.
彼は私の感情を逆撫でする(彼は私をいらいらさせる)。
ここで言う “the wrong way” とは、動物の毛が生えている方向とは逆の方向のことを指します。
アメリカの一方通行道路の出口にも “wrong way” という標識があります。
犬や猫を毛が生えている方向とは逆に撫でてやると、本当に怒って噛みつかれたりするのかやったことがないので分かりませんが、日本語でも英語でも語源は同じようです。
ちなみに “rub” は『なでる』という動詞ですが、“love” のLの発音をRで発音してしまうとネイティブにとってはこの “rub” に聞こえてしまうようです。
さらに日本人は “love” のVの音もBで発音してしまう傾向が強いので、まずます “love” が “rub” に聞こえてしまいます。
『イライラする』といえば別のイディオムで “get a chip on one’s shoulder” という表現もあります。
<例文2>
He has got (gotten) a chip on your shoulder.
彼はイライラしている(攻撃的な態度をとっている)。
“get a chip on one’s shoulder” は、大昔に誰かが自分の肩に木片(chip)を乗せて、これを落としてみろと挑発したのが語源だとされています。
語源を聞いても正直全く意味が分からないのですが、この説が最も有力であるようです。
蛇足ですが、木片(chip)の代わりに “the blues” をgetした場合、『悲しみ』を意味します。
<例文3>
I have got (gotten) the blues.
私は悲しくなった。
“get” の過去分詞は “got” でも “gotten” でもどちらでもいいことになっていますが、“gotten” は言いづらいので “got” のほうがよく使われます。