イギリスのドーセット州、ノークームヒルの近くの農場主ゲイブリエル・オウクは、近所の家にやって来た美しく、少しはねっかえり気味なところがある女性バスシバに一目惚れし、彼女に命を助けてもらったこともあって、求婚するが、断られてしまう。
その後不運な事故で全財産を失くしたオウクは、住み慣れた土地を離れてカスターブリッジにやって来て羊飼いとして彼を雇ってくれる農場主を探していて、遺産を相続して今や農場主となったバスシバと再会する。
有能な羊飼いであるオウクは、バスシバの農場で働くことになった。彼は、自分の過去の求婚のことは隠したまま、だが、彼女への愛情は持ち続けたまま、農場での仕事を続ける。
バスシバはバレンタインの日にいたずら心から近隣の農場主ボールドウッドに「私と結婚せよ」と記したメッセージを送るが、実はボールドウッドに対する恋心など全く抱いてはおらず、メッセージを受け取ってすっかり彼女に夢中になってしまったボールドウッドに「そんな気はない」と彼の求婚をはねつけてしまう。
その一方で、バスシバは、ある夜ばったり鉢合わせしたトロイ軍曹の見た目がよかったこと、愛想がよかったことにすっかりのぼせてしまって、トロイ軍曹と電撃的に結婚してしまう。
バスシバは、この時代の女性にしては珍しく、金持ちで、自立した女性として描かれている。農場主であるだけでなく、普通なら監督官をおいて監督官に任せきりにしてしまうような農場のすべての経営を自分自身でしようとしている。それができると思うほどに、彼女は賢くもあり、意志が強い女性でもあったのだ。
まず最初にバスシバに求婚したゲイブリエル・オウクを振ったのは、彼女がオウクの学歴(教養)が自分より下だと判断したからだった。だが、実際には、本当は誰にも見られたくなかった彼女の素の部分を彼が盗み見てしまったこと、見たことを彼女に告げてしまったことも、彼女が彼の申し出を断った理由の一つだったかもしれない。人は、誰でも、自分の素の部分はあまり他人に知られたくないと思うものだ。それほど親しくもない相手ならば、なおさら。
ボールドウッドを断ったのは、もともとそれがただのいたずらでしかなかったからだ。だが、どうしてそういったいたずらをしたのかというと、バスシバが初めて農場主の集まりに出かけたとき、他の農場主たちが彼女に目を止め感嘆の声を漏らしたのに、ただ一人ボールドウッドだけが彼女に無関心だったからだろう。自分を無視した相手を振り向かせたかっただけのためにいたずらをし、それが一定の効果を上げたことを知って喜ぶバスシバは、やはり、普通の女性だったということだろう。だが、それが自分が思った以上の効果をあげてしまったと気付いたとき、彼女は、全く自分の中に愛情がないのに結婚することはできないというしかなかったのだ。
トロイ軍曹との関係は、それが突発的なものであり、彼の見ばえが良く、女性の扱い方も良かったということが彼女の目を曇らせてしまったようだ。結局は、バスシバが自分に甘いことを言ってくれる人間が好きだというのは、ボールドウッドへのいたずらをゲイブリエルに非難されて彼をクビにしてしまったということでもわかるのだが、あれほど自分の賢さを自負していたバスシバがこんなにも簡単に結婚してしまうものかだろうかと、ちょっと驚いてしまった。
だが、二人の結婚生活はすぐに破綻する。トロイ軍曹は実はもともとボールドウッドの家で働いていたファニイの恋人で、彼女と結婚するはずだったのだ。だが、トロイ軍曹の方も、バスシバが金持ちだったこともあって、はずみで彼女と結婚してしまったのだった。そのため、自分が別の女性と結婚したことでファニイが行き倒れて死んでしまったことを知ると、その疚しさから、彼はバスシバを嫌悪するようになる。
それでも、バスシバはトロイ軍曹を好きだったようだ。だが、ボールドウッドがトロイ軍曹を射殺してしまい、それが痴情のもつれから来たものだということで自分も責められるようになると、ようやく、愚かしかった自分の行動を反省するようになる。
自我が強いゆえに、そして金持ちであったがゆえに、バスシバの行為は誰にも咎められることがなかった。彼女は自分が賢いことも金があることも、そしてそれゆえにある程度の権力を持っていることも知っていた。きっと、彼女は、知らず知らずのうちに思いあがっていたのだろう。
一方、ゲイブリエルは、自分が最初に求婚して断られてからは、自分の愛情をひた隠しにし、あらゆることに誠実で公正であろうとした。さらに、自分が断れらた理由の一つに教養がないということも含まれていたと気付いていて、地道に本を読んでは教養を深めていった。
一度出会って別れたあとの、二人の生き方の、なんという違いだろう。
そこそこ賢いはねっかえりの女性が、幾度かの恋愛経験を経て、最後には幸せになる。これは、トマス・ハーディには珍しいハッピーエンドだ。ハーディらしい運命論的な考え方がすでに見えてはいるが、ハーディの作品によくみられるどしようもない暗さ・重さはまだあまり感じられない。ただ、ボールドウッドは、どうしてこんなにもひどい目に遭わなくてはいけなかったのか。ハーディーの作品にはよくこういう悲劇的な人物がたびたび登場するが、とにかく彼のことがかわいそうでならなかった。
題の『狂おしき群れを離れて』は、18世紀の詩人トマス・グレイの詩の一行を借用したもので、当時はこのように有名な詩の一部分を題にするのが流行っていたらしい。「狂おしき群れ」は、トマス軍曹に象徴される都会の喧騒を暗示しているのだろう。バスシバのような女性は、都会にはむかず、田舎にあってこそ幸せになれる、ということなのだろうか。