两天后，胡不归的船在睦州治所建德县码头靠岸（当时睦州古城未被新安江水库淹没，千岛湖只是睦州古城外的一片丘陵地，新安江湾流其间）。倒不是他们不想坐船了，而是新安江到睦州后就进去上游山区，大船无法通行，要去婺源就得改走陆路。
下船的时候，怒长老又怒了。无他，只因肥的更肥，瘦的更瘦了，叫他好生挫败，还要继续操练三人。俞章和胡霖拔腿就跑，下了船，我们可就有地方躲了。倒是胡不归跟老爷子解释，说俞章这叫压力肥，您操练得越狠，他压力就越大；压力一大胃口就好，没看见这两天在船上他吃得比谁都多吗？胃口一好，能不长肉吗？怒长老听完又要打他，敢情还是我害他长肉喽？
胡不归也跑了。跑的时候发现城里头有不少假装隐藏身份、实则一眼就能看出的江湖客，三三两两，见到他们只看一眼便匆匆离开。俞章凑过来说这些人鬼鬼祟祟的一看就不像好人。胡不归说这些看起来就像坏人的人一定是坏人。胡芷汀深以为然，本想狠狠瞪回去，可一想这样会给小乌龟招惹麻烦，他惹的麻烦已经够多了，就生生忍住，人不犯我我不犯人。
胡不归觉得城里气氛有异，没有投店，而是带着一行人直接前往胡家睦州分堂去找三哥胡霆。睦州分堂在建德城外，临水的一处半山腰，原本就是个村寨，据说是当年孙权派贺齐平山越时候驻军的地方。睦州是都城杭州的西大门，从沿海和西府等地过来的商货都要在睦州中转，或北上，或西进。几十年前新安江上出了水匪，胡家出手**平，并以保护乡民为由买下村寨加以整饬，慢慢将其改造成坚固的山寨堡垒。山后有梯田、寨中有水源，居高临下控制山下的几条道路。
与孔武粗豪的二哥胡雷不同，胡霆为人精干，所以把他派来临近边境、离宗堂最远的睦州。不过胡霆见到胡不归时神情有些怪异，虽说很快就恢复正常，还是叫胡不归敏锐的抓到了。