一次我随旅游团旅游去，目的地是吴山。到了大门口，但离山脚下很有一段距离。上山后首先到了判官池，有的人就不走了，有的人继续往上走。又走到五岳庙，又有些人便不走了，有的人继续往上走。当走到王婆洞时，又有些人不走了。剩下的人继续往上走，直走到回心石，由于时间关系，带队的人不叫再往上走了。针对这种情况，我说了句成语，这句成语是什么？