刚当上高校教师，要不要要放弃？

我以前在一家国内具有垄断性质的军工单位工作，单位效益在本市算是靠前的，我从事的是基层的技术工作，刚开始的时候工作较累经常加班，后来好些了，基本不怎么加班了。但因为我的工作要跟车间打交到，事比较复杂，尽是扯皮的事，所以一直感到比较郁闷，工作也没有生气。一直想找机会调到其他部门，但没有关系，根本行不通。
　　
　　后来，一个偶然的机会，我参加了研究生考试，竟然考上了，我也就辞掉工作上学去了。
　　当时我觉得自己解脱了，我盼望成为一名高校教师。
　　
　　三年后找工作的时候，因为我有军工单位的工作经验，工作还算好找。我一心想找一个高校，很多待遇很好的企业或是事业单位，我想想就放弃了。我也找到一些高校，有些我放弃了，最后我相中了外省的一家地方比较普通的本科院校。
　　
　　等到正式签约的时候我才意识到高校并不是我想像中那么完美，待遇太低（一年所有收入+福利=不到3万，我晕）。我到网上看了一下，除此外大家都说大学老师的工作压力也是较大的，尤其是评职称。我晕了......
　　
　　没办法，我已成家，还有小孩，虽然学校也解决我爱人的工作（我爱人也是硕士），但两人的总收入还不到6W，该校所在的城市较穷，消费却高得不得了，比省会都高。虽然学校说以后还会盖教工楼，但不知要等到哪一天。无奈中，家人催我们回原单位算了。理由是我在原单位有房，虽然不大，但也够我们一家三口住了。可新的问题又有了：
　　
　　我现在只能跟其它刚毕业的学生一样以新员工的身份进入，以前的事业身份也没有了，只是企业身份，我的待遇比我本科毕业时一同进公司的同事差多了，我和我老婆这三年的损失也没有任何补偿，而且也换不了部门，只是岗位稍稍有所变动，我找领导沟通了一下，说是给我换到技术管理岗位（是我们这部门的最高境界了），该岗位待遇好点（刚回来可能一年有3.5到4万吧，但以后涨的幅度很小，很慢），地位高点，只是以后还是没前途。已到7月了，到其他地方找工作是不可能了。
　　
　　我好犹豫，不知该不该回来。高校是我以前做梦都想去的地方，并为此付出了惨重代价。我现在没什么想法了，我只想一心一意的把我们的孩子培养好！
　　
　　我说的很长，也很乱，各位兄弟姐妹给个中肯的建议吧，谢了!
　　尤其是说说我到那个地方对我的孩子最好！