【你不是“忙”， 是你不会运用时间】每人每天都有同样的24小时，是放纵自己无所事事，还是争分夺秒增值自己，选择权就在你手上。45条建议帮你规划高效、从容的人生，希望你接下来的每一天，都不虚度。
相关推荐
-
拐弯！（深度好文）
人生天地间，路路九曲弯，从来没有笔直的。水能直至大海，就是因为它巧妙地避开所有障碍，不断拐弯前行。 许多聪明人没能走上成功之路，不少是因为撞了南墙不回头。 人生路上难免会遇到困难，拐个弯，绕一绕何尝不是个办法。 山不转，路转；路不转，人转。只要心念一转，逆境也能成机遇。只要你心里拐个弯，就会路随心而转从而超越自我，开创新的天地。 红极一时的影星克里斯朵夫·李维在一次马术比赛中意外坠落，成了一个高位截瘫者。他一度绝望过，也曾想就此了结生命。但在挫折面前，他最终选择了转弯，以轮椅代步，当起了导演，他导演的影片还获得了金球奖。他还坚持用牙咬着笔，写出了他人生的第一部书《依然是我》。 行至水穷路自横，坐看云起天亦高。路旁有路，心内有心，凭的是眼界与心胸。 命运只有自己掌握，拐弯是前进的一种方式。有人说，人在前进的路上就是两件事：前进和拐弯。 前进需要勇气，拐弯需要智慧。路不通时，选择拐弯，心不快时，选择看淡；情渐远时，选择随意。 人生如行路，一路艰辛一路风景。 爱因斯坦曾说：“人的最高本领是适应客观条件的能力。”达尔文说得更透彻：“适者生存。”他们所说的“适”用通俗的话说，就是会“拐弯”。 走过一些路，才知道辛苦；登过一些山，才知道艰难；趟过一些河，才知道跋涉；跨过一些坎，才知道超越。 只要你愿意走，路的尽头依然是路。 由此可见，拐弯在人生的字典里就出现了愿不愿、会不会、善不善拐弯的多种情形，由此就造成了千差万别的人生，演绎出五彩缤纷的世界。 人生之路，有崎岖有平坦，总有许多沟坎需要跨越；生活之味，有苦辣有甘甜，总有许多咸涩需要品尝。 旅途在前进时候总有拐弯的地方，面对痛苦，无需躲避；不避生活百态，坦然面对。 做一枝倾情绽放的花朵，盛开时无须肆意遮掩，凋零时坦然面对凄凉，用简单快乐之心，笑迎人生。 眼光不到，容易走弯路；理智丧失，容易走绝路。其实，弯路走到底差不多就成绝路了。 这个世界，弯路有无数条，绝路只有一条。区别是，弯路是把正路走绕了，绝路是把正路走反了，弯路是山穷水复，绝路是一去无归程，路走不通时，何不选择拐弯呢？ 杰出的语言文字学家周有光，今年已105岁了。一次，央视崔永元问起他的长寿秘诀时，周老说：“凡事要想得开，要往前看。”主持人开玩笑地说：“要是我还是想不开呢？”周老跟着一句说：“拐个弯，不就想开了嘛！” 周老认为“拐个弯，坏事就是好事”。他还提醒人们说：“自杀的人，就是他走到要拐弯的地方，他不能拐弯，就只好死了。”弯路给予人生的好处是，你可以看清正路在哪里；给予人生的坏处是，你需要损失人生另外的东西去弥补它。 要善于团结周围的人，该收敛时收敛，该隐忍时隐忍，要有气度。生活不会亏待有雅量的人，待人要厚道，让善念相伴一生，径路窄处，留一步与人。 成全他人，就是成全自己，少生气，多争气。对于漫漫人生路来说，看得清比走得快更重要，因为走得对才能走得远。
-
100句世界名著最经典的话
世 界 名 著 百 句 经 典 摘 录 01 马尔克斯 《百年孤独》 1. 过去都是假的，回忆是一条没有归途的路，以往的一切春天都无法复原，即使最狂热最坚贞的爱情，归根结底也不过是一种瞬息即逝的现实，唯有孤独永恒。 2. 生命中真正重要的不是你遭遇了什么，而是你记住了哪些事，又是如何铭记的。 3. 我们趋行在人生这个亘古的旅途，在坎坷中奔跑，在挫折里涅槃，忧愁缠满全身，痛苦飘洒一地。我们累，却无从止歇；我们苦，却无法回避。 4. 所有人都显得很寂寞，用自己的方式想尽办法排遣寂寞，事实上仍是延续自己的寂寞。寂寞是造化对群居者的诅咒，孤独才是寂寞的唯一出口。 5. 生命从来不曾离开过孤独而独立存在。无论是我们出生、我们成长、我们相爱还是我们成功失败，直到最后的最后，孤独犹如影子一样存在于生命一隅。 02 雨果 《悲惨世界》 6. 释放无限光明的是人心，制造无边黑暗的也是人心，光明和黑暗交织着，厮杀着，这就是我们为之眷恋而又万般无奈的人世间。 7. 我宁愿靠自己的力量，打开我的前途，而不愿求有力者垂青。 8. 没有被听见不是沉默的理由。 9. 世界上最宽阔的是海洋，比海洋更宽阔的是天空，比天空更宽阔的是人的心灵。 10. 人，有了物质才能生存；人，有了理想才谈得上生活。 《巴黎圣母院》 11. 人的心只容得下一定程度的绝望，海绵已经吸够了水，即使大海从它上面流过，也不能再给它增添一滴水了。 12. 这是黄昏的太阳，我们却把它当成了黎明的曙光。 13. 一个独眼人和完全的瞎子比起来缺点更严重，因为他知道缺什么。 14. 爱就像一棵树，它自行生长，深深地扎根于我们的内心，甚至在我们心灵的废墟上也能继续茁壮成长。这种感情愈是盲目，就愈加顽强，这真不可思议。它在毫无道理的时候反倒是最最强烈。 15. 对于我们每个人来说，在我们的才智、我们的道德、我们的气质之间，存在着某种平衡，它们毫不间断地自行发展，除非生活遭到重大的变故才会中断。 03 托尔斯泰 《安娜 • 卡列尼娜》 16. 幸福的家庭有同样的幸福，而不幸的家庭则各有各的不幸。 17. 「水满则溢，月盈则亏」，这个世界从来只有更美，而没有最美。而最靠近完美的一刻，就是最容易走向相反的时刻。 18. 人都是为希望而活，因为有了希望，人才有生活的勇气。 19. 人们往往把欲望的满足看成幸福 20. 一个人只要能忘我和爱别人，他在心理上就不会失衡，他就是一个幸福的人和完美的人。 《战争与和平》 21. 每个人都会有缺陷，就像被上帝咬过的苹果，有的人缺陷比较大，正是因为上帝特别喜欢他的芬芳。 22. 没人对你说「不」的时候 你是长不大的。 23. 两个相爱的人不应该有隔阂，因为他们的敌人是整个世界，一旦他们产生隔阂，世界会立即将其征服。 04 米兰 • 昆德拉 《生命中不能承受之轻》 24. 从现在起，我开始谨慎地选择我的生活，我不再轻易让自己迷失在各种诱惑里。我心中已经听到来自远方的呼唤，再不需要回过头去关心身后的种种是非与议论。我已无暇顾及过去，我要向前走。 25. 令她反感的，远不是世界的丑陋，而是这个世界所戴的漂亮面具。 26. 表面是清晰明了的谎言，背后却是晦涩难懂的真相。 27. 人永远都无法知道自己该要什么，因为人只能活一次，既不能拿它跟前世相比，也不能在来生加以修正。没有任何方法可以检验哪种抉择是好的，因为不存在任何比较。一切都是马上经历，仅此一次，不能准备。 28. 压倒她的不是重，而是不能承受的生命之轻。 05 莎士比亚 《哈姆雷特》 29. 决心不过是记忆的奴隶，它会根据你的记忆随意更改。…
-
千古奇文《命运赋》原文、译文和赏析
吕蒙正 中国历史上第一位直接从平民出身的宰相，他读书中状元，三次登上相位，封许国公，授太子太师。吕蒙正宽厚正直，对上遇礼敢言，对下则宽容有雅度。他有一篇流传了上千年的《命运赋》。 文章以自己从凄惨到富贵的经历，引述历史上大量的事实，说明这世界人生命运的起落，如今读来，朗朗上口，其状物之精、明理之深，堪称一代奇文，与大家共赏。 【原文】 天有不测风云，人有旦夕祸福。蜈蚣百足，行不及蛇；雄鸡两翼，飞不过鸦。马有千里之程，无骑不能自往；人有冲天之志，非运不能自通。 盖闻：人生在世，富贵不能淫，贫贱不能移。文章盖世，孔子厄于陈邦；武略超群，太公钓于渭水。颜渊命短，殊非凶恶之徒；盗跖年长，岂是善良之辈。尧帝明圣，却生不肖之儿；瞽叟愚顽，反生大孝之子。张良原是布衣，萧何称谓县吏。晏子身无五尺，封作齐国宰相；孔明卧居草庐，能作蜀汉军师。楚霸虽雄，败于乌江自刎；汉王虽弱，竟有万里江山。李广有射虎之威，到老无封；冯唐有乘龙之才，一生不遇。韩信未遇之时，无一日三餐，及至遇行，腰悬三尺玉印，一旦时衰，死于阴人之手。 有先贫而后富，有老壮而少衰。满腹文章，白发竟然不中；才疏学浅，少年及第登科。深院宫娥，运退反为妓妾；风流妓女，时来配作夫人。青春美女，却招愚蠢之夫；俊秀郎君，反配粗丑之妇。蛟龙未遇，潜水于鱼鳖之间；君子失时，拱手于小人之下。衣服虽破，常存仪礼之容；面带忧愁，每抱怀安之量。时遭不遇，只宜安贫守份；心若不欺，必然扬眉吐气。初贫君子，天然骨骼生成；乍富小人，不脱贫寒肌体。 天不得时，日月无光；地不得时，草木不生；水不得时，风浪不平；人不得时，利运不通。注福注禄，命里已安排定，富贵谁不欲？人若不依根基八字，岂能为卿为相? 吾昔寓居洛阳，朝求僧餐，暮宿破窖，思衣不可遮其体，思食不可济其饥，上人憎，下人厌，人道我贱，非我不弃也。今居朝堂，官至极品，位置三公，身虽鞠躬于一人之下，而列职于千万人之上，有挞百僚之杖，有斩鄙吝之剑，思衣而有罗锦千箱，思食而有珍馐百味，出则壮士执鞭，入则佳人捧觞，上人宠，下人拥。人道我贵，非我之能也，此乃时也、运也、命也。 嗟呼！人生在世，富贵不可尽用，贫贱不可自欺，听由天地循环，周而复始焉。 【译文】 天上有预测不到的风云变幻，人也会有早晚遇到的灾祸与喜事。蜈蚣有上百只足，但却不如蛇行走得好。家鸡翅膀虽然很大，却不能像鸟一样飞行。马虽然能行走千里之遥，但没有人驾驭也不能自己到达目的地。人有远大的理想，但缺乏机遇就不能实现。人们常说：人生在世，富贵不能淫，贫贱不能移。孔子的文章写得超过世人却被围困于陈国。拥有文韬武略的姜子牙也曾在渭水垂钓等待机会。孔子的学生颜回虽然早亡，但绝非凶恶的人。盗跖虽然活得长，却不是善良人。尧、舜虽然英明，却生下不肖的儿子。舜的父亲瞽叟顽固愚蠢，反而生下舜这样的大孝子。张良原来只是普通百姓，萧何也只是县吏。晏子的身高不到五尺，却被封为齐国宰相。孔明居住在茅草屋里，却能担当蜀国的军师。项羽虽然强大，却兵败而自刎乌江；刘邦虽然弱小，最终取得了国家政权。汉将李广虽有射虎石的威名，却终身都未获得封侯。冯唐虽有治国安邦的才能，却一生怀才不遇。韩信时运不济时，连饭都吃不上，等到运气来了，成为掌印的大将军，而一旦运气衰败，又死于阴毒人的计谋。 有的人先富裕后贫穷，也有人老年富裕少年衰落。满腹锦绣文章，直到老年还没有考上功名；才疏学浅的人，可能很年轻就金榜题名。皇帝的妃娥在动乱中可能沦为妾妓，风流的妓女，时来运转也能做贵夫人。青春美丽的女子嫁了愚蠢的丈夫，俊秀的青年倒找了丑陋的妻子。蛟龙没有机遇，只能藏身于鱼鳖之间，君子没有机会时，只能屈从于小人。衣服虽然破旧，常保持恭敬礼仪，面带忧愁却可能怀有兼济天下的志向。不得志时，只能安于贫穷和本分，心中坦荡一定会有扬眉吐气的一天。君子贫寒也有一身傲骨，暴富的小人脱不了内心的贫寒。 天气不好时，就见不到太阳和月亮的光辉；土地没有合适的气候条件时，草木都不会生长。水得不到恰当的环境时，就会掀起疾风巨浪；人若得不到机遇时，好运就不畅通。富贵荣华命中都有安排，谁不想要呢？人如果没有依从八德而生活，哪里能做高官当宰相？ 以前，我在洛阳，白天到寺庙里吃斋饭，晚上住在寒冷的窑洞里。所穿衣服不能避寒，吃的粥饭抵御不了饥饿。上等人憎恨我，下等人讨厌我，都说我卑贱，是我没有机遇啊。现在我入朝为官，官职做到最高层，地位达到三公，地位只在皇帝一人之下，千万人之上，拥有管理百官的权利，有惩罚卑鄙悭吝官员的权力。穿衣服是绫罗锦缎，吃的则是山珍海味，出门有武士保护，回家有仆人侍奉，皇上宠爱我，百官拥戴我，所有的人说我尊贵，不是我真有多大本领，这是我得到天时和命运的眷顾啊。 所以人活在世上，居富贵不能尽情享用，处贫贱也不要自暴自弃，听从天地的循环和周而复始吧！ 【赏析】 《命运赋》透出的是人生命运和天地自然变化循环的思想，文章以自己从凄惨到富贵的经历，列举了自古以来历史上诸多名人经历的各种命运和磨难，摆事实讲道理，来说明这世界人生命运的起起落落。 人生的始与终，在无运与有运、得时与失时的这种天地时空自然变化循环中，会产生天差地别和意想不到的人为和自然变化。只有经历过太多苦难沧桑和大起大伏的人，才能够体会到最深刻的天道无常和人情冷暖的巨大变化，才会体会到在人困、人为和天地自然变化循环中，命运的巨烈沉浮与很多人生无奈的结局。
-
《度心术》及译文，教你怎么揣摩！
度心术 唐 李义府 度心第一 吏者，能也，治之非易焉。 仁者，鲜也，御之弗厚焉。 志大不朝，欲寡眷野。 才高不羁，德薄善诈。 民之所畏，吏无惧矣。狡吏恃智，其勇必缺，迫之可也。 悍吏少谋，其行多疏，挟之可也。 廉吏固傲，其心系名，誉之可也。 治吏治心，明主不弃背己之人也。 知人知欲，智者善使败德之人焉。 译文 朝廷官员都是有一定才能的，管理他们不是一件容易的事。品德高尚的人是很少有的，治理官吏不能宽厚。志向大的人不会入朝为官，欲望少的会留恋民间。才能突出的人不受拘束，品德低下的人善于欺诈。百姓不敢做的事，官吏不会害怕。狡诈的官吏倚仗他的智慧，他的勇气一定是缺乏的，强迫他可以将他制住。凶狠的官吏往往智力不足，他的行为多有疏忽之处，挟制他可以令他屈服。 正值的官吏会孤傲，他的身心会被名声所累，赞誉他就可以役使他。 管理官吏要研究他们的内心，明智的君主不会抛弃曾背叛自己的人。识别人要了解他的欲望，有智慧的人善于驾驶德行有亏的人。 御心第二 民所求者，生也；君所畏者，乱也。 无生则乱，仁厚则安。 民心所向，善用者王也。 人忌吏贪，示廉者智也。 众怨不积，惩恶勿纵。不礼于士，国之害也，治国固厚士焉。 士子娇纵，非民之福，有国者患之。 士不怨上，民心堪定矣。严刑峻法，秦之亡也，三代盛典，德之化也。 权重勿恃，名高勿寄，树威以信也。 译文 百姓所追求的，是生存，君主所畏惧的是叛乱。百姓无法生产就会产生叛乱，君主仁爱宽厚就可使天下安定。百姓都向往的事，善于利用这一点的热播就可以成就霸王之业。人们记恨官吏的贪婪，显示自己廉洁的人才算聪明。民众的怨恨不能让他积累，惩治恶人不要姑息放纵。对读书人不尊敬，是国家的灾害，治理国家一定要优待读书人。读书人的骄傲和放荡，对百姓没有好处，治理国家的人对这些人要警惕。读书人不怨恨朝廷，百姓的心意就可以稳定。施行严酷的刑法，是秦朝灭亡的原因，夏禹、商汤、周文实现长治久安，就是施行了仁政。权力大不可以倚仗，名望高不可以托付，树立权威要讲究信用。 擒心第三 德不悦上，上赏其才也。 才不服下，下敬其恕也。 才高不堪贱用，贱则失之。 能微莫付权贵，贵则毁己。 才大无忠者，用之祸烈也。 人不乏其能，贤者不拒小智。 智或存其失，明者或弃大谋。 不患无才，患无用焉。 技显莫敌禄厚，堕志也。 情坚无及义重，败心矣。 译文 品德好不能让君主高兴，君主尊重的是人的才能。才能大不能让属下诚服，属下敬畏的是君主的宽恕。才能高的人不能让他担任低的职务，轻视他们就会失去他们。本领低微的人不能让他们掌握显要的权力，重用他们就会毁灭自己。有大才但没忠心的人，重用他们会招致很大的祸患。人们都有一定的才能，德行好的人不会疏远本领低的人。智计有时会存失误，明智的人有时会不用大的谋划。不担心没有人才，担忧是不会使用他们。才技突出不能抵挡俸禄的丰厚，金钱销蚀人的志向。感情深厚比不上义节的重要，义节改变人的是想。 欺心第四 愚人难教，欺而有功也。 智者亦俗，敬而增益也。 自知者明，人莫说之。身危者骇，人勿责之。 无信者疑，人休蔽之。 诡不惑圣，其心静焉。 正不屈敌，其意谲(jue)焉。 诚不悦人，其神媚焉。 自欺少忧，醒而愁剧也。 人欺不怒，忿而再失矣。 译文 愚蠢的人不可以教他，欺骗他却有成效。有智慧的人也会庸俗，尊敬他可以收益。了解自己的人明智，不要去有说他。身处危险的人恐怖，人们不要去指责他。没信义的人多疑，人们不必蒙骗他。欺诈之术不能蒙骗圣人，圣人内心安祥。正义不能让敌人自动屈服，因为敌人本性奸诈。诚实不能讨人欢心，人们在骨子里都喜欢谄媚。自我欺骗能减少忧虑，清醒却使愁苦加剧。被人欺骗不要发怒，愤怒只会让人失去更多。 纵心第五 国盛势衰，纵其强损焉。 人贵势弱，骄其志折焉。 功高者抑其权，不抑其位。 名显者重其德，不重其名。 败寇者纵之远，不纵之近。 君子勿拘，其心无拘也。 小人纵欲，其心惟欲也。利己纵之，利人束之，莫以情易耳。心可纵，言勿滥也。 行可偏，名固正也。 译文 强国的势头是走向衰落，放纵他的强大会损伤他。 贵人的势头是转向弱小，促使他志趣骄横能折损他。 对功劳大的要限制他们的实权，而不降低他们的地位。 对名声显赫的人要看重他们的品德，而不看重他们的名望。 失败的敌人可以放纵他们逃向远处，不可以放纵他们留在身边。 君子不要束缚他们，他们的心志是不受束缚的。 小人不节制欲望，他们的心思全在满足欲望上。有利于自己的就放纵他，有利于他人的就约束他，不要因为情感的好恶而改变。想法可以很多，但语言不能随便。 行为可以有偏失，但名义一定要守正。 构心第六 富贵乃争，人相构也。 生死乃命，心相忌也。 构人以短，莫毁其长。 伤人于窘，勿击其强。 敌之不觉，吾必隐真矣。 贬之非贬，君子之谋也。 誉之非誉，小人之术也。 主臣相疑，其后谤成焉。 人害者众，弃利者免患也。 无妒者稀，容人者释忿哉。 译文 富贵是争取来的，所以人们互相构陷。 生死是天命造成的，所以人们心里互相记恨。 用他人的短处来构陷他，不要诋毁他的长处。 在他人窘迫的时候中伤他，他人强势时不要攻击。 若敌人无所察觉，自己就一定要隐藏真实。 贬损的目的不是贬损，这是君子的谋略。 赞誉的目的不是赞誉，这是小人的手段。君主和臣子互相猜疑，这之后诽谤的事才能有成。…
-
8种神经网络结构
下面是8种核心神经网络架构 1. 感知机（Perceptrons） 感知机可以称为第一代的神经网络，主要包括输入的多个特征单元（人工定义或程序寻找），中间由学习权重连接，最后由决策单元输出。典型的感知机单元遵循前馈模型，输入通过权重处理后直接连接到输出单元上。 如果人们手动选取足够的有效特征，感知机几乎可以做任何事。但一旦人工特征固定下来将会极大的限制感知机的学习能力。同时如何选择一个好的、有效的特征也是困扰人们的难点。这对于感知机来说是毁灭性的，由于感知机将所有的注意力放在了模式识别上而忽视了变换过程。Minsky和Papert的”群体不变性理论”指出无法通过学习来识别出一组变化中的变换过程。为了处理这样的变换，感知机需要利用多特征单元来识别出变换。而这模式识别中最为复杂的一步则需要手工来完成特征提取，而不是学习。 没有隐藏层的神经网络在为输入输出映射建模的过程中具有很大的局限性。而更多层的线性单元似乎也没有帮助，因为线性的叠加依旧是线性的。固定的非线性输出也不足以建立复杂的映射关系。所以在感知机的基础上我们需要建立多层具有适应性非线性的隐藏单元网络。但我们该如何训练这样的网络呢？我们需要有效的方法来调整所有层而不仅仅是最后一层的权重。这十分困难，因为学习隐藏层的权重就等同于学习特征，但没人会告诉你每个隐藏单元应该做什么。这就需要更先进的结构来处理了！ 2.卷积神经网络（Convolutional Neural Networks） 机器学习领域对于目标识别和检测进行了多年的探索，问题始终悬而未决的原因在于以下问题始终困扰着物体的视觉识别： 分割、遮挡问题 光照变化问题 扭曲和形变问题 同一类物体在功能性区别下的外形变化 视角不同带来的困难 维度尺度带来的问题 这些问题一直困扰着传统的模式识别。人们阐释手工创造各种各样的特征来描述物体的特征，但结果总不尽如人意。热别是在物体识别领域，轻微的变化就会造成结果的巨大差别。 图 卷积网络的可视化图形 在感知机和多层感知机的基础上，人们提出了一种新的网络结构——卷积神经网络。利用卷积神经网络可以对一些特征的检测进行共享，并在尺度和位置和方向上具有一定的不变性。较早的著名例子就是1998年Yann LeCun提出的一个称为LeNet的网络进行手写字符识别获得了巨大的成功。下图是LeNet的主要结构：一个包括卷积、池化和全连接的六层网络结构。 它利用反向传播算法来对隐藏层的单元权重进行训练，并在每个卷积层中实现了卷积操作的（卷积核）权值共享，并引入池化层实现了特征的缩聚（后面的网络层具有较大的感受野），最后通过全连接层来实现输出。 而后时间来到了ILSVRC2012年的比赛，由ImageNet提供了120万张的高清训练数据，目的是训练一个可以分类出图像属于一千类中每一类的概率的模型，并以此来进行图像的识别。Hinton的学生Alex Krizhevsky最后夺魁。在LeNet的基础上改进了神经网络，训练出了一个具有7个隐藏层深度网络，更深更强大的AlexNet，并引入了GPU进行并行训练，极大的提高了深度学习模型的训练效率。自此GPU开始进入了广大机器学习研究者的视野中。远超过第二名的成绩展示了深度学习的强大魅力，也使得深度学习开始走入了高速发展的快车道中。 3. 循环神经网络（Recurrent Neural Network） 循环神经网络主要用于处理序列数据。在机器学习领域，序列模型一般利用序列数据作为输入，来训练序列模型用于预测序列数据的下一项。在循环神经网络之前主要使用无记忆模型处理这类任务。 循环神经网络是一种十分有力的武器，它包含了两个重要的特点。首先拥有一系列隐含状态的分布可以高效的存储过去的信息；其次它具有非线性动力学可以允许它以复杂的方式更新隐藏状态。在足够的时间和神经元数量下，RNN甚至可以计算出计算机能计算的任何东西。它们甚至会表现出振动、牵引和混沌的行为。 然而循环神经网络的训练复杂，需要面对梯度消失或者爆炸的问题。由于训练的RNN是一个很长的序列模型，训练过程中的梯度十分容易出现问题。即使在很好的初值下，它也很难检测到目前的目标和先前很多步前输入间的联系，所以循环神经网络处理长程依赖性还十分困难。 目前主要有四种有效的方式实现循环神经网络，主要包括长短时记忆（Long Short Term Memory），海森自由优化方法（Hessian Free Optimization)，回声状态网络（Echo State Networks）以及利用动量的初始化（Good initialization with momentum） 4 . 长短时记忆网络（Long/Short Term Memory Network） Hochreiter和Schmidhuber（1997）通过构建长短时记忆网络（LSTM：Long Short Term Memory），解决了RNN长时间记忆（如数百个时间步）的问题。 他们使用相互作用的逻辑单元和线性单元来设计专门的存储细胞（Memory Cell）。 当“写入”门打开时，信息就可以进入存储细胞。 只要“保持”门处于开启状态，信息就会一直保留在存储细胞中。开启“读取”门就可以从细胞中读取信息：RNN特别适合用于手写草书识别这样的任务。通常会以笔尖坐标x，y以及表示笔是向上还是向下的参数p作为输入，输出则是一段字符序列。Graves和Schmidhuber（2009）将LSTM结合到RNN中，得到了当前草书识别的最佳结果。 不过，他们使用小图像序列而非笔尖坐标序列作为输入。 5. Hopfield网络 带有非线性单元的循环网络通常是很难分析的，它们会以许多不同的方式表现出来：稳定状态，振荡，或遵循不可预测的混沌轨迹。 Hopfield网络由二进制阈值单元反复连接组成。1982年，约翰·霍普菲尔德认识到如果这种连接是对称的，那就存在一个全局的能量函数。整个网络每个二进制单元的“配置”都对应了能量的多与少，二进制单元的阈值决策规则会让网络的配置朝着能量函数最小化的方向进行。 使用这种类型的计算的一种简洁方法是使用存储器作为神经网络的能量最小值，使用能量极小值的记忆提供了一个内存关联存储器(CAM) 。项目只用知道其内容的一部分便可实现访问，可以有效应对硬件损坏的情况。 每当我们记忆一次配置，我们希望得到一个新的能量最小值。 但是，一旦同时存在两个最小值，怎么办？ 这就限制了Hopfield网络的能力。 那么我们如何增加Hopfield网络的能力呢？ 物理学家们喜欢用已有的数学知识去解释大脑的工作原理。 许多关于Hopfield网络及其存储能力的论文在物理学期刊上发表。最终，伊丽莎白·加德纳（Elizabeth Gardner）发现了一个更好的存储规则，它使用权重的全部容量。 她并不一次存储所有向量，而是多次循环训练集，并利用感知器收敛过程来训练每个单元，使其具有正确的状态，给定该向量中所有其他单元的状态。 统计学家称这种技术为“拟似然估计”。 Hopfield网络还有另一种计算角色。 我们并不用网络来存储记忆，而是用它来构建感官输入的演绎，用可见单元表示输入，用隐层节点的状态表示演绎，用能量表示演绎的好坏。 6 . 玻尔兹曼机（Boltzmann Machine Network） 玻尔兹曼机是一种随机递归神经网络， 它可以被看作是Hopfield网络随机生成的， 它也是第一批能够学习内部表示、能够表示和解决困难的组合学问题的神经网络之一。 玻尔兹曼机学习算法的学习目标是最大化玻尔兹曼机分配给训练集中的二进制向量的概率乘积。这相当于最大化了玻尔兹曼机分配给训练向量的对数概率之和。如果我们1）让网络在没有外部输入的情况下稳定到N不同时间平稳分布; 2）每次采样一次可见向量，那也可以理解为最大化我们得到N个样本的概率。 2012年，Salakhutdinov和Hinton提出了玻尔兹曼机的高效小批量学习程序。 对于正向，首先将隐藏概率初始化为0.5，然后将可见单元上的数据向量进行固定，然后并行更新所有隐藏单元，直到使用平均场更新进行收敛。 在网络收敛之后，为每个连接的单元对记录PiPj，并在最小批量中对所有数据进行平均。 对于反向：首先保留一组“幻想粒子”，每个粒子的值都是全局配置。 然后依次更新每个幻想粒子中的所有单元几次。 对于每个连接的单元对，在所有的幻想粒子上平均SiSj。 在普通玻尔兹曼机中，单元的随机更新是有序的。 有一个特殊的体系结构允许更有效的交替并行更新（层内无连接，无跨层连接）。…
