与《霍比特人》一样，《魔戒》也诞生在一个纷扰不断的世界，1937-1939年，整个欧洲已变成一个大战场，但牛津在战争期间的遭遇比英国其他城市好多了。希特勒认为牛津是个很美的城市，他愿不惜任何代价把他保留下来，甚至还打算把他当作未来的首府。因此在战争之初，参战各国就协议，英国皇家空军不轰炸海德堡和格丁根，德国纳粹空军也将不轰炸牛津和剑桥。但牛津的居民和其他地方的民众一样，仍旧忍受着战争时期的物资匮乏、食物短缺和燃料配给之苦，人们也成天提心吊胆地担心希特勒是否会坚守诺言，即便这样，牛津仍被视为安全避难所，国宝、妇女和儿童被撤离到牛津和附近的村庄，托尔金家也收容了难民，诺思莫路的大房子如今只剩下小儿子和女儿。大儿子约翰正在罗马接受培训，准备做神父，后来才撤回英国；迈克尔于1939年应募入伍，但在正式担任制空炮手之前，还在牛津三一学院待了一年。在战争后期，克里斯托弗随皇家空军部队转驻南非。
从许多方面来说，托尔金的生活都没有太大改变。大学里的学生比以往少了许多（许多他们喜爱的学生有可能永远也不能回到课堂，正像二十多年前他们自己的朋友永远也未能回来一样），但课程仍旧照常上，仍然得批改考卷，履行日常行政职务，参加“因克林”的聚会，老实说，战争其间聚会反倒最为频繁，也许他们是在逃避，试图暂时忘却那些痛苦的记忆，他们的生活，他们的祖国第二次被卷入残酷的战争…
妻子伊迪丝在战争开始后又与他爆发了一次大吵（我都不稀说她），男孩子们都上前线或即将上前线了，丈夫的大部分生活自己没份参与，与教授们的太太团格格不入，连经常来家里的刘易斯她都冷漠以对，早年被迫皈依天主教仍使她愤愤不平，这就是他们争吵的原因。
除了这些问题之外，托尔金似乎也很难维持舒适的生活。四个孩子的花费已经让他捉襟见肘——私立学校教育、大学费用，和国家医疗服务遭受严重损害之前的医药费。托尔金深知学术生涯必会很清贫，但随着家庭成员的日益增加，开销也越来越大，他开始期望自己在文学方面的努力能增加财富。
《霍比特人》虽然畅销，但此时却还没能给托尔金带来大笔财富。1938年，他获知美国出版商卖出了三千册，英国出版商在出版的第一年也出售了相同数量，书的版权陆续卖给世界各国出版商，为他带来了稳定的一点收益。但直到1960年代中期，《魔戒》成功之后，《霍比特人》才为他带来大笔的收入。
《霍比特人》获得了一片喝彩，使媒体和出版界开始关注托尔金，斯坦利?昂温觉得人们很快会想更多地了解霍比特人和他们生活的世界。他写了一封信给托尔金，把这些都告诉了他。昂温是个经验丰富的生意人，知道作家很少有第一本就畅销的，若果真畅销，也得保持先前的创作热情，才能写出一系列佳作，因此，他很自然希望托尔金写续集——新《霍比特人》。
此时在托尔金的书房里，放着好几本儿童故事的手稿，还有成堆的考卷、笔记、草稿、地图、插图、诗和散文，内容都是中土的第一纪和第二纪，还有贝伦、吉尔格拉德和埃尔德罗等的英雄传奇，精灵和主神的故事，以及莫高斯和索隆邪恶的面貌。他能在这里找到新“霍比特人”吗？
1937年11月15日，托尔金和昂温相约午餐，以庆祝《霍比特人》的出版，并讨论未来的计划。托尔金带来一大包作品给昂温过目，这其中有《圣诞老人的来信》，一本儿童故事集《精灵宝钻》手稿（〈精灵宝钻争战史〉）以及尚未写完的诗作《贝伦与露茜恩之歌》。其实他们都清楚，这些书并不合适。《来信》虽然非常有趣，但并不能作为《霍比特人》的续集，这样的书信集必须配上彩色插图才好，但成本会很高；《贝伦》的意境可能过高；当时的《精灵宝钻》还只是一堆故事，尚未完成，而且相互之间似乎没有关联。而昂温想要的是另一篇和小说一样长的历险故事，书中不能少了毕尔博、小矮人、精灵、魔法师和地底巨人，背景是中土。
可想而知，出版公司的编辑爱德华?克兰克肖拿到这些稿子，必然感到困惑，他确实在字里行间看见了一些精彩的段落，然而这些材料显然并不是昂温所需要的。聪明的托尔金当然明白这一点，他写信给昂温说：“《精灵宝钻》深藏在我心中。”而这些手稿也到了多年以后才公诸于世。1938年时，托尔金在心理上还未完全准备好将这本杰作交由外人去编辑，他明白这本书还没有完成，还需要许多年的准备和成长，才能让读者对“中土”和西方之域有完整的印象。《精灵宝钻》目前还太个人，还埋藏在他的心灵深处。
与此同时，他必须把心思和才华放到儿童文学方面，创作出比较传统的故事，再次吸引读者。在12月中旬，他得到消息，他的那些手稿并不适合作《霍比特人》的续集，12月16日，他回信说他会再构思新的霍比特人的故事。但他还没有一个清晰的思路，角色要如何安排，情节该怎么展开。
第二天，托尔金的编辑查尔斯?弗斯写信跟他说，《霍比特人》供不应求，他们不但得赶紧印第二版，而且为了将书及时运到商店，他们不得不自己用车去印刷厂拿书。究竟是不是这个消息刺激了托尔金，现在已不得而知，但正是那天，托尔金忽然获得灵感，记下了新故事的重点，到12月19日，他告诉弗斯，新书已写好第一章，他把这一章称为“期待已久的宴会”。
这是一个好的开始，而且正值圣诞其间，他有的是时间。但是托尔金是个慢工出细活的人，他最不能忍受的事是为了赶截稿期限而编造故事，除非有灵感，否则他什么也写不出（典型的事例有，在1930年代早期，他就开始翻译一本诗集准备出版，直到1960年代初，这项任务才最终完成，只需要他写篇序就可以出版。但托尔金却一再拖延，历经几代编辑，使出浑身解数，甚至请他的朋友催促，都无济于事，直到托尔金去世，才由他的儿子代序出版。真是太fz了）。
但是1937年托尔金却被各种动机诱因推动着，努力构思“新霍比特人”。其最大的动力来自于创造新鲜事物的兴奋，而且在吸引了这么多读者之后，当然也舍不得就此停笔。我们得记得，托尔金和刘易斯之间存在竞争，这时他们还是好朋友，而在托尔金和刘易斯领衔的社交圈里，刘易斯被认为最可能在文坛上大放异彩。最为至关重要的是，刘易斯是个写作快手，似乎精力无限，还有着高招妙策。托尔金为刘易斯的写作速度感到恼火，他自己的写作方式完全不同，他字斟句酌，是个完美主义者，除非将作品改了又改，否则绝不让任何人看到它。
或许令人惊讶的是，在这段时期，托尔金和刘易斯竟然商讨共同写书的计划。这个主意是刘易斯首先提出的，因为他觉得他俩共同喜爱的书太少，不如自己执笔。刘易斯决定写一本有关太空的书，托尔金负责写时间。刘易斯于是写出了《来自寂静的星球》，而托尔金打算写《失落的路》，写一对父子因为时光旅行，被卷入努美诺尔灭亡的故事，不过才写了四章，他就放弃了。
刘易斯对托尔金的赞赏，显然是激励他继续写下去的另一种力量。他曾对为刘易斯作传的沃尔特?胡珀说，他写《魔戒》是为了“把《精灵宝钻》的故事说给刘易斯听”。
因此，有几种力量同时把托尔金拉往不同的方向。他希望写出《霍比特人》的续集，为着他的自尊，为了赚钱，为了摆脱一些他讨厌的工作，但同时，他又不能改变自己的思维和写作方式。幸运的是，他可以将整个神话故事的各个细节详细地留存在自己的脑海中，融合各种各样的注解和复杂的说明。因此，故事的逐渐成长并不会让他丢失思路和切实的表达力，以及完成作品所必须的热情动力。十二年里，《魔戒》由模糊的“霍比特人”的续集发展到成熟独立的文学作品，其间时而延迟，时而中断，整月甚至整年毫无进展，之后又忽然爆发出惊人的创造力。托尔金多次把这部作品暂时搁置到一边，转而发展其他新作。不过他专注凝神的能力和史诗般的宏观，终于使这部作品得以完成。
这个新的开端点燃了托尔金创作的激情，到1938年2月初，他便将第一章的初稿交给了出版商，在附信中他建议昂温将手稿给他的儿子——“伯乐”雷纳看。这个版本和最后成书的版本几乎没什么差别，唯一的不同是Frodo是Bilbo的儿子，名字不叫Frodo而叫Bingo（以托尔金孩子们的一个玩具的名字命名）。在写这个章节时，托尔金模糊地觉得他可以将Bilbo在《霍比特人》里找到的戒指加入到这个新故事中。
雷纳的确读了这开篇第一章，并且非常喜欢。在收到手稿短短几天后，昂温便写信给作者，说他们认可这一章，鼓励他沿着这条思路再抓紧写下去，托尔金大受鼓舞，三周之后，他已写完第三章，开始要进入故事的主干部分了。
这一稿仍然很像《霍比特人》的续集，尽管托尔金自认为这本书的基调和感受已变得完全不同。交代背景细节的章节“昔日阴影”（成书的第三章）是后来补写的，但到1938年的2月或3月时，魔戒已成为故事的中心部分，托尔金也已决定让霍比特人、魔戒和邪恶王索隆发展一段追寻魔戒的故事，作为故事的主干部分。
但是到了1938年6月，托尔金的工作方式第一次被打破了，他面对着其他困扰。他的朋友，同为语言学家的同事埃里克?戈登，以52岁之龄忽然去世了，一年一度的毕业生试卷又送来了，而这时托尔金还掌握不住作品的方向。他仿佛在和故事赛跑，却不知道这故事会把他带向何方，不过，他一定有了某种灵感，因为一个月后，他又回到自己的工作轨道上来，已设想出了故事的主干结构。
他决定应以Bilbo手里的魔戒为主题，他是诸戒之王，是《霍比特人》中邪恶王索隆的戒指，如今他希望重新获得这枚戒指。故事将围绕着“中土”里善的力量，他们希望毁灭这枚魔戒,以组织索隆达到他的目标。在1938年的7月和8月里，托尔金将这些主导思想写进了最重要的第二章“昔日阴影”，在这一章里，Gandalf为Bilbo解释那枚魔戒的来历。
8月份，托尔金全家去海边小镇西德矛斯度假。在度假其间，托尔金忽然有了创作的冲动。他将故事发展安排在“跃马客栈”，那儿是霍比特人第一次见到阿拉贡的地方，创作的坚冰终被击破，思绪奔涌而出，但故事的主干在前进中仍存在着某种混乱。就在此际，托尔金可以有众多不同的发展方向，其中最简单的是炮制出新《霍比特人》，毕竟出版商昂温一直力促他朝这个方向行进，而他本人的经济状况也使他迫切需要再出一本畅销书，幸而他没有选择这条路，而是挑了更恢宏的远景，他也希望能发掘出更多的宝藏。
那年秋天，托尔金摆脱了新《霍比特人》的最后一点遗迹，把他的新小说称作《魔戒》。到这个时候，他已经设计好，由Frodo对魔戒的命运负责，破坏索隆的魔力，阻止他永远称霸中土，必须有人志愿进入莫都的中心厄运山去摧毁魔戒。
1939年3月，托尔金在苏格兰圣安德鲁大学做一个有关安德鲁?兰（童话作家和收集者）的讲座，这篇讲稿不但把托尔金最爱的文学形式分析得淋漓尽致，也让他专心在自己的新书创作中。托尔金是抱着再写一个小故事的想法开始《魔戒》的创作的，或许是向我们叙述Bilbo和小矮人们的另一次探险，或许讲述其他人的小故事，但他很快便意识到中土是比《霍比特人》更为广袤的土地，有自己的历史和地理，在幽暗密林和云雾山之外还绵延着大片陌生奇异之域。但更为重要的是，托尔金已经创作了宏伟的神话、历史和地理，足以满足故事的辅助架构和传奇历史的需要，他意识到自己不必再局限于《霍比特人》中的那些角色，整个中土世界都是他的游乐场，他又何必束手束脚呢？