在十七世纪中叶的一个夏天，一天早晨，一大群波士顿居民拥挤在监狱前的草地上，庄严地目不转睛地盯着牢房门。

随着牢门的打开，一个怀抱三个月大的婴儿的年轻女人缓缓地走到了人群前，在她的胸前佩带着一个鲜红的A字，耀眼的红字吸引了所有人的目光，她就是海丝特·白兰太太。她由于被认为犯了通奸罪而受到审判，并要永远佩带那个代表着耻辱的红字。

在绞刑台上，面对着总督贝灵汉和约翰·威尔逊牧师的威逼利诱，她以极大的毅力忍受着屈辱，忍受着人性所能承担的一切，而站在她身旁的年轻牧师丁梅斯代尔却流露出一种忧心忡忡、惊慌失措的神色，恰似一个人在人生道路上偏离了方向，感到非常迷惘，只有把自己封闭起来才觉得安然。海丝特·白兰坚定地说：“我永远不会说出孩子的父亲是谁的”，说这句话的时候她的眼睛没有去看威尔逊牧师，而是凝视着那年轻牧师深沉而忧郁的眼睛。“这红字烙得太深了。你是取不下来的。但愿我能在忍受我的痛苦的同时，也忍受住他的痛苦！”海丝特·白兰说。

这时，在人群中，海丝特·白兰看到了一个相貌奇特的男人：矮小苍老，左肩比右肩高，正用着阴晦的眼神注视着她，这个男人就是她失散了两年之久的丈夫齐灵渥斯——一个才智出众、学识渊博的医生。当他发现海丝特·白兰认出了他时，示意她不要声张。在齐灵渥斯的眼里燃烧着仇恨的怒火，他要向海丝特·白兰及她的情人复仇，并且他相信一定能够成功。

海丝特·白兰被带回狱中之后，齐灵渥斯以医生的身份见到了她，但海丝特·白兰不肯说出孩子的父亲是谁，并且向齐灵渥斯坦言她从他那里从来没有感受到过爱情，齐灵渥斯威胁海丝特·白兰不要泄露他们的夫妻关系，他不能遭受一个不忠实女人的丈夫所要蒙受的耻辱，否则，他会让她的情人名誉扫地，毁掉的不仅仅是他的名誉，地位，甚至还有他的灵魂和生命，海丝特·白兰答应了。

海丝特·白兰出狱后，带着自己的女儿小珠儿靠着针线技艺维持着生活，她们离群索居，那鲜红的A 字将屈辱深深烙在了海丝特·白兰的心里。小珠儿长得美丽脱俗，有着倔强的性格和充沛的精力，她和那红字一起闪耀在世人的面前，在那个清教徒的社会里，他们是耻辱的象征，但也只有他们是鲜亮的。

丁梅斯代尔牧师不仅年轻俊美，而且学识渊博，善于辞令，有着极高的秉赋和极深的造诣，在教民中有着极高的威望。但是，自从海丝特·白兰受审以来，他的健康日趋羸弱，敏感，忧郁与恐慌弥漫了他的整个思绪，他常常夜不成寐的祷告，每逢略受惊恐或是突然遇到什么意外事件时，他的手就会拢在心上，先是一阵红潮，然后便是满面苍白，显得十分苦痛。这一切都让齐灵渥斯看在眼里，对他产生了浓厚的兴趣，并以医生的身份与他形影相随。

随着时间的推移，小珠儿渐渐的长大了，她穿着母亲为她做的红天鹅绒裙衫，奔跑着，跳跃着，象一团小火焰在燃烧，这耀眼的红色使清教徒们觉得孩子是另一种形式的红字，是被赋予了生命的红字！贝灵汉总督和神甫约翰·威尔逊认为小珠儿应该与母亲分开，因为她的母亲是个罪人，没有能力完成使孩子成为清教徒的重任。但是海丝特·白兰坚决不同意。她大声说珠儿是上帝给她的孩子，珠儿是她的幸福！也是她的折磨！是珠儿叫她还活在世上！也是珠儿叫她受着惩罚！如果他们夺走珠儿，海丝特·白兰情愿先死给他们看。海丝特·白兰转向丁梅斯代尔牧师，希望他能够发表意见。丁梅斯代尔牧师面色苍白，一只手捂住心口，那双又大又黑的眼睛深处，在烦恼和忧郁之中还有一个痛苦的天地，他认为珠儿是上帝给海丝特·白兰的孩子，应该听从上帝的安排，如果她能把孩子送上天国，那么孩子也就能把她带到天国，这是上帝神圣的旨意。这样珠儿才没有被带走。

这一切，都被饱经世故的齐灵渥斯看在眼里，他一点点地向丁梅斯代尔牧师内心逼近，齐灵渥斯像观察病人一样去观察他，一方面观察丁梅斯代尔牧师的日常生活，看他怎样在惯有的思路中前进，另一方面观察他被投入另一种道德境界时所表现的形态，他尽量发掘牧师内心的奥秘。随着时间的推移，齐灵渥斯渐渐地走进了丁梅斯代尔牧师的心里，并向他的灵魂深处探进。

一天，丁梅斯代尔牧师正在沉睡，齐灵渥斯走了进来，拨开了他的法衣，终于发现了丁梅斯代尔牧师一直隐藏的秘密——他的胸口上有着和海丝特·白兰一样的红色标记，他欣喜若狂，那是一种狂野的惊奇、欢乐和恐惧的表情！那种骇人的狂喜，绝不仅仅是由眼睛和表情所表达的，甚至是从他整个的丑陋身躯迸发出来，他将两臂伸向天花板，一只脚使劲跺着地面，以这种非同寻常的姿态放纵地表现他的狂喜！当一个宝贵的人类灵魂失去了天国，堕入撒旦的地狱之中时，那魔王知道该如何举动了。

齐灵渥斯精心地实施着他的复仇计划，他利用丁梅斯代尔牧师敏感、富于想象的特点，抓住他的负罪心理，折磨他的心灵，他把自己装扮成可信赖的朋友，让对方向他吐露一切恐惧、自责、烦恼、懊悔、负罪感，那些向世界隐瞒着的一切内疚，本可以获得世界的博大心胸的怜悯和原谅的，如今却要揭示给他这个内心充满了复仇火焰的人，最最恰如其分地让他得偿复仇之夙债。而此时的丁梅斯代尔牧师对齐灵渥斯却没有任何的怀疑，虽然他总是会感到有一种恶势力在紧紧的盯着自己，总有一种不祥的预感，由于他不把任何人视为可信赖的朋友，故此当敌人实际上已出现时，仍然辨认不出。就在丁梅斯代尔牧师饱尝肉体上的疾病的痛苦和精神上的摧残的同时，他在圣职上却大放异彩，取得了辉煌的成就。公众的景仰更加加重了他的罪恶感，使他的心理不堪重负。

终于，在一天漆黑的夜里，丁梅斯代尔牧师梦游般走到了市场上的绞刑台上，发出一声悲痛的嘶喊。海丝特·白兰和小珠儿刚刚守护着一个人去世，恰巧从这里经过，她看到丁梅斯代尔牧师已处于崩溃的边缘，精神力量已经到了无能为力的地步。一种悔罪感使丁梅斯代尔邀请她们一同登上了绞刑台：“你们母女俩以前已经在这儿站过了，可是我当时没和你们一起来。再上来一次吧，我们三个人一起站着吧！”海丝特·白兰握着孩子的一只手，牧师握着孩子的另一只手，他们共同站在了绞刑台上。就在他这么做的瞬间，似有一般不同于他自己生命的新生命的激越之潮，急流般涌入他的心房，冲过他周身的血管，仿佛那母女俩正把她们生命的温暖传递给他半麻木的身躯，三人构成了一条闭合的电路，此时，天空闪过了一丝亮光，丁梅斯代尔仿佛看见天空中出现了一个巨大的字母“A”。然而，这一切都让跟踪而至的齐灵渥斯看到了，这使得丁梅斯代尔牧师极为恐慌，但是，齐灵渥斯却说丁梅斯代尔先生患了夜游症，并把他带回了家。丁梅斯代尔先生就像一个刚刚从噩梦中惊醒的人，心中懊丧得发冷，便听凭那医生把自己领走了。

许多年过去了，小珠儿已经七岁了，海丝特·白兰此时所处的地位已同她当初受辱时不完全一样了。如果一个人在大家面前有着与众不同的特殊地位，而同时又不干涉任何公共或个人的利益，她就最终会赢得普遍的尊重。海丝特·白兰从来与世无争，只是毫无怨尤地屈从于社会的最不公平的待遇；她也没有因自己的不幸而希冀什么报偿；她同样不依重于人们的同情。于是，在她因犯罪而丧失了权利、被迫独处一隅的这些年月里，大大地赢得了人心。她除了一心一意的打扮小珠儿外，她还尽自己所能去帮助穷人，用宽大的心去包容一切，人们开始不再把那红字看作是罪过的标记，而是当成自那时起的许多善行的象征。

在这几年里，许多人都发生着变化，齐灵渥斯变得更加苍老了，海丝特·白兰原来印象最深的他先前那种聪慧好学的品格，那种平和安详的风度，如今已经荡然无存，取而代之的是一种急切窥测的神色，近乎疯狂而又竭力掩饰，而这种掩饰使旁人益发清楚地看出他的阴险。海丝特·白兰请求齐灵渥斯放过丁梅斯代尔牧师，不要再摧残他的灵魂了，但是丁梅斯代尔牧师的痛苦、复仇的快乐已经冲昏了齐灵渥斯的头脑，他决定继续实施自己的阴谋，他要慢慢地折磨丁梅斯代尔牧师，复仇已经成为他生活唯一的目的。海丝特·白兰决定将齐灵渥斯的真实身份告诉丁梅斯代尔。

在一片浓密的森林里，海丝特·白兰见到了丁梅斯代尔，他们互诉衷肠，述说着几年来心底的秘密，他们受着同样的痛苦和煎熬，同样受着良知和道德的啮噬。丁梅斯代尔告诉她，虽然他的胸前没有佩带红字，但是，同样的红字在他的生命里一直燃烧着。此时，海丝特·白兰才意识到牺牲掉牧师的好名声，甚至让他死掉，都比她原先所选择的途径要强得多，她告诉丁梅斯代尔齐灵渥斯就是她的丈夫，她所做的一切都是为了他的荣誉、地位及生命才隐瞒了这个秘密。阴暗凶猛的眼神瞬间涌上了丁梅斯代尔的脸上，他痛楚的把脸埋在双手之中。海丝特·白兰劝丁梅斯代尔离开这里，到一个没有人认识的地方去，到一个可以避开齐灵渥斯双眼的地方去，她愿意和他开始一段新的生活，过去的已经一去不复返了！现在又何必去留恋呢？丁梅斯代尔犹豫着，他要么承认是一名罪犯而逃走，要么继续充当一名伪君子而留下，但他的良心已难以从中取得平衡；为了避免死亡和耻辱的危险，以及一个敌人的莫测的诡计，丁梅斯代尔决定出走。

海丝特·白兰的鼓励及对新生活的憧憬，使丁梅斯代尔重新有了生活的勇气和希望。刚好有一艘停泊在港湾的船三天之后就要到英国去，他们决定坐这艘船返回欧洲，一切都在顺利地进行着。他们每天都被这种新的希望激励着、兴奋着，丁梅斯代尔决定演讲完庆祝说教后就离开。新英格兰的节日如期而至，丁梅斯代尔牧师的演讲也按计划进行着，海丝特·白兰和小珠儿来到市场，她的脸上有一种前所未见的表情，特殊的不安和兴奋，“再最后看一眼这红字和佩戴红字的人吧！”她想，“再过一段时间，她就会远走高飞了！那深不可测的大海将把你们在她胸前灼烧的标记永远淹没无存！”这时，那艘准备开往英国船只的船长走了过来，他告诉海丝特·白兰，齐灵渥斯将同他们同行，海丝特·白兰彻底绝望了。

丁梅斯代尔牧师的宣讲取得了空前绝后的最辉煌成功，但随后他变得非常衰弱和苍白，他步履踉跄，内心的负罪感及良心的谴责最终战胜了他出逃的意志，在经过绞刑台的时候，他挣脱齐灵渥斯的羁绊，在海丝特·白兰的搀扶下登上了绞刑台，他拉着珠儿，在众人面前说出了在心底埋藏了七年的秘密，他就是小珠儿的父亲，他扯开了法衣的饰带，露出了红字，在众人的惊惧之声中，这个受尽蹂躏的灵魂辞世了。

齐灵渥斯把复仇当作他生活的唯一目的，可是当他胜利后，他扭曲的心灵再也找不到依托，他迅速枯萎了。不到一年，他死了，他把遗产赠给了小珠儿。不久，海丝特·白兰和小珠儿也走了。红字的故事渐渐变成了传说。许多年以后，在大洋的另一边，小珠儿出嫁了，过着非常幸福的生活，而海丝特·白兰又回到了波士顿，胸前依旧佩带着那个红字，这里有过她的罪孽，这里有过她的悲伤，这里也还会有她的忏悔。又过了许多年，在一座下陷的老坟附近，又挖了一座新坟。两座坟共用一块墓碑。上面刻着这么一行铭文：

“一片墨黑的土地，一个血红的A字。”