豆瓣全部基本构架能够粗略地的分成线上和线下两大块。线上的一部分和绝大多数网站相近：前面用LVS做HA，用Nginx做反方向代理商，产生负载平衡的1层；运用层关键是做运算，将运算結果回到给前面的客户，DAE服务平台是这两年建起来的，如今绝大多数豆瓣的运用基础都跑在DAE上面了；运用后边的基本服务也跟别的网站类似，MySQL、memcached、redis、beanstalkd，不1样的是NoSQL的挑选——BeansDB，这是大家在几年前开源系统的KV数据信息库，也是中国较为早开源系统的KV数据信息库。

豆瓣的技术性构架与关键组件

豆瓣做为1个初期就挑选以Python为关键程序编写語言的企业，网站所应用到的技术性许多都与Python有关，包含关键架构quixote、自主完成的DPark这些。在其它技术性的挑选上，并沒有太大不一样：nginx、MySQL、memcached、BeansDB、redis……全是著名开源系统新项目。在这些开源系统新项目之上，豆瓣依据自身商品的特点，对于性地做了配备与布署设定。

除应用开源系统新项目，豆瓣也依据本身必须独立产品研发或完成了1些商品，较为有特点的如DAE、DPark这些。

DAE全名Douban Application Engine，说白了它是1个相近于GAE、SAE的內部PaaS系统软件。应用这样的PaaS有许多益处，例如第3方库数量丰富多彩而且适用好几个版本号并存、資源配备灵便这些，可以为工程项目师省去许多无须要的工作中。

BeansDB是DAE中十分关键的1个组件，设计方案观念源于亚马逊的Dynamo，可是简化了Dynamo的1些繁杂的地方。BeansDB关键运用于小型文字和中型的照片、声频，它们的相互特性在于写次数非常少，这也更是BeansDB所善于的行业。
DPark相近于Spark，是豆瓣用Python完成Map-Reduce相近架构。尽管Python的特性低于根据JVM的Clojure，但这样做防止了程序流程员程序流程员进到不熟习的行业，并且豆瓣应用开源系统新项目的标准是：假如没法彻底把握，宁愿无需。“另外将Spark移殖到Python上也很简易，基础上是1对1的汉语翻译。

BeansDB新项目能够说是1个简化版的AWS DynamoDB，该新项目在2008年起动，2009年开源系统，第⼀版使⽤tokyo cabinet做为储存模块，2010年使⽤bitcask储存文件格式重新写过了储存模块，特性更好。BeansDB对key做哈希运算寻找连接点来完成遍布和冗余， 1个写实际操作会写好几个连接点，而如今的配备是写3份读1份。BeansDB关键的特性是适用大量KV数据信息库——相比Redis这类适用几10个G到几百个G的运行内存KV数据信息库，BeansDB能够适用到上百T的数据信息。此外BeansDB最大的益处便是运维管理很简易，特性、能用性、扩容都很好，也完成了最后1致性。

BeansDB正中间的Proxy是用Go語言写的，也是1个开源系统的组件。总体来讲BeansDB的设计方案构造较为简易，相比Redis那种有多种多样value 种类的方法，BeansDB的Value较为简易1些。

在豆瓣內部创建了两个不一样的BeansDB群集，1个是doubandb，1个是doubanfs，各自对于不一样的情景。doubandb关键储存小型文字数据信息，如影评、客户本人详细介绍、帖子內容等，这样的益处是能够大大减少大家对MySQL的特性依靠，算是给MySQL减负；doubanfs关键储放照片和声频等中型数据信息。

DAE能够说是根据许多之前累积的、旧的组件做起来的。大家做的这类对内的PaaS，相比对外的PaaS而言做了许多简化，特别是安全性层面如运用间距离、管理权限管理方法层面，大家都无需像公有制云那样花很多活力去做，因此工作中量实际上还好。DAE如今在方案开源系统，自然它如今只适用Python运用。之后大家或许会让DAE适用Go語言。

上面是线上的一部分，对高能用性和低延迟有较大规定。线下一部分则包含数据信息发掘、数据信息剖析等，技术性组件各自是大量遍布式文档系统软件MooseFS，这个文档系统软件的构造相近HDFS，用C語言撰写，其益处在于FUSE控制模块完成的较为好，用文档系统软件便可以立即开展实际操作，而不必须专业的指令，能够适用的数据信息量也很大。此外便是自身开发设计的遍布式测算服务平台DPark。

DPark说白了是Spark的Python完成，但是如今早已跟Spark愈来愈不1样了。和 Hadoop 相比，Spark可使用运行内存作为缓存文件加快遍布式测算，DPark承继了这个优势，这针对大经营规模数据信息的迭代更新测算十分有效。在豆瓣的运用情景下，由于大家的线下测算许多是强烈推荐优化算法测算，这类测算涉及到很多的迭代更新优化算法，假如每次测算的結果都入硬盘再在下1轮测算载入，那特性是很差的，因此DPark可以大幅提高特性。此外，由于DPark的撰写应用了涵数式語言的特性，因此能够写的十分简约：