豆瓣的基础架构

本文根据InfoQ中文站对豆瓣洪强宁(@hongqn)的沟通交流整理而成。洪强宁介绍了豆瓣的架构和组件,并分享了豆瓣基础平台部的一些团队经验。文中截图来自洪强宁在2013年CTO俱乐部中的分享。

嘉宾介绍

洪强宁,豆瓣首席架构师。豆瓣第一位全职员工。清华毕业后,洪强宁一直做嵌入式系统。在2002年开始接触Python语言,从硬件工程师变为软件工程师,对一种语言在计算机底层如何工作有深入的理解。

架构

豆瓣整个基础架构可以粗略的分为在线和离线两大块。在线的部分和大部分网站类似:前面用LVS做HA,用Nginx做反向代理,形成负载均衡的一层;应用层主要是做运算,将运算结果返回给前面的用户,DAE平台是这两年建起来的,现在大部分豆瓣的应用基本都跑在DAE上面了;应用后面的基础服务也跟其他网站差不多,MySQL、memcached、redis、beanstalkd,不一样的是NoSQL的选择——BeansDB,这是我们在几年前开源的KV数据库,也是国内比较早开源的KV数据库。

BeansDB项目可以说是一个简化版的AWS DynamoDB,该项目在2008年启动,2009年开源,第版使tokyo cabinet作为存储引擎,2010年使bitcask存储格式重写了存储引擎,性能更好。BeansDB对key做哈希运算找到节点来实现分布和冗余, 一个写操作会写好几个节点,而现在的配置是写三份读一份。BeansDB主要的特点是支持海量KV数据库——相比Redis这种支持几十个G到几百个G的内存KV数据库,BeansDB可以支持到上百T的数据。另外BeansDB最大的好处就是运维很简单,性能、可用性、扩容都很好,也实现了最终一致性。

时间: 2024-06-17 14:08:33

豆瓣的基础架构的相关文章

【深喉解读】豆瓣网的基础架构

[深喉解读]豆瓣网的基础架构 时间:2014-10-31 00:13 来源:InfoQ 作者:佚名 本文根据InfoQ中文站对豆瓣洪强宁(@hongqn)的沟通交流整理而成.洪强宁介绍了豆瓣的架构和组件,并分享了豆瓣基础平台部的一些团队经验.文中截图来自洪强宁在2013年CTO俱乐部中的分享. 嘉宾介绍 洪强宁,豆瓣首席架构师.豆瓣第一位全职员工.清华毕业后,洪强宁一直做嵌入式系统.在2002年开始接触Python语言,从硬件工程师变为软件工程师,对一种语言在计算机底层如何工作有 深入的理解.

豆瓣首席架构师洪强宁 谈豆瓣网技术架构

概要如何应对高并发.大访问量?如何保证数据的安全性以及数据库大吞吐量?在海量数据下,如何进行数据表变更?DoubanFS以及DoubanDB的特点以及技术实现?在QConBeijing2009期间,InfoQ中文站有幸采访了洪强宁,探讨了相关话题. 个人简介洪强宁,2002年毕业于清华大学,现任北京豆瓣互动科技有限公司首席架构师.洪强宁和他带领的技术团队致力于用技术改善人们的文化和生活品质,在网站架构.性能.可伸缩性上进行深入研究.豆瓣网曾获软件中国2006年度最佳技术应用网站. 关于会议QCo

Python中的线性优化,第 2 部分 在云中构建一个可扩展的基础架构

简介 这个由三部分组成的系列文章的第 1 部分介绍了在 Python 中使用 Pyomo 库进行线性优化的 基础知识.现在我们将介绍如何扩展它.Python 缺乏真实的操作系统线程,该如何扩展它?本文将向您介绍 如何组合使用这些技术来创建一个实际的可扩展基础架构,该架构可用于构建一个 Pyomo Web 解决方案.我 们组合使用了一个单线程事件循环.一个 AMQP 服务器和工作线程流程来创建一个模式,利用该模式扩展一个 线性优化系统.该基础架构也适用于 Python 或 Ruby 中的许多通用计

无线网络基础架构

从应用需求方面考虑,无线网络很适合学校的一些不易于网络布线的场所应用.现在大部分校园都建有有线局域网,如何对原有网络进一步扩充,使校园的每个角落都处在网络中,形成真正意义上的校园网?本文所要介绍的就是如何采用无线局域网技术来组建校园网. 无线网络基础架构 无线局域网(Wireless Local Area Network,简称WLAN)技术有蓝牙(Bluetooth).IEEE 802.11 系列.HiperLAN.HomeRF技术等.其中,目前得到广泛应用的技术是IEEE 802.11 系列.

提高数据中心灵敏性的基础架构虚拟化技术

当虚拟化作为降低成本及提高数据中心效率的一种手段出现,这种技术作为一种竞争工具就半途而废了.虚拟化不仅提供了真实的好处,如成本节省.服务器性能提高及最小化的存储要求,也给网络管理员管理数据中心环境提供了必要的灵活性.在本文中,TechTarget中国的特约作者George Crump将解释基础架构虚拟化为数据中心带来的灵活性. 在一家公司的竞争优势方面,数据中心效率是一个关键考虑事项,并且这个效率有时以"时间到评级"来表示."时间到评级"用以测量数据中心实施.响应及

Lync 2013部署过程:基础架构准备

实验环境全部采用的都是windows server2012标准版来部署 lync是基于微软的AD域来部署的,所以部署之前必须先架设AD域 这里预计准备9台虚拟机来部署服务端 192.168.1.*为内网网段 10.9.0.*为外网网段 这里记录一下自己搭建的过程,尽量把所需要的都截图出来,尽可能的详细, 必要的时候会进行相关的说明 在写好DNS记录以后,接着我们来准备基础架构 使用域管理员账号或授权的账号登陆服务器 打开lync2013安装程序,会提示安装C++2012 查看本栏目更多精彩内容:

为虚拟基础架构规划数据保护机制

作为一家中小型企业的IT管理人员,你恐怕已经听说过了虚拟化技术具有的种种优点.下一步就是,轻松处理好迁移至虚拟基础架构的工作,并且确保虚拟基础架构得到 有力保护. 首先,明白你要做哪些工作才能规划好虚拟基础架构,然后为此选择合适的数据保护机制,这点很重要.最重要的任务之一就是,确认并选择你的虚拟基 础架构当中的数据保护机制具有的功能及局限性. 为了简单化,本文给出的虚拟化平台以VMware ESX为例.除了最后一个步骤:确定合适的部署方法外,以下过程对微软Hyper-V.Virtual Iron

Windows Server基础架构云参考架构:硬件之上的设计

综述 毫无疑问,移动互联网.社交网络.大数据和云计算已经成为IT发展的四个大的趋势.其中云计算又为前三个提供了一个理想的平台.今天不仅互联网公司,很多传统行业的大中型企业也在建设自己的私有云.本文旨在介绍一个基于Windows Server 2012和System Center 2012 SP1构建基础架构云其硬件部分的参考架构. 设计目标 从运维角度,整个架构应该易于扩展,从小到4个机柜至大到整个数据中心可以方便的进行扩展和容量规划. 从用户的角度,整个架构应该可以兼容不同的应用类型,比如对计

共享基础架构平台优势分析

  中小企业最初都是从部署一台服务器开始,之后再慢慢扩展至三台或者四台不同型号不同代别,甚至不同品牌的服务器.在这个过程中,他们还会安装网络交换机以连接这些服务器,以及不同的存储平台以保留其不断增长的数据.最终,出现了互操作问题,以及占用大量空间的各种设备,这些设备不仅连接杂乱,而且极难维护.如此混乱无绪的IT环境,导致企业很难推动业务增长.提升工作效率提升. 近几年,随着大数据和云计算带来融合趋势,各个厂商纷纷推出一体化整合产品方案.这种方案的含义是将多个信息技术(IT)组件进行融合,组成一个