最近爆出最大IT新闻应该是Facebook以10亿美金收购Instagram，而Instagram只有13人，见报道： 揭秘Instagram的13人团队和9位投资人 ) 分析其团队，发现如下有趣现象：老大是产品经理，老二是前端设计师，程序员老几？被产品经理兼职，这是成功网站的模子？ 网站卖10亿美金，其核心是5千万用户，而程序员几乎不占据主要角色，关键还是得益于亚马逊等 云计算 平台，只..[...]

AI Computer Vision: Hive, Pig, Scalding, Scoobi, Scrunch and Spark Pig: Pig是一种数据流(Data flow/ETL)系统，由yahoo创建，PIG脚本很精确，可以通过脚本或交互两种方式使用，可以将Pig脚本嵌入Python，如同Jython运行，Pig是Hadoop生态系统中使用量比较大的系统。 Pig存在问题是，..[...]

来自： Spark in Action – Community Feedback for 2012 Hadoop Summit Spark是一个集群计算框架，主要是用于大数据海量数据的快速分析，既可以通过清晰的Scala API能够无缝对一个分布式集合操作，也可以通过in-memory计算原型能够实现超越 Hadoop MapReduce 三十倍的性能。 Spark是一年前发布的，已经被很多..[...]

Data Grid数据网格是以ehcache的Terracotta兵马俑和Oracle的Coherence以及GigaSpaces为代表的分布式内存存储方案。 NoSQL则是不局限在Java领域，从key-value到neo4j等等，memcached也可以归结为 NoSQL 范围。 这两种有什么区别和相同点呢？ OCTO talks ! » Data Grid or NoSQL ..[...]

现在我遇到了一个麻烦，在系统中需要一个这样的功能，与SAAS相似，在系统中是可以新建企业帐号的，会给他一个二级域名，企业通过这个二级域名再新建帐号，我现在需要动态的配置数据源，主要主要采用的MYSQL，当一个企业帐号新建后，会新建一个数据库的实例，然后二级域名与数据源绑定，凡是对一些企业信息的管理都是通过这个数据源进行操作的，现在的主要问题是如何才能动态的添加数据源，现在系统已经做好了MYBATI..[...]

测试云产品的工具也需要云，Netflix最近使用Amazon的 云计算 对云存储 NoSQL Cassandra进行了一次性能测试： The Netflix Tech Blog: Benchmarking Cassandra Scalability on AWS - Over a million writes per second Netflix已经使用Apache Cassandr..[...]

一篇谈使用读写分离方式实现 如何打败CAP定理 文章，可以认为是Event Sourcing的一个变种。 CAP定理认为一致性 可用性和分区容错性同时不能获得，通常我们不能丧失分区容错性，那么你就只有在可用性和一致性之间选择，这就催生了 NoSQL 运行。 一致性意味着你实现一个成功的写以后，将来的读到的总是写的最新结果；可用性意味着你总是能对系统进行读写，在一个分区分布式系统，你只能拥有..[...]

如今分布式系统在国内已经不是新鲜事，NoSQL之花遍地开，我08年就 诅咒的关系数据库 虽然僵而不死，但其已经威力和影响力已经日渐式微，至少没有完全占据新兴需求市场。 淘宝网和新浪微博我都有使用，虽然深知其中架构之路坎坷，但今天写这个闲话不是夸耀追捧，而是作为一个懂行的使用者如何从用户体验角度来感知其技术架构特点： 淘宝网和新浪微博两个有明显极端：前者比较注重数据的及时更新，也就是高一致性，写..[...]

Amazon ElastiCache亚马逊的弹性 缓存 (Amazon ElastiCache) 亚马逊ElastiCache是一个Web服务，它易于在云中部署、操作和管理内存 缓存 (in-memory cache)。该服务通过让你的Web应用从快速可管理基于内存的 缓存 获取信息而提高性能，不必再依赖于较慢的基于磁盘的数据库disk-based databases. Am..[...]

Getting started with Rapture Propensive发布Rapture的alpha版本，一个基于Scala的云平台，能够运行在大多数Linux，是一种out-of-the-box方案。 大概步骤： 1.wget http://www.propensive.com/downloads/rap chmod +x rap 2.需要设置一个access key，随..[...]

Opa – The Scalable Open Source Cloud Language | Web Resources | WebAppers Opa是一个融合Web客户端 Web服务器 数据库于内部的新型云语言，书写几句Opa语言，就代表已经完成了客户端 服务器和数据库等多个环节，可见它也是一种DSL面向领域的语言。 比如写一个 云计算 环境下聊天室(可支持成千上万人..[...]

Enterprise Java upgrade geared to PaaS clouds - JavaWorld Java EE 7将提供 云计算 中多租户支持 multi-tenancy，一个应用能够为多个客户或租户提供支持。 小的编程模型small programming models 新的平台角色new platform roles JCache，临时Java对象内存 缓存 ..[...]

Netflix’s Cloud Data Architecture Netflix是美国以前最大的录像租赁公司，后发展为提供在线DVD视频，他们提供类似机顶盒的播放器安装在普通用户家里，是中国三网合一的未来典范，他们拥有美国加拿大20M多用户，高峰时期使用美国20%的下载带宽，是美国数一数二的最大CDN用户。 他们采取Amazon亚马逊的云存储方案作为他们的视频数据存储，InfoQ该PPT..[...]

PPT虽然是英文，但是有Eclipse开发场景截图，还是能够相对容易上手Hadoop的。 Seattle hug 2010 [...]

项目概述：xx银行是通过ETL从核心业务系统中提取业务数据、并转换成SAP R3 系统中对应的业务数据。SAP R3 系统业务数据输出到SAP BW 数据仓库中进行数据建模，最后通过SAP BO 报表形式呈现。 SAP R3本身存在的成本分摊功能由于涉及数据量太大，导致分摊性能非常低。现在客户提出需要使用Java来读取 SAP 和ETL中的数据，并进行成本分摊、并输出到BW数据仓库中，最..[...]

亚马逊的云服务管理界面，每个月前5GB是免费的: AWS Management Console [...]

hazelcast 是一个轻量的集群分布式 缓存 系统，比基于ehcache的兵马俑terracotta要轻量简单，是一种In-Memory Data Grid内存数据网格。 多谢 flyzb 提供hazelcast的 Jdonframework 的插件修改方式： 1.下载hazelcast-1.9.2.jar和hazelcast-hibernate-1.9.2.jar。 2.增加..[...]

Goodbye Google App Engine (GAE) « El blog de Carlos Ble 作者认为为他们项目选择GAE是一个错误，GAE不只是一个简单主机托管服务，它是Paas，为你的系统提供可 伸缩性 高可用性。 一开始无需付费直到有许多流量，作者觉得很不错，就在几个月前开始动手，开始后发现一些问题： 1.它需要Python 2.5，这是一个老的版本，这样开发..[...]

Clustering Cloud-friendly Tomcat Sessions with RabbitMQ: Part I | TomcatExpert 云架构的流行，使得水平伸缩成为王者( horizontal scalability is king)，而传统的Tomcat集群是通过广播集群，也就是让一台机器上的Session广播到其他机器上，这样的坏处就是大量Session中数据在服..[...]

Virtual Strategy Magazine - Will Cloud Computing Lead to the Demise of Network Analysis? 云计算对传统的IT系统网络的管理和维护进行了巅峰，是否预示传统网络分析方式的终结？如果是真的，企业如何转向 云计算 呢？ 实时网络监控和网络分析，几乎在每一个行业已成为关键任务。全球的业务网络中断，有时甚至有金..[...]

AppengineJS: JavaScript Comes to GAE | Web Builder Zone google提供了一个他们App Engine云计算平台的Javascript的API: AppengineJS ，这样，普通Web开发人员只要熟悉JS，就能基于GAE使用JS开发应用，这就大大拓展了 云计算 平台的应用范围。 个人认为这是达到云平台的理想境界了，个人曾经幻想..[...]

最近的项目中用量berkeley db，所以也看了一些 NoSQL 的技术，但是越是了解我越是迷惑，不知道这些db到底该如何去使用，key-value存储，只能根据key搜索，这个是不是也有点太简单了？还是我了解的不够？举个例子，现在有个日志，有类型，时间，来自哪个服务器，我现在有个需求是根据类型和来自哪个服务器查询(and关系)，我该怎么去做？[...]

Twitter开发者大会有关PPT: http://www.slideshare.net/tag/chirp 摘要两篇PPT如下： 一. Scaling Twitter with Cassandra 谈如何使用 NoSQL 数据库Cassandra提高著名Twitter网站性能。 传统方式有三个： 1. MySQL的水平和垂直分区 2. 使用分布式 缓存 Memcached 3...[...]

2010直击IT领袖峰会在深圳召开，其中有一段对 云计算 的看法，李彦宏、马化腾和马云看法不一致，如下： 李彦宏：云计算是新瓶装旧酒 15年来没新东西 马化腾：云计算实现像用水电一样还为时过早 马云：我的理解 云计算 最后是一种分享，数据的处理、存储然后跟分享的机制。我觉得刚才李彦宏在讲，有一点我在想这个问题，他说现在没有什么新的东西，老酒装新瓶，我最怕的是老酒装新瓶的东西，..[...]

在Html5出现之前，大部分桌面级别应用都是使用基于Windows的C或VB或Java AWT/JavaFX等开发，很多人不相信在浏览器中也能够开发如同它们一样级别的应用，也就是富客户端RIA应用。 苹果的IPhone大部分应用是也是基于Object-C开发的本地应用，AndRoid的普及和开放，让更多人深信桌面级别的本地应用必须使用重量级的语言，比如C 或Java；或使用专有不开放的脚本语言如..[...]

这几个概念他们是属于同一层次的么？ 感觉他们的概念之间似乎存在交集。有的似乎说的是同一个东西。边界和概念都很模糊。哪位给解释一下他们区别于另一种的显著特征是什么？[...]

The Five Layers within Cloud Computing 谈了 云计算 的架构。如下图： 作者认为，金字塔概念最能说明每一层的大小，它也表达了每个层是依赖前层的消息传递。在概念上，硬件是基础和广泛层。SaaS层是顶峰，也是最轻层。这种观点是来自于将购买SaaS的的最终用户角度。对于一个非常大的企业内部，PaaS平台层将是顶峰。使用内部开发的软件的内部各部门将实现他..[...]

来自似乎亚裔博主Ricky ho的一篇文章： What Hadoop is Good At ，大意翻译转贴如下： 多线程编程模型允许多个带有不同执行逻辑的处理单元访问共享的数据，为了维护数据的完整性，处理单元需要通过锁或Semaphores机制来协调对共享数据的访问，但是会带来"race condition竞争条件", "deadlocks死锁" 等问题，非常难于调试(banq注：这也是Java..[...]

自从工作后，有机会接触到了高并发，大数据量的系统。最近由于业务量的突增，数据量变的很大，我们的系统是1个主数据库带多个从库。插入和删除都要在主库上进行，而查询的时候则随机使用主库和从库。最近由于数据量的突增，因此主库变成了瓶颈，为了能够支撑系统，只能使用更好的主机。目前进行了测试，虽然更换了很好的主机，但是性能提高并不是很明显，所以比较郁闷。 不知道大家对此有何高见，当访问量突..[...]

版本: OS:win32 Terracotta:3.1.1 Hibernate:3.2.5 Tomcat:6.0. 好不容易配置了Terracotta+Hibernate+Tomcat，Terracotta+Tomcat运行没有问题 加入Hibernate后，启动Tomcat老是报错: Thread :..[...]

编程最重要的莫过于测试，测试需要最接近现场的测试环境。在一个团队开发中，由于不同环境配置会影响测试结果。还有，怎样保证你的软件能够在不同操作系统等软件上正常安装和升级？ 使用虚拟机的虚拟化环境可以保证不同底层软件上搭建共同同样的软件环境。 目前有三种虚拟化软件: Microsoft VirtualPC VMWare Server Sun VirtualBox VirtualPC是Window..[...]

The rise of DSLs and Language Oriented Programming? 几天前JetBrains(好像以前也是最早推出MDA工具的)推出他们的“MPS” (Meta Programming System元编程系统)的EPA产品： Charisma 。 MPS在一个月前已经到达其第一个里程碑。 MPS 是Martin Fowler在 Language Wor..[...]

业界流行21种 云计算 的定义 Cloud = Internet Cloud = Innovation创新 Cloud = On Demand 点播 即时请求 Cloud = Autonomic computing 自主计算 Cloud = Distributed computing 分布式计算 Cloud = Grid computing 网格计算 Cloud = Hosting 主机托..[...]

来自terracottatech公司一个博客，写到他们关于进行Terracotta的基准性能测试的结果： 最近一次性能基准报告。测试JPetClinic案例，通过Hibernate进行写入JPetClinic的领域模型。使用Terracotta 兵马俑作为Hibernate的二级 缓存 ： 在8个JVM集群上，我们可以做到每秒20万以上的读取，以90/10比率（用10%时间创造新的宠物和a..[...]

GridGain 是从网格计算进入到 云计算 平台，是一种 云计算 框架，可以让Java开发者编写自己本地的 云计算 应用。 GridGain 是基于Java 5并行计算模型，使用起来很方便： Grid grid = GridFactory.getGrid(); // Get cloud-wide thread pool instance. ExecutorServic..[...]

REST(Representational State Transfer) 曾经被误解为只是CRUD（增删改查），从这个层面上，好像 REST 只是和RPC一个层面的东西，没有什么了不起，其实这些都是对 REST 误读。 理解 REST 需要从系统集成整合以及架构的 伸缩性 方面入手，这方面有一篇很重要的 REST 博文： I finally get REST . Wo..[...]

云计算定义：从两个方面去定义，一个是底层机制，一个是用户模型 Infrastructure底层机制：Cloud Cluster Grid； 用户角度分为：Utility Computing SaaS/SOA Utility Computing代表是：Amazon EC2, Google AppEngine SaaS代表是：一些online office 和在线CRM等等 主要谈谈Uti..[...]

Google App Engine目标是让每个人都成为程序应用开发者，就像每个人可以写博客一样，要象写博客那样方便发布他们的应用。 Google App Engine挑战传统LAMP架构(Linux, Apache, MySQL/PostgreSQL, Python/Perl/PHP/Ruby)， LAMP虽然开发快，但是维护管理难，Scalable伸缩性更是没有考虑,缺点表现为： 1. Con..[...]

缓存是最重要的一个方面，以提高应用程序性能的存储对象的 缓存 （内存）减少数据库负载。 缓存在群集环境中，需要分布式 缓存 解决方案，可以支持故障切换情景和数据的可靠性。 Memcached和terracotta兵马俑的分布式 缓存 解决方案。 Memcached是一个高性能的分布式对象 缓存 系统， 客户端的API为的Perl ， PHP中，python， Ruby和Jav..[...]

呵呵，对jdon思想不太满意的大师多看看。 10 Must-Know Topics For Software Architects In 2009 在过去一年左右的时间里，在相当平静，企业的软件架构变得相当令人振奋的一次。 我们终于看到新出现的一些课题已经融入主流，并潜在地改变了游戏规则，一些创新，本来徘徊在边缘的技术也开始进行颠覆式革命。 一些大的变化是：传统的霸权的第3和第4层应用模..[...]

在评价一个系统的时候，性能指标是很重要的，那么在当前J2EE的系统开发当中，如何来提高系统的性能呢？我觉得应该从对象管理入手，从对象的生命周期开始。虽然大家可能会说，Java有垃圾收集器，我们的对象的生命周期不需要我们自己管理，但是如果要是真的过分依赖java语言本身的特性，那么我相信，系统的性能肯定好不到哪去。 下面我主要说一下对于 缓存 的理解。在说 缓存 之前，..[...]

2008年下半年这些日子，虽然微软还在表示进军 云计算 ，但是 云计算 在Java世界实际上已经从口号变成现实。 这是一篇Web服务器Jetty集群文章的翻译，也就是说：Jetty已经可以嵌入下面这些 云计算 软件，而你只要将你的Web应用部署到Jetty，就能实现 云计算 ，是不是很简单，现在就可以去做。 将你的应用部署到Cloud computing 云计算 环境. ..[...]

强烈推荐：著名社交网站LinkedIn的Java架构技术 在JavaOne 2008的会议上，著名社交网站LinkedIn的开发者做了2个关于LinkedIn 网站的架构技术的演讲，目前这两个演讲的PPT已经可以下载了。下载地址如下： LinkedIn - A Professional Social Network Built with Java™ Technologies and Agil..[...]

(OO + 分布式计算) = 软件架构的方向 如果说分布式 云计算 是一条老百姓通往美好未来的康庄大道，那么选择怎样的座驾驶入这条道路，无疑是关系到我们每个程序员的职业素质和水平。 http://www.jdon.com/artichect/architecture.html [...]

我们目前做的系统和数据库关联的非常紧密，数据量也比较大，有很多业务逻辑都是在存储过程中进行，有很多的判断也是根据保存在数据库中的数据来进行，我想把一小块功能重构一下，让它实现数据库和逻辑分开，该如何做？ [...]