基于公有云的DevOps
YARN Architecture YARN Architecture
YARN是一个集群资源调度框架,其思想是将资源管理和作业调度/监视的功能拆分为单独的守护程序。对于应用开发者来说,几乎不需要自定义YARN本身的程序,对于管理员来说,还需要熟悉如何查看日志、如何配置队列、用户ACL等操作,这些工作实操性比较强。
2020-10-26
MapReduce Computation Framework MapReduce Computation Framework
MapReduce既是编程模型又是计算框架,尽管对于我们来说只需要实现map和reduce函数就能完成业务,但是前提是要对MapReduce编程框架的内部机制有清晰的概念。
2020-10-15
MapReduce Programming Model MapReduce Programming Model
MapReduce既是一个编程模型,又是一个计算框架。由于我们的数据是存放在分布式文件系统中,自然不能用传统的编程模型来完成任务了。
2020-10-06
HDFS Architecture and Explaination of Design HDFS Architecture and Explaination of Design
HDFS Architecture and Explaination of Design
2020-09-29