cdh 服务器配置

CDH服务器配置详解

一、引言

CDH（Cloudera Distribution including Apache Hadoop）是一个基于Apache Hadoop的分布式计算平台，广泛应用于大数据处理、数据存储和分析等领域。

为了确保CDH服务器的高性能、稳定性和安全性，本文将详细介绍CDH服务器的配置过程。

二、配置环境准备

1. 硬件环境

CDH服务器对硬件有一定的要求，需要具备一定的计算、存储和网络资源。具体要求包括：

（1）处理器：至少四核处理器，根据业务需求进行扩展。

（2）内存：至少8GB内存，根据业务需求进行扩展。

（3）存储：至少50GB的硬盘空间，建议使用SSD以提高I/O性能。

（4）网络：高速、稳定、带宽足够的网络环境。

2. 软件环境

（1）操作系统：推荐使用CentOS或Red Hat等Linux操作系统。

（2）Java环境：Java是Hadoop生态系统的重要组成部分，需要安装合适的Java版本。

（3）其他依赖软件：如MySQL、Kerberos等，根据业务需求进行安装和配置。

三、配置步骤

1. 安装操作系统及基本软件

（1）安装Linux操作系统，并进行基本配置，如网络配置、防火墙设置等。

（2）安装Java环境，确保Java版本与CDH版本兼容。

（3）安装其他依赖软件，如MySQL、Kerberos等。

2. 下载并解压CDH安装包

从Cloudera官方网站下载CDH安装包，并进行解压。

3. 配置主机名及IP地址

为确保集群中的节点能够相互识别，需要为每个节点配置唯一的主机名及IP地址。

4. 配置SSH免密码登录

为了实现集群中各个节点之间的无密码登录，需要配置SSH免密码登录。

5. 安装CDH集群

（1）安装CDH集群管理器，创建集群并添加节点。

（2）配置集群参数，如HDFS、YARN、HBase等组件的参数。

（3）启动和验证CDH集群。

6. 配置其他组件

根据业务需求，配置其他组件，如MySQL集成、Kerberos认证等。

四、优化配置参数

为了提高CDH服务器的性能，需要对一些关键参数进行优化配置。以下是一些常见的优化配置参数：

1. HDFS参数配置

（1）调整HDFS的block大小、文件副本数等参数。

（2）调整HDFS的数据节点和命名节点的内存和资源分配。

2. YARN参数配置

（1）调整YARN的资源管理器参数，如内存和CPU核数的分配。

（2）优化YARN应用程序的调度策略。

3. 其他组件参数配置

根据业务需求，对其他组件进行优化配置，如HBase、Hive等。

五、安全性配置

为了确保CDH服务器的安全性，需要进行以下安全性配置：

1. 使用Kerberos进行身份认证。

2. 配置访问控制列表（ACL），限制用户对资源的访问权限。

确保重要数据的安全性。

加密通信通道以确保数据在传输过程中的安全。

定期进行安全审计和漏洞扫描确保系统的安全性得到持续监控和改进。

为了进一步提高系统的可靠性还需要考虑实施数据备份和恢复策略以防止数据丢失。

六、监控与维护在完成CDH服务器配置后还需要进行监控和维护以确保系统的稳定运行。

以下是一些监控和维护的要点：定期检查集群的状态包括各个节点的资源使用情况、组件的运行状态等及时发现并处理潜在的问题。

使用监控工具如Cloudera Manager或Superset来实时监控和分析集群的性能和运行状态提供预警和报警功能。

定期备份重要数据和配置文件以防止数据丢失或配置错误导致的问题发生。

建立故障应急响应机制以便在出现问题时能够快速响应和恢复系统的运行。

七、总结本文详细介绍了CDH服务器的配置过程包括配置环境准备、配置步骤、优化配置参数、安全性配置以及监控与维护等方面。

通过合理的配置和优化可以确保CDH服务器的高性能、稳定性和安全性为大数据处理和分析提供强有力的支持。

---

报错：由于角色 hbasethriftserver (cdh3) 拥有依赖服务，因此无法将其删除。

三台服务器，每个regionserver的请求都有上千？将thrift的最大线程数再调大，thrift的内存调大看看，ulimit参数调大_THRIFT_OPTS=-Xmx1g-Xms1g-Xmn512m这里设的是1g，可以根据情况调大

CDH详解（史上最全）

CDH深入解析：全面指南

CDH，作为Cloudera专为Hadoop量身打造的商业发行版，集成了Apache许可下的核心组件和企业级功能，旨在简化大数据处理的部署与管理。

它不仅具备Hadoop分布式系统的核心特性，如支持大文件、高扩展性和生态系统，还在低延迟和小文件存储方面寻求优化。

其架构基石包括Hadoop分布式文件系统(HDFS)、资源调度器YARN，以及MapReduce并行计算模型。

CDH的核心优势在于它的灵活性，兼容多种计算框架，如Spark、Impala和Hive，以及HBase的高性能数据库能力。

相比于原生Hadoop，CDH解决了版本混乱和复杂部署的问题，提供了用户友好的Web界面和集成丰富的组件，如安全管理和扩展性提升。

CM的核心功能包括资源管理、监控诊断、集成配置、状态维护和更深层次的定制选项，通过Admin Console提供用户界面，并通过API支持高级开发。

CDH部署需要考虑硬件需求，包括服务器存储、数据库空间和兼容的Java环境。

在选择硬件配置时，需针对不同的组件进行优化，如HDFS、YARN和Impala等对内存和CPU的需求。

每个组件的具体配置参数，如Java堆大小，应根据组件功能和连接数进行调整。

最后，CDH还支持多版本升级，如从CDH 5到CDH 6，每一次迭代都带来了性能提升和新特性。

务必确保您的Cloudera Manager和所选CDH版本之间的兼容性，同时关注硬件配置的相应变更。

CDH集群-无法找到主机的NTP 服务或该服务未响应时钟偏差请求

问题： 部分主机宕机后，CDH集群启动成功，但是有某些主机提示“无法找到主机的NTP 服务,或该服务未响应时钟偏差请求”解决步骤： 1.先同步服务器时钟 执行命令： service ntpd stop 停止ntp服务 ntpdate 主机ip 同步主机时钟 service ntpd start 启动ntp服务 service ntpd status 查看服务启动情况 ntpq -pn查看同步的服务器IP ntpstat 查看同步结果 2.在CDH界面停止主机上的角色 3.进入该主机的CDH安装目录执行 ./cloudera-scm-agent restart (即需要在问题主机上重启cloudera-scm-agent服务) 目录在 etc/init.d下 4.等待CDH界面刷新，问题解决，大概等3 5分钟就看不到时钟偏差问题了。

解决思路： 1.同步服务器时钟是为了确定是否是ntp服务本身的问题。

2.发现服务器时钟没有问题，所以不是ntp服务本身的问题。

其中这句话说，如果该命令失败、NTP 未与服务器同步，或主机的 NTP 后台程序未运行或无法联系，该测试将返回运行状况“不良”。

所以可能是CDH集群本身没有接收到时间同步服务器的结果，于是执行重启agent的命令。

至此问题解决！