站長資訊網
        最全最豐富的資訊網站

        Cloudera Manager 安裝集群遇到的問題及解決

        多次安裝集群,但每次都不能順利,都會遇到很多很多的坑,今天就過去踩過的坑簡單的總結一下,希望已經踩了的和正在踩的童鞋能夠借鑒一下,希望對你們能有所幫助。

        一、MySQL的配置

        1、卸載原有的mysql

        查看目前安裝的mysql

        rpm -qa |grep mysql

        Cloudera Manager 安裝集群遇到的問題及解決

        卸載自帶的mysql

        yum -y remove mysql-libs-5.1.73-7.el6.x86_64

        2、安裝mysql

        mysql的安裝有三種方式:

        • rpm包安裝(本次就采用rmp包的安裝方式進行演示)
        • 源碼安裝(提供了源碼安裝的腳本)
        • yum安裝(雖然安裝方便,但是不建議使用)

        rpm包的方式安裝mysql

        #加壓tar文件

        tar -xvf mysql-5.6.26-1.linux_glibc2.5.x86_64.rpm-bundle.tar -C /files/mysql-rpm/

        #安裝rpm包

        rpm -ivh /files/mysql-rpm/*.rpm

        cp /usr/share/mysql/my-default.cnf /etc/my.cnf

        #安裝數據庫

        /usr/bin/mysql_install_db

        #啟動服務

        service mysql start

        #設置開機自啟

        chkconfig mysql on

        #設置數據庫密碼

        /usr/bin/mysqladmin -u root password ‘123456’

        3、初始化數據庫

        mysql安裝完了之后就是初始化數據庫的過程,進去mysql庫中

        mysql -u root -p123456

        執行一下的語句進行初始化建庫

        create database hive default charset utf8 collate utf8_general_ci;
        create database hue default charset utf8 collate utf8_general_ci;
        create database scm default charset utf8 collate utf8_general_ci;
        create database amon default charset utf8 collate utf8_general_ci;
        create database sentry default charset utf8 collate utf8_general_ci;
        create database oozie default charset utf8 collate utf8_general_ci;
        create database reports default charset utf8 collate utf8_general_ci;
        grant all privileges on *.* to ‘root’@’locolhost’;
        grant all on *.* to ‘root’@’%’ identified by ‘123456’ with grant option;
        grant all on *.* to ‘root’@’Hadoop’ identified by ‘123456’ with grant option;
        flush privileges;

        然后重啟數據庫就ok了

        service mysql restart

        重點說明一下:mysql的安裝是前期準備工作的重要一步,不建議使用yum安裝,我就是因為圖省事,直接用yum安裝了mysql,導致在創建cmf數據的時候總是報連不上mysql服務的錯誤(即執行/opt/cm-5.11.1/share/cmf/schema/scmpreparedatabase.sh mysql cmf -hhadoop -uroot -p123456 –scm-host hadoop scm scm scm 命令),最后只得卸載了yum安裝的mysql重新用rmp包安裝的。

        二、啟動cloudera-scm-server

        在啟動cloudera-scm-server的時候報如下的錯誤(啟來30秒左右自動關閉,查看日志文件:/opt/cm-5.11.1/log/cloudera-scm-server/cloudera-scm-server.log)

        Caused by: javax.persistence.PersistenceException: org.hibernate.exception.GenericJDBCException: Could not open connection

        錯誤原因:
        1.缺少mysql的驅動包,檢查/opt/cm-5.11.1/share/cmf/lib目錄下是否有mysql的驅動;
        2.檢查mysql是否啟動;
        3.mysql本身的問題,只能卸載mysql重新安裝(我就是這種方案解決的);

        三、啟動cloudera-scm-agent

        在啟動cloudera-scm-server的時候報如下的錯誤(啟來30秒左右自動關閉,查看日志文件:/opt/cm-5.11.1/log/cloudera-scm-agent/cloudera-scm-agent.log)

        ERROR Failed to connect to newly launched supervisor. Agent will exit

        這種錯誤是因為主節點的uuid和從節點的一樣,所以造成代理紊亂

        錯誤原因:在主節點啟動了agent后,再scp到其他節點,這樣會把已經生成好的uuid帶過去。所以必須等所有的agent節點都準備好之后,再啟動agent

        那遇到這種error如何處理:
        1.刪除/opt/cm-5.11.1/lib/cloudera-scm-agent目錄下的所有文件(首先要保證server和agent服務都是關閉的)
        2.刪除mysql中cmf數據庫
        3.刪除從節點中/opt/cm-5.11.1目錄

        4.重新復制到從節點

        scp -r /opt/cm-5.11.1 root@hadoop001:/opt

        5.創建cmf數據庫,執行一下代碼

        /opt/cm-5.11.1/share/cmf/schema/scm_prepare_database.sh mysql cmf -hhadoop -uroot -p123456 –scm-host hadoop scm scm scm

        6.重新啟動server和agent就ok了

        四、啟動集群時報錯

        錯誤提示:

        Cloudera Manager 安裝集群遇到的問題及解決

        看服務的狀態:

        service cloudera-scm-agent status

        以上錯誤的意思是:agent服務死了,但是pid文件換是存在

        解決方法:進入到/opt/cm-5.11.1/run/cloudera-scm-agent目錄下刪除pid文件

        Cloudera Manager 安裝集群遇到的問題及解決

        五、hive分析運算時報錯

        錯誤提示:org.apache.hadoop.security.AccessControlException: Permission denied: user=root, access=WRITE, inode=”/user”:hdfs:supergroup:drwxr-xr-x

        Cloudera Manager 安裝集群遇到的問題及解決

        錯誤原因:我當前所在的用戶的是root,root沒有操作hdfs文件中/user的權限

        當前文件的權限:

        Cloudera Manager 安裝集群遇到的問題及解決

        執行以下賦權限語句

        sudo -u hdfs hadoop fs -chmod -R 777 /user

        sudo -u hdfs 說明需要指定hdfs用戶來執行賦權限的操作

        以上內容僅是個人學習過程中的總結和見解,僅供參考,如果發現有錯誤也請批評指正!謝謝你的查閱。

        贊(0)
        分享到: 更多 (0)
        網站地圖   滬ICP備18035694號-2    滬公網安備31011702889846號
        主站蜘蛛池模板: 欧美日韩国产成人高清视频,欧美日韩在线精品一 | 国产精品人人做人人爽| 欧产日产国产精品精品| 久久久WWW成人免费精品| 777久久精品一区二区三区无码| 精品国偷自产在线| 一本色道久久88精品综合| 精品无码久久久久久国产| 亚洲一二成人精品区| 精品久久香蕉国产线看观看亚洲 | 精品日韩欧美国产| 99热都是精品久久久久久| 国产精品一在线观看| 国内精品久久久久久久97牛牛| 夜夜爽一区二区三区精品| 欧美成人精品高清视频在线观看| 92国产精品午夜福利免费| 韩国精品欧美一区二区三区| 91精品国产乱码久久久久久| 国产欧美亚洲精品A| 久久精品亚洲精品国产色婷| 午夜精品一区二区三区免费视频| 欧美国产成人精品一区二区三区 | 国产一精品一AV一免费| 四虎国产精品永久在线| 亚洲精品无码乱码成人| 一本之道av不卡精品| 亚洲国产精品第一区二区三区| 四虎国产精品免费久久| 中日韩产精品1卡二卡三卡| 一本一本久久a久久综合精品蜜桃| 最新精品露脸国产在线| 亚洲精品无码鲁网中文电影| 最新在线精品国自av| 亚洲av日韩av天堂影片精品| 无码人妻精品一区二区在线视频| 无码囯产精品一区二区免费| 人妻精品久久无码专区精东影业| 精品国产一区AV天美传媒| sihu国产精品永久免费| 免费视频精品一区二区三区|