当前位置: 首页 > news >正文

hadoop配置日志聚集

日志聚集概念:应用运行完成以后,将程序运行日志信息上传到HDFS系统上。

日志聚集功能好处:可以方便地查看到程序运行详情,方便开发调试。

注意:开启日志聚集功能,需要重新启动NodeManager 、ResourceManager和HistoryServer。

[hadoop@hadoop101(192.168.0.101) /opt/module/hadoop-3.3.4/etc/hadoop]$ cat yarn-site.xml #增加下列配置<!-- 开启日志聚集功能 --><property><name>yarn.log-aggregation-enable</name><value>true</value></property><!-- 设置日志聚集服务器地址 --><property>  <name>yarn.log.server.url</name>  <value>http://hadoop101:19888/jobhistory/logs</value></property><!-- 设置日志保留时间为7天 --><property><name>yarn.log-aggregation.retain-seconds</name><value>604800</value></property>[hadoop@hadoop101(192.168.0.101) /opt/module/hadoop-3.3.4/etc/hadoop]$ myrsync.sh yarn-site.xml   #执行一个任务,只有新的任务才会有日志[hadoop@hadoop101(192.168.0.101) /opt/module/hadoop-3.3.4]$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.4.jar wordcount /input /output3

查看日志

(1)历史服务器地址

http://hadoop101:19888/jobhistory

(2)历史任务列表

(3)查看任务运行日志

(4)运行日志详情

http://www.wxhsa.cn/company.asp?id=7841

相关文章:

  • vxe-tree-select 树形下拉框当使用懒加载数据时如何回显
  • GPT PMBR 大小不符解决方法
  • CodeFormer一款既能图像修复、还能视频增强去码的AI软件(下载介绍)
  • PCB的导线电阻阻抗批量自动计算EXCEL表格工具 公式
  • 微信协议开发个微API
  • Milvus Lite
  • 如何解除 pip install 安装报错 ModuleNotFoundError: No module named ‘win32api’ 问题
  • hbase学习一
  • 【光照】[漫反射diffuse]以UnityURP为例
  • OI线下比赛注意事项
  • n8n实践-使用n8n搭建一个定时发送天气预报邮件的工作流
  • Cython-编程学习指南第二版-全-
  • 印度尼西亚股票数据API对接实现
  • OpenBMB 发布无分词器 TTS VoxCPM;儿童口语硬件 Dex 融资 480 万美元:拍摄真实物体,对话学习外语丨日报
  • 一天一款实用的AI工具,第1期,AI标题生成工具
  • 重组蛋白表达避坑指南
  • 易被忽略的vim中视图模式
  • 电商核心业务 - 指南
  • 一言
  • ai
  • LlamaIndex 项目深度技术分析 - 详解
  • 深入解析:css消除图片下的白边
  • linux增加网卡ip地址
  • Python 包与环境管理简史:从混乱到优雅
  • qoj853 Flat Organization
  • shell命令中循环执行操作的命令
  • 2025年9月中国数据库排行榜:达梦挺进榜眼位,崖山首入前十强
  • 基于QEMU模拟器搭建Builtroot下的QT开发环境
  • vlan
  • windosw 配置arp绑定