問題描述
我可以在我的 /usr/local/hadoop/logs 路徑上看到所有 hadoop 日志
I can see all hadoop logs on my /usr/local/hadoop/logs path
但是我在哪里可以看到應用程序級別的日志?例如:
but where can I see application level logs? for example :
mapper.py
import logging
def main():
logging.info("starting map task now")
// -- do some task -- //
print statement
reducer.py
reducer.py
import logging
def main():
for line in sys.stdin:
logging.info("received input to reducer - " + line)
// -- do some task -- //
print statement
在哪里可以看到 logging.info 或我的應用程序的相關日志語句?
我正在使用 Python 并使用 hadoop-streaming
Where I can see logging.info or related log statements of my application?
I am using Python and using hadoop-streaming
謝謝
推薦答案
Hadoop流使用STDIN/STDOUT 用于在映射器和化簡器之間傳遞鍵/值對，因此必須將日志消息寫入特定的日志文件 - 檢查 示例代碼 和 python 日志記錄文檔 了解更多詳情.這個查詢也可能有幫助.
Hadoop streaming uses STDIN/STDOUT for passing the key/value pairs between the mappers and reducers, so the log messages have to be written to a specific log file - check the sample code and the python logging documentation for more details. This Query might also help.
這篇關于hadoop 流:如何查看應用程序日志?的文章就介紹到這了，希望我們推薦的答案對大家有所幫助，也希望大家多多支持html5模板網！