[🔥Spark] 스파크 AccessControlException: Permission denied 해결방법

개요

스파크를 실행하려고 할 때 권한 오류가 발생할 수 있다. 이 경우에는 AWS EMR의 Zeppelin에서 스크립트를 실행하는데에 오류가 발생했다.

 

org.apache.hadoop.security.AccessControlException: Permission denied: user=root, access=WRITE, inode="/":hdfs:hdfsadmingroup:drwxr-xr-x

 

해결방법

권한을 검사하지 않게 하는 방법도 있지만, 간단한 해결 방법은 유저에게 권한을 주면 해결할 수 있다.

dfs.permissions.superusergroup 을 보면 어떤 그룹이 superusergroup인지 확인할 수 있다.

>> cat /etc/hadoop/conf/hdfs-site.xml


...
<property>
    <name>dfs.permissions.superusergroup</name> 
    <value>hdfsadmingroup</value>
    <description>The name of the group of super-users.</description> 
</property>
...

hdfsadmingroup 그룹에 유저를 추가하면 된다.

sudo usermod -G hdfsadmingroup -a root

 

정상적으로 동작하는 것을 확인할 수 있다.