Deep Learning/Error (2) 썸네일형 리스트형 NUMA node Error NUMA : Non-Uniformed Memory Access (불균일 기억장치 접근) 마주한 Error Message "successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero" 의미 하는 바 NUMA node 정보가 올바르지 않지만, 적어도 한 개의 NUMA node가 있으니 일단 되게끔 해보겠다. 해결 방안 1. node 확인 $ lspci | grep -i nvidia 더보기 #01:00.0 수정 필요 01:00.0 VGA compatible controller: NVIDIA Corporation GA102 [GeForc.. Hint : If you want to see a list of allocated tensors when OOM happens, add report_tensor_allocations_upon_oom to RunOptions for current allocation info. This isn't available when running in Eager mode. GPU Memory가 부족하다는 의미 해결 방안으로는 3가지 정도가 있다. 1. 데이터셋 크기 줄이기 2. 배치 사이즈 줄이기 3. 충분한 메모리 사용 주의 사항 ec2 서버를 사용할 경우 큰 인스턴스를 사용하면 되지만 요금 주의!! 이전 1 다음
