옛날 SI 회사 생활 이야기(8) - 저도 PING-PONG 좀 치지만 이런 PING-PONG은 사양합니다.

이 이야기는 개인적인 회사 생활 경험을 바탕으로 좀 더 재미있게 각색한 내용입니다. 사실과 다른 내용도 많습니다.

핑퐁이란?

일단 사전을 검색해 보았다.

영어로는 ping-pong = table tennis 즉 탁구이다.

사전을 찾아보면 대부분 좋은 의미로 쓰이는 것 같은데...

 

난 이 핑퐁이란 말을 싫어한다. 특히 SI 프로젝트랑 연관해서 사용하게 되면 당하는 사람은 답답하고 화가 나는 말이다.

업무를 핑퐁친다....

책임을 핑퐁친다....

 

다들 어떤 의미 인지 딱 봐도 알 것이다.

 

SI 프로젝트를 하면서 안 그런 적이 없었던 것 같다.

 

긍부정중립 프로그램을 만들어서 개발 서버에 테스트 완료 하고 며칠 지나고 상용서버가 들어왔다고 설치 및 GPU 테스트를 해달라는 요청이 들어왔다.

 

양만춘 장군은 퇴출당했고 급하게 나중에 YES MAN이 될 짐캐리 님이 소방수로 PM이 되었다. (이 때는 NO MAN이었지만 나중에 어떤 계기로 YES MAN이 되는데... 그건 나중에 기회가 될 때 이야기를 해보겠다.)

 

이때가 아마 기억 상으로는 프로젝트 대부분이 완료되어 가고 있던 상태라 서비스가 가 오픈 상태였고 그렇기 때문에 업무 종료 후 작업을 해야 하는 상황이라 6시 이후부터 작업이 가능했다.

 

오후 늦게 지방으로 내려가서 대기하고 있다가 6시 이후 작업을 진행했다. 늘 진행하는 방식으로 미리 USB에 파일을 담아 제출하고 접속이 인가된 컴퓨터는 한 대뿐이라 한 명씩 맡은 작업을 진행하는데... 대기 시간이 실제 업무보다 많은... 지루함과의 싸움이었다.

 

드디어 내 차례가 되었고 

GPU 설치되어 있는 것 확인하고 nvidia cuda driver 설치하고

프로그램 상으로 인식되는 것 확인!

CPU동작 확인, GPU 동작 확인을 완료했다.

그런데 실수를 했던 게 테스트 할 데이터가 없기도 했지만 너무 작은 sample 데이터로만 테스트를 했다는 것이다. 

그리고 솔직히 밤도 너무 늦었고 열차 시간도 있고 해서 간단히 테스트하려고 했던 것 같다.

 

잘 동작한다고 생각하고 늦은 밤 귀가를 했건 만....

다음 날 시스템을 운영하는 업체에서 연락이 왔다. 

 

'GPU로 분석하는 데 동작이 너무 느린 거 같아요... 이거 GPU 동작하는 거 맞나요?'

갑자기 이게 웬 뚱딴지같은 소리인가??? 이거 불안한데... 너무 작은 데이터로 테스트를 해서 속도 차이를 체크할 수 없었나..

 

역시나 발주처 고객님께서 

'야 내 밑으로 다 집합!!!!!'을 시전 하셨다.

 

여기서 극한의 책임 회피 정말 다양하게 핑퐁이 일어난다.

 

발주처 고객님

'이게 왜 이렇죠?'

우선 총괄 PM에게 PING~

 

'글세요 XX님 이게 왜 이렇죠?'

소프트웨어 개발 우리 쪽 PM에게 PONG~

 

'저희 내부 테스트에서는 정상적으로 동작했습니다. 하드웨어 문제 일 수도 있을 것 같습니다'

다시 하드웨어 납품 업체에게 PING~

 

'저희는 서버에서 정상 인식 확인 했습니다. DRIVER 호환성 문제 일수도 있을 것 같습니다.'

다시 우리에게 PONG~

 

'해당 GPU에 대한 cuda driver를 버전 별로 다 가지고 왔습니다. 지금도 driver 버전을 교체하면서 설치하는데.. 동작하지 않는 것을 보면... 저희 문제가 아닌 것 같은데...' PONG~

 

이런 PING-PONG을 치고 있으면 항상 마지막에는...

 

발주처 고객님이 화를 내면서 

'아 됐고!!! 이번주 안에 문제를 해결하지 않으면 다들 위약금 낼 준비 하세요!'

를 시전 하시면 회의가 종료된다.

 

해당 문제를 인지하고 원래는 없던 프로그램의 UI를 추가 개발해서 동작 시에 어떤 resouce로 동작하는지 화면에 나오게 수정을 해놨었는데...

희한하게 GPU는 정상 인식하면서 동작은 cpu만으로 동작을 했다.

 

일단 상황상 소프트웨어 쪽인 우리가 범인 일 가능성이 크기 때문에 계속 driver를 재 설치하고 프로그램을 확인하는 일을 반복하는데...

하드웨어 업체는 대리 한 명 남겨 놓고 다 귀가를 하셨다. 회의 때는 고객님이 부르니 우르르와서 머리수로 밀어붙이더니...

대리라고 해도 딱 봐도 입사한 지 한 1년 조금 넘은... 그냥 대리 명함만 파서 준 신입...

 

그 대리분은 딱히 뭘 할 생각이 없이 그냥 우리 작업만을 지켜보고 있었다. 아마 우리 쪽 잘 못이라고 윗사람들한테 들었을 것이고 그냥 해결될 때까지 자리를 지키라는 임무를 받았을 것이다.

 

누구를 탓하리오....

 

밤은 깊어가고 아무리 생각해도 이유를 모르겠고 다른 방법을 써도 GPU는 요지 부동이었다.

 

'아무래도 진짜 하드웨어 문제 같은데요'

내가 총괄 PM을 보면서 말을 했다. 그리고 그 대리분을 보았다. 

 

살짝 흔들리는 대리분의 눈빛....

 

'저랑 서버 좀 보러 갑시다'

총괄 PM이 드디어 칼을 뽑아 들고 대리분의 손을 잡고 서버실로 들어갔다.

 

그 대리분은 당황했지만 어찌하리오. 이것이 SI에 몸을 담고 있는 사람의 숙명인 것을 그렇게 크는 거지...

 

그분들이 서버 실에 갔지만 마냥 기다릴 수 없어 다시 테스트를 반복하고 있는데...

 

서버가 한동안 꺼져 있다가 재부팅되고

 

갑자기 GPU 동작을 하는 게 아닌가!!!!

뭐지?? 무슨 일이지?? 이제 집에 가는 건가? 아싸!!!! 아 배고파...

 

이미 그때 시간이 밤 10시를 넘은 시점이라 집에 갈 수 있다는 안도감에 기분이 좋아졌다.

그리고 총괄 PM이 우리 쪽 PM한테 전화를 해서 동작하는지 물어보았고 

2002년 월드컵 축구 4강 진출의 한 10분의 1 정도의 환희를 느꼈다.

 

그리고 즐거운 표정의 대리분과 썩은 표정의 총괄 PM이 자리로 돌아왔다.

 

어떻게 GPU는 동작을 하게 되었는가??? 두둥!

 

나도 GPU를 실제로 설치해서 쓴 적이 없어서 몰랐는데 GPU에는 전원 케이블이 두 개라고 한다.

서버 납품할 때 GPU는 별도로 따로 들어왔고(GPU가 아주 고가라...)

GPU를 설치했는데 전원을 하나만 연결한 것이다.

 

그래서 서버에서 인식은 하는데... 동작을 하지 않았던 것이다.

 

이것도 알고 해결된 것이 아니라...

 

총괄 PM이랑 대리랑 무작정 서버실 가서 서버 열고 들여다보는데... GPU에 연결되어야 할 것 같은 선이 있어서

그냥 연결했다는 것이다.... (오죽 답답했으면...)

 

그때는 그냥 동작하니까 빠르게 인사하고 집으로 왔는데...

 

집에 와서 생각해 보니... 서버업체에서 그냥 서버 한 번만 열고 미리 확인했으면 되었을 일을.... 자기들 책임 없다고 PING-PONG 치고 보여 주기 식으로 신입만 남겨 놓고 도망을 갔으니...

 

항상 느끼는 거지만 왜?? 같이 해결하면 될 일을 서로 미루면서 싸우는 걸까... 을끼리....

 

암튼 뭐 우리는 덕분에 그렇게 무임금 야근을 했을 뿐이고 이후 뭐 미안하다는 말 같은 건 들어보지도 못했을 뿐이고...

 

다음날 안씨성 양만춘 장군께서

 

'아~~ 이제는 프로젝트 완료 도장만 찍으면 끝이네요!'

 

란 말을 하시는데... 왜 이렇게 불안할까...