Deep Learning Inference Optimization Engineer(๋ฅ๋ฌ๋ ์ถ๋ก ์ต์ ํ ๊ฐ๋ฐ์)
ํฉ๋ฅํ๊ฒ ๋ ํ์ ๋ํด ์๋ ค๋๋ ค์
๋ทฐ๋ฐ์ DLํ์ Lidar ์ธ์ ์์์ ๋ค์ํ ๋ฌธ์ ๋ฅผ ํ๊ตฌํ๊ณ , ์ค๋ช ๊ฐ๋ฅํ ๊ธฐ์ ์ ๋ฐฉํฅ์ฑ์ ์ ์ํ๊ธฐ ์ํด์ Deep Learning System์ ์ฐ๊ตฌํฉ๋๋ค.
DLํ์๊ฒ ๋ฅ๋ฌ๋์ ๋จ์ํ Operation์ ์กฐํฉ์ ํตํ ๋คํธ์ํฌ ์ ์์์์ ์๊ฐ์ด ์๋, ์์ํ๊ฒ ์์คํ ์์ฒด๊ฐ ์ฐ๊ตฌ์ ๋์์ด์ ํ๊ตฌ์ ์ฃผ์ ์ ๋๋ค. ์ด๋ฅผ ๊ธฐ๋ฐ์ผ๋ก ์ฑ๋ฅ๊ณผ ์ค์๊ฐ์ฑ์ ํธ๋ ์ด๋์คํ๋ฅผ ํํํ์ง ์๊ธฐ ์ํด ๋ค์ํ ๊ด์ ์์ ๋คํธ์ํฌ ๋ฐ Operation๋ค์ ๊ด์ธกํ๊ณ ๊ด์ธกํ ์ฌ์ค์ ๊ธฐ๋ฐ์ผ๋ก ์ฐ๊ตฌ๋ฅผ ์งํํฉ๋๋ค.
๋ฅ๋ฌ๋์ ์ฐ๋ฆฌ์๊ฒ ๊ทธ ์์ฒด๋ก ๋ฌธ์ ์ด์ ๋ฌธ์ ๋ฅผ ํ๊ฒ ๋์์ฃผ๋ ๋๊ตฌ์ ๋๋ค. ์ฐ๋ฆฌ์ Deep Learning์ ์ค์ ๋ก Edge์์ ๋ฐ๋ก ์ ์ฉ๋๋ ๊ฒฝํ์ ์ด๊ณ ์ค์ง์ ์ธ ๊ธฐ์ ์ ๋๋ค. ํ ๊ตฌ์ฑ์์ ์ปค๋์ ์ธ์์์ ๋๊ตฌ๋ณด๋ค ์น์ดํ๊ณ , ์ฐ๊ตฌ์ ๊ณผ์ ์์ ๊ฒฐ๊ณผ๋ฅผ ์ํด ๋ฌด์๊ณผ๋ ํํํ์ง ์์ง๋ง, ์ปค๋ ๋ฐ์ ์ธ์์์๋ ํ์ ์ํด ์ดํด์ ํํ์ด ๊ณต์กดํ๋ ์ธ์๋ ๊ฐ์ด ๋ง๋ค์ด ๊ฐ ์ ์๋ ๋๋ฃ๋ฅผ ์ฐพ๊ณ ์์ต๋๋ค.
ํฉ๋ฅํ๋ฉด ํจ๊ปํ ์ ๋ฌด์์
- ๋ฅ๋ฌ๋ ๋ชจ๋ธ ์ถ๋ก ์ต์ ํ ๊ธฐ์ ๊ฐ๋ฐ (Quantization, pruning, knowledge distillation...)
- Custom Operator(Plugin) ๊ฐ๋ฐ
- ํ๊ฒ ํ๋ ํผ์ ๋ง๋ ์ถ๋ก ์ต์ ํ ๋ชจ๋ธ ๊ฐ๋ฐ
์ด๋ฐ ๋ถ๊ณผ ํจ๊ปํ๊ณ ์ถ์ด์
- C++ ๋ฐ Python ์ ๋ํ ๊น์ ์ดํด ๋ฐ ๋ฅ์ํ ๊ฐ๋ฐ ์ญ๋์ ๊ฐ์ง์ ๋ถ
- Linux ๊ธฐ๋ฐ ์์ฉ ๋๋ ์์คํ ์ํํธ์จ์ด ๊ฐ๋ฐ ์ญ๋์ ๊ฐ์ง์ ๋ถ
- PyTorch ๋ฑ์ ๋ฅ๋ฌ๋ ํ๋ ์์ํฌ ๊ฐ๋ฐ ์ญ๋์ ๊ฐ์ง์ ๋ถ
์ด๋ฐ ๋ถ๋ถ์ด ์์ผ๋ฉด ์ข์์
- ๋ผ์ด๋ค/๋น์ ์ผ์ ์ธ์ง(๋ถ๋ฅ ๋ฑ) ๊ด๋ จ ํ๋ก์ ํธ ๊ฒฝํ(๋ฅ๋ฌ๋/๋จธ์ ๋ฌ๋ ํ์ฉ)์ด ์์ผ์ ๋ถ
- OpenCL ํน์ CUDA ๊ฐ๋ฐ ๊ฒฝํ๊ณผ GPU ์ํคํ ์ฒ์ ๋ํ ์ง์์ด ์์ผ์ ๋ถ
- Quantization, compression, kernel optimization ๋ถ์ผ์ ์ฐ๊ตฌ/๊ฐ๋ฐ ๊ฒฝํ์ด ์์ผ์ ๋ถ
- TensorFlow Lite, TensorRT, OpenVINO ๋ฑ์ ํ๋ ์ ์ํฌ๋ฅผ ์ด์ฉํ optimization ๊ฐ๋ฐ ๊ฒฝํ์ด ์์ผ์ ๋ถ
- On-Device AI ๊ด๋ จ optimization ์ ๋ฌด๋ฅผ ๊ฒฝํํ์ ๋ถ
- Embedded device์์ Low-precision deep learning model porting ์ ๋ฌด ๊ฒฝํ์ด ์์ผ์ ๋ถ
๊ทผ๋ฌด ์กฐ๊ฑด
- ๊ทผ๋ฌดํํ : ์ ๊ท์ง (์์ต 3๊ฐ์ ์ ์ฉ)
- ๊ทผ๋ฌด์ผ์ : ์ฃผ 5์ผ (์์์ผ - ๊ธ์์ผ)
- ๊ทผ๋ฌด์ง์ญ : ์์ธ ์์ด๊ตฌ ๊ฐ๋จ๋๋ก 311, 19์ธต
- ๊ธ์ฌ : ์ฐ๋ด (ํ์ ํ ๊ฒฐ์ )
์ ์ถ ์๋ฅ
- ์ด๋ ฅ์ or ๊ฒฝ๋ ฅ๊ธฐ์ ์ (์์ ์์) ํ์ ์ ์ถ
- ํฌํธํด๋ฆฌ์ค ์ ํ
์์ํ | DLํ |
๊ฒฝ๋ ฅ ์ฌํญ | ๊ฒฝ๋ ฅ ๋ฌด๊ด |
๊ณ ์ฉ ํํ | ์ ๊ท์ง(์์ต 3๊ฐ์) ๋ณ์ญํน๋ก ์ ๋ฌธ์ฐ๊ตฌ์์(์ ์ง๊ฐ๋ฅ) |
๊ทผ๋ฌด์ง | ๋ํ๋ฏผ๊ตญ ์์ธํน๋ณ์ ์์ด๊ตฌ ๊ฐ๋จ๋๋ก 311๊ธธ |