[ Trend ] embedded AI 트랜드

오랜만에 뵙습니다. 모모입니다.

작년 11월이 마지막 글이었나요? 그 뒤로 한 6개월이 흘렀네요.

그 사이에 on chip ai 라고도 불리는 embedded ai의 트랜드는 어떻게 변화되었는 지 볼까요?

---

 

기능 그건 기본 아니야?

  한 2년 전까지 key word 는 성능이었죠. 임베디드 시스템 자체에 model을 포팅하는 것 조차 쉽지 않았던 시기 였다라고 보면, 지금은 엄청나게 좋은 성능보다는 기본 기능이라는 인식이 지배적입니다. 그러면서 바뀌어 가는 모습은, 대중들, 특히 ai가 탑재된 제품을 사용하는 사용자들 역시  ' AI 가 완전하지 않다 ' 라는 인식을 가지기 시작했다는 겁니다. 이건 매우 중요한 이벤트입니다. 왜냐고요? 위에 말씀드린 인식이 기반이 되는 순간  '무조건 정확해야 해 '보다는  ' 그걸 활용하면 뭐가 더 편해지는 데? or 그걸 활용하면 줄어드는 비용은 얼만데? ' 로 시선이 바뀌기 때문이죠. 그렇다면 해당 시선에 맞추기 위해서는 엄청난 성능의 모델이 있으면 좋겠지만, 그보다는 기본적인, 편리한 기능을 제공할 수 있는 여러 개의 모델 or solution 을 탑재한 ' 무언가 ' 가 나와야 할 겁니다.

  

  니 생각 아니냐고요? 제 생각 맞아요. 그렇지만, 실제 고객들에게 들어오는 요구이기도 합니다. 뿐만 아니라, secon , isc west 와 같은 대형 전시회에서의 트랜드 이기도 하죠. 그 트랜드를 좀 더 구체적으로 말해보면, 자신들의 시스템에 적용해 주길 바라되, 그 시스템이 가져다 주는 장점이 확실해야하죠. 요구는 specific 해지고 general 한 기능은 당연시 생각하게 되는 것, 그게 이번 년도 on chip ai 의 핵심으로 보입니다. 즉 이제는 모델만 돌아가는 보드 만으로는 의미가 없어져가고 있습니다. 보드 + 어떤 무엇인가 가 합쳐져서 시너지를 내야하죠. 가령, vms / 카메라 / nvr / ai가 탑재된 embeded system 이 하나의 세트가 되어, access 를 control 한다라던가, 주 / 정차 관리를 한다던가, 그로 인해 인건비를 줄일 수 있는 효과가 발생 한다라는 한 단계 더 나아간 시스템이 된 것이죠. 시스템에 들어가게 되면서 나오는 당연한 물음은, 해당 시스템에서 ai 추론을 몇 채널까지 지원하냐 입니다. 더해서 말씀드리면, 올 해에 많이 보였던 솔루션들은 '검색' 쪽에 사용되는 llm / vlm 이 눈에 띄기 시작했습니다. 시스템 내에서 이벤트를 발생시키고 해당 이벤트를 검색하는 형태. 즉, 이를 조금 더 생각해보면 단순 결과를 뽑아내는 것에서 나아가 그것을 가지고 가치를 만들어내고자 하는 일들이 올해에는 눈에 띄는 것 같네요.

 

  정리하면, 시스템이 구축되어 고객들에게 선보여지고 있다 정도로 올해를 요약할 수 있겠습니다. 물론 해당 시스템을 활용하기 위해서는 고객에 맞는 custom solution ( 정확도 측면 ) 이 필요하긴 합니다만 바뀌어 가고 있는 것은 확실해 보입니다. 기존에는 모델만 올라가면 ok 에서 기능을 활용해서 산업적 측면에서 분명한 이득을 발생시켜야 하죠. 현재 성능보다는 많은 기능을 넣어주자 라는 것이 이번 년도의 트랜드 였던 것 같습니다.

 

   기술적인 측면에서 트랜드는, embedded ai 한정으로 소프트웨어 기술 스텍으로 보면, 경량화, 최적화가 더욱 중요하게 되겠죠. 반면에 활발하게 연구되고 있는 부분으로는 생성형 ai 부분으로 사람을 이미지로 생성한다거나, 3d 공간을 생성한다거나 하는 분야가 눈에 띄네요. 물론 거대 모델을 작게 만드려는 시도 역시 핫한 분야입니다. 특히 자연어 쪽에서요. 다시 돌아와서, 하드웨어 부분에서 보자면, npu 나 가속기 형태의 제품군이 시스템 구성 측면에서 가격 경쟁력을 가져올 수 있겠죠. 그리고 중요한 부분은 기존 시스템에 큰 변화 없이 적용가능 한가 역시 중요한 포인트였습니다. 기업 상생 구조 측면에서 해당 변화에 맞추어 생각해본다면, 한 대기업에서 모든 것을 컨트롤하는 것도 볼 수 있지만, 여러 회사가 협업하여 시스템을 구성하는 경우도 생겨나고 있습니다. 가령 하드웨어 회사와 솔루션 제공 회사가 협업을 한다거나 하는 그런 일? 당연히 기존에도 있었지만, 시스템 구성 차원으로 넘어오면서 더욱 활발해졌다는 이야기죠.

 

  트랜드이고 개발자인 제가 느끼는 현실은 어떨까요?? 피부로 느끼는 고객들과의 관계에서는 상황은 완전히 다릅니다. 여전히 성능을 중요시하고, 고객들의 요구치는 생각이상으로 높습니다. 기술의 발전 속도는 점점 느려지기 시작했고 ( vit 이후 획기적인 발전은 없는 상태 ) 데모 수준은 상향 평준화가 되어가고 있는 실정이죠. 긍정적인 요소는 하드웨어 성능이 빠르게 올라옴에 따라 이용할 수 있는 옵션이 많아졌다 정도 입니다. 다만, 해당 솔류션들을 산업군에 적용하기 위해서는 아직도 많은 과정을 거쳐야 하고 일정 수준 이상에서 고객과 타협하는 과정 역시 쉽지는 않은 것이 개발자로서 느끼는 지금까지의 상황입니다. 

 

 

요약

• 소프트웨어적 측면
  • 경량화 / 최적화의 중요도가 올라감 ( 다 채널을 지원해야함 / 여러 모델이 올라가야 함 )
  • 데이터 확보가 중요해짐 ( 본문에는 없음 )
• 하드웨어적 측면
  • 기존 시스템과 융화 여부가 중요 ( 시스템 구성 여부 )
  • 특정 목적을 충당하기 위한 하드웨어 관심도 증대
• 기업들의 움직임
  • 여러 기업이 상생하여 시스템을 구축하고 있음

오늘은 간단하게 올 해 트랜드를 정리해보았습니다.

읽어주셔서 감사합니다.

728x90