LLM~로봇제어를 위한 공부거리 정리

대규모 언어 모델 (LLM)을 이용한 멀티로터 제어를 하는 논문을 읽은 지가 1~2년 즈음이 되는 것 같다.

그때는 오고가게끔 하는 명령어를 알려주고 명령을 시키는게 뭐가 논문꺼리가 될까.. 했었는데,

생각해보니, 언어모델에 대해서 프롬프트를 이용한 사전 명령과 규칙을 알려준 후에 어떤 상황에 대해서 어떤 행위를 해야할지를 결정하도록 지시하면 알려준대로는 잘 할 것 같다는 생각이 들었다.

그렇다면.. 어떤 룰을 줄 지 고민하기 전에 수단을 먼저 익히는건 어떨까?

 

이러한 목적을 위해 'LLM을 이용한 로봇 제어' 를 위한 공부거리를 정리하려 한다.

 

주말에 정리해서 더 보강해야겠다.

 

LLM 입문

- 딥러닝을 이용한 자연어 처리 학습자료

- 최신 LLM 서베이/리뷰 논문

- LLM 핵심 구조

    * Transformer/Attention

LLM 에서 로봇까지

- 사례 중심

- 플랫폼 정리하기

LLM on SBC

- 관련 논문

- LLM on Jetson board

 

 

---

 

LLM 입문

딥러닝을 이용한 자연어 처리 학습자료

- '25, 딥 러닝을 이용한 자연어 처리 입문, https://wikidocs.net/31379

- '25, Deep Learning Bible - 3. Natural Language Processing - 한글, https://wikidocs.net/book/7100

 

최신 LLM 서베이/리뷰 논문

- '24, Large Language Models: A Survey, https://arxiv.org/abs/2402.06196

- '23, A Survey of Large Language Models, https://arxiv.org/abs/2303.18223

- '24, A Survey on Evaluation of Large Language Models, https://dl.acm.org/doi/10.1145/3641289

- '23, A Comprehensive Survey of Large Language Models (LLMs) https://cobusgreyling.medium.com/a-comprehensive-survey-of-large-language-models-llms-946a30d9288e

 

LLM의 핵심 구조

Transformer/Attention

- '17, Attention Is All You Need, https://arxiv.org/abs/1706.03762

 

LLM에서 로봇까지

사례중심

- '24, 거대언어모델 기반 로봇 인공지능 기술 동향, https://ksp.etri.re.kr/ksp/article/file/68751.pdf

- H. Liu, Y. Zhu, K. Kato, A. Tsukahara, I. Kondo, T. Aoyama, and Y. Hasegawa, "Enhancing the LLM-Based Robot Manipulation Through Human-Robot Collaboration," IEEE Robotics and Automation Letters, vol. 9, no. 8, pp. 6904–6911, Aug. 2024, doi: 10.1109/lra.2024.3415931., 소개한 블로그 https://c0mputermaster.tistory.com/63

 

LLM on SBC (Single Board Computer)

관련 논문

- '24, Large Language Model Performance Benchmarking on Mobile Platforms: A Thorough Evaluation, https://arxiv.org/html/2410.03613v1

- '24, LLM for Mobile: An Initial Roadmap, https://arxiv.org/html/2407.06573v1

 

LLM on Jetson board

- Jetson 기반 생성형 AI 1#1, https://blog.naver.com/jay_korea/223950766194?trackingCode=rss

- NVIDIA Jetson Orin Nano Developer Kit와 AI Programming(#1), https://slowbootkernelhacks.blogspot.com/2025/06/nvidia-jetson-orin-nano-developer-kit.html

- Tutorial - Small Language Models (SLM), https://www.jetson-ai-lab.com/tutorial_slm.html

- Running LLMs with TensorRT-LLM on NVIDIA Jetson Orin Nano Super, https://collabnix.com/running-llms-with-tensorrt-llm-on-nvidia-jetson-orin-nano-super/

 

** EOF **