Han-Jun Choi

AI Researcher & Data Scientist

📧 hanjun_c@naver.com 🔗 https://www.linkedin.com/in/han-jun-choi 💻 https://github.com/gkswns95 🌐 https://gkswns95.github.io/poftfolio/

About Me

새로운 문제를 정의하고 해결하는 인공지능 연구 및 개발에 관심이 있습니다. 약 2년 7개월간 한국전자기술연구원(KETI)에서 연구원으로 근무하며 총 6편의 학술 논문을 작성하였고, 최우수 논문상 수상 및 Top-tier 국제학회 논문 게재 성과를 달성했습니다. 다중 객체 궤적 예측, 멀티모달 학습, VLA 모델링 등 다양한 연구 프로젝트를 주도하며 연구 역량을 발전시켜 왔습니다. 최근에는 로봇 제어를 위한 VLA 모델링 프로젝트를 수행하며 인간-로봇 간 몰입감 있는 상호작용 구현을 위한 모델 개발과 ROS2 기반 휴머노이드 로봇 제어 시스템 구축 경험을 쌓고 있습니다.

Work Experience

한국전자기술연구원 (Korea Electronics Technology Institute, KETI) 2024.01 ~ Present

AI Researcher & Engineer

[VLA Modeling: 인간-로봇 간 몰입감 있는 대화를 위한 음성⋅모션 생성 모델 개발]
⭐ 프로젝트 목표: 멀티모달 상호작용이 가능한 휴머노이드 로봇 제어 시스템 설계
- VQ-VAE 음성⋅모션 토크나이저 및 LLM 디코더 기반 VLA 모델링
- 음성⋅모션 토큰 추출을 위한 멀티모달 대화 데이터셋 전처리
- SMPL-X 기반 모션 표현, Viser 기반 3D 매쉬 실시간 렌더링 툴 구현
- Social VLA 관련 최신 연구 분석 및 기술 조사(VQ-VAE, Diffusion, LLM, …)
[Multimodal Modeling: 음성⋅영상⋅텍스트를 효과적으로 융합하기 위한 모델 개발]
⭐ 프로젝트 목표: 노이즈 데이터 환경에서 강건한 멀티모달 융합 프레임워크 설계
- 데이터의 손실된 정보의 정량화를 위한 클래스 분류 확률 기반 신뢰도 추정 기법 제안
- 신뢰도 학습을 위한 pseudo-labeling 및 신뢰도 학습 네트워크 제안
- Proxy feature 생성 모듈 및 추정 신뢰도 기반 손실 정보 복원 모듈 구현
- Multi-task 학습의 가중치 충돌 문제 해결을 위한 최적의 학습 전략 제안
- Dominant modality 중심의 멀티모달 융합 모델링
- Multimodal Fusion 관련 최신 연구 분석(Knowledge Distillation, Multimodal Transformer, …)
[Multi-Object Trajectory Modeling: 다중 객체 환경에서의 궤적 예측 모델 개발]
⭐ 프로젝트 목표: 주변 객체 움직임에 따라 물리적으로 자연스러운 궤적 예측 모델 개발
- 객체 간 상호작용 모델링을 위한 SetTransformer 기반 순열 동변 임베딩
- 위치⋅속도⋅가속도의 물리적 관계식에 기반한 궤적 예측 기법 제안
- 길이 및 구간에 따라 여러 예측값을 동적으로 융합하기 위한 Weighted Ensemble 모듈 설계
- Multi-Object Tracking, Multi-Object Trajectory Prediction 관련 연구 동향 파악
[Others: Gaze Estimation, MetaHuman Avatar, Seminar]
- 다화자 대화 환경에서의 시선 정보 추출 및 추적 모델링
- 한국어 멀티모달 데이터셋에 대한 시선 정보 추론 파이프라인 구축
- 3D 메쉬 기반 도구를 활용한 메타휴먼 아바타 전처리
- ICT 기술 산업화 부스 운영 (2024, 2025)
- 인공지능 분야 최신 연구 동향 세미나 발표
[Achievements]
- EMNLP 2026 논문 제출(1저자, Top-tier, 메타 리뷰 완료)
- ECML-PKDD 학술대회 논문 게재(1저자, Oral, Second-tier)
- CIKM 학술대회 논문 게재(3저자, Top-tier)
- SCI(E), IF: 1.7, Q3 저널 제출 (2저자)
- KIBME 학술대회 논문 게재 (1저자, 최우수논문상 수상)
- HCLT 학술대회 논문 게재 (1저자, 구두 발표)
- SW 프로그램 등록: 멀티모달 데이터 전처리 파이프라인

Publications

* Equal Contribution · 🏆 Award · ⭐ Key Paper

2026

⭐ TCMR: Semantic-aware Text Completeness for Missing Semantic
                    Reconstruction in Incomplete Multimodal Sentiment Analysis
Han-Jun Choi, Byunggill Joe, Saim Shin, Jin Yea
                    Jang
[Under Review] · EMNLP Submission
                    · Mar 2026

2025

Imputing Multi-Agent Trajectories from Event and Snapshot Data in Soccer
                
Geonhee Jo, Miru Hong, Han-Jun Choi, Pascal
                    Bauer, Sang-Ki Ko
[CIKM] · International Top Conference ·
                    Aug 2025
                

⭐ Trajectory Imputation in Multi-Agent Sports with
                    Derivative-Accumulating Self-Ensemble
Han-Jun Choi*, Hyunsung Kim*, Minho Lee,
                    Minchul Jeong, Chang-Jo Kim, Jinsung Yoon, Sang-Ki Ko
[ECML-PKDD] · International Second-tier
                    Conference
                    · Jun 2025

🏆 Multimodal Sentiment Analysis under Incomplete Modalities with Missing Text Localization and Confidence Aware Fusion

Han-Jun Choi, Byunggill Joe, Jin Yea Jang

[KIBME] · Domestic Conference · Best Paper Award · Feb 2025

2024

Analysis of Missing Modality Problems with Korean Multimodal Sentiment Data

Han-Jun Choi, Saim Shin, Jin Yea Jang

[HCLT] · Domestic Conference · Oct 2024

Transformer-Based Multi-Agent Trajectory Imputation Model using Permutation Equivariance

Han-Jun Choi, Hyun-Woo Park, Sang-Ki Ko

[KTCP] · Domestic Journal (KCI) · Feb 2024

2023

⭐ Ball Trajectory Inference from Multi-Agent Sports Contexts Using Set
                    Transformer and Hierarchical Bi-LSTM
Hyunsung Kim, Han-Jun Choi, Chang-Jo Kim,
                    Jinsung Yoon, Sang-Ki Ko
[KDD] · International Top Conference ·
                    Aug 2023
                

🏆 Deep-learning-based Multi-Agent Trajectory Imputation

Han-Jun Choi, Hyun-Woo Park, Sang-Ki Ko

[KCC] · Domestic Conference · Excellent Paper Award · Jun 2023

2022

Comparison Study of Deep Learning-based Spatiotemporal Data Imputation Algorithms

Park Hyun Woo, Han-Jun Choi, Sang-Ki Ko

[KSC] · Domestic Conference · Jun 2022

Deep learning-based workout classification and repetition counting using IMU sensor data

Han-Jun Choi, Min Gi Jeon, Su-Hyeon Kim, Sang-Ki Ko, Hal-Gyun Jeong

[ITCT] · Domestic Conference · Feb 2022

Optimal Data Generation Strategy for Training RNN-based Time-series Data Imputation Models

Han-Jun Choi, Park Hyun Woo, Sang-Ki Ko

[KSC] · Domestic Conference · Jan 2022

2021

🏆 Deep learning-based coordinate tracking algorithm for automated soccer video analysis

Han-Jun Choi, Hyun-Woo Park, Hyun-Sung Kim, Dong-Wook Chung, Jongeun Chung, Sang-Ki Ko

[KSC] · Domestic Conference · Excellent Paper Award · Dec 2021

Deep learning-based time-series wind speed data imputation algorithm using temperature data

Han-Jun Choi, Sang-Ki Ko, Jongwoon Lim

[KSC] · Domestic Conference · Jun 2021

Awards

🥇 Best Paper Award · KIBME 2025 (Korean Institute of Broadcast and Media Engineers)

Feb 2025

Paper: Multimodal Sentiment Analysis under Incomplete Modalities with Missing Text Localization and Confidence Aware Fusion

🥈 Excellent Paper Award · KCC 2023 (Korea Computer Congress)

Jun 2023

Paper: Deep-learning-based Multi-Agent Trajectory Imputation

🥈 Excellent Paper Award · KSC 2021 (Korea Software Congress)

Dec 2021

Paper: Deep learning-based coordinate tracking algorithm for automated soccer video analysis

Education

Kangwon National University (KNU) M.S. Degree · GPA: 4.38/4.5

M.S. in Computer Information & Communication Engineering · Advisor: Prof. Sang-Ki Ko

Research Topics
- Multivariate Time-Series Analysis
- Time-Series Imputation
- Multi-Object Detection
- Multi-Object Tracking
- Multi-Object Imputation
- Spatiotemporal Data Analysis
Teaching Assistant
- Understanding of Artificial Intelligence
- Programming Languages
- Compiler Design

Kangwon National University (KNU) B.S. Degree · GPA: 3.88/4.5

B.S. in Computer Information & Communication Engineering

Research Topics
- Multivariate Time-Series Analysis
- Time-Series Imputation
- Multi-Object Detection
- Multi-Object Tracking
- Sports Analytics
Other Activities
- Participation in the DACON AI Competition: Solar Power Generation Forecasting
- Participation in the DACON AI Competition: AI-Based Camera Image Quality Enhancement
- Participation in the Joint Hackathon for SW-University
- Participation in the AI Grand Challenge: AI system for mathematical problem solving
- Project: Developing exercise classification and counting model
Teaching Assistant
- Understanding of Artificial Intelligence
- Programming Languages
- Compiler Design

Technical Skills

Languages & Libraries:
Python PyTorch TensorFlow NumPy Pandas Scikit-learn Matplotlib OpenCV Librosa OpenFace Git
Data & Modalities:
Text Acoustic Visual Multimodal MetaHuman 3D-Avatar Multi-object Trajectory Gaze Spatio-temporal Multivariate Time-series
Models:
RNNs CNNs Transformer Multimodal Transformer Cross-modal Transformer LLMs BERT VQ-VAE VAE GAN Diffusion YOLO DETR Fast R-CNN GNN Seq2Seq GRU Hungarian Algorithm
Research Areas:
Multimodal Fusion Sentiment Analysis Emotion Recognition Gaze Estimation 3D Autonomous Character Generation Physical AI VLA Trajectory Prediction 3D-Object Detection Multi-object Tracking Sports Analytics
Techniques:
Confidence Estimation Robust Learning under Noisy Data Multi-task Learning Efficient Optimization Strategies Contrastive Learning Knowledge Distillation Transfer Learning Data Engineering