인공지능전공 정재훈 교수 연구팀의 논문이 인공지능·머신러닝·통계 분야의 대표 국제학술대회인 'AISTATS 2026' 정식 논문집에 게재됐다.

  게재 논문은 〈TESLA: Taylor Expansion of Sinusoidal Learnable Activations〉로, 고대화(인공지능학과 석사과정)·김재현(컴퓨터 공학과 박사과정)·함승현 학생(컴퓨터 공학과 박사과정)과 정재훈 교수가 함께 썼다. 지난 5월 모로코 탕헤르에서 열린 제29회 AISTATS에서 발표됐고, 이중맹검 동료평가를 거쳐 Proceedings of Machine Learning Research(PMLR) 제300권에 수록됐다.

  연구팀이 다룬 것은 신경망의 '활성화 함수'다. 신경망의 각 뉴런이 입력 신호를 어떤 방식으로 바꿔 다음 층에 넘길지 결정하는 장치다. 널리 쓰이는 ReLU와 GeLU는 계산이 간단하고 일반적인 학습에 잘 듣는다. 다만 여러 입력이 서로 얽힌 전역적 관계나 높은 차수의 상호작용까지 표현하려면 신경망 자체를 더 깊거나 넓게 키워야 한다.

  패리티(parity) 문제가 대표적이다. 여러 비트 가운데 1의 개수가 홀수인지 짝수인지 가려내는 문제로, 겉보기와 달리 까다롭다. 선형적으로 나눌 수 없는 데다 입력의 일부만 들여다봐서는 답이 나오지 않는다. 연구팀은 기존 활성화 함수가 저주파와 낮은 차수의 패턴부터 학습하는 '스펙트럴 편향'을 지닌다는 점에 주목했다.

  연구팀이 제안한 'TESLA(Taylor Expansion of Sinusoidal Learnable Activations)'는 유한한 개수의 사인과 코사인 함수를 조합하고, 각 조화 성분의 계수를 학습 과정에서 직접 조정한다. 조화 성분의 개수 K가 모델이 쓸 수 있는 최대 주파수 범위를 정하고, 학습 가능한 계수가 데이터에 필요한 주기와 진폭을 골라낸다. 사인과 코사인을 테일러 급수로 펼치면 각 조화 성분이 서로 다른 다항식 차수에 기여하는데, TESLA는 이 관계를 활용해 활성화 함수 수준에서 유효 다항식 차수를 조절한다. 필요한 만큼만 높은 차수의 성분을 키우는 방식이다. 기존 학습 절차와 호환돼 표준 활성화 함수를 그대로 대체할 수 있다. 계수 총량을 제어하는 예산을 두면 활성화 함수의 기울기와 신경망 전체의 Lipschitz 상수를 제한할 수 있다는 점도 이론적으로 보였다. 높은 주파수 성분을 쓰면서도 학습 중 기울기가 불안정하게 커지는 현상을 막는 장치다.

  성능은 여러 유형의 문제에서 검증했다. 32비트 패리티의 전체 입력 공간은 2³²개에 이르지만 연구팀이 쓴 학습 표본은 그중 약 0.002%인 10만 개뿐이었다. 라벨 노이즈가 없는 조건에서 TESLA는 95.87%를 맞혔다. 같은 조건의 SIREN은 50.10%에 머물렀다. 라벨의 30%를 무작위로 뒤집은 조건에서도 TESLA는 68.78%로 이론적 상한인 70%에 근접했다. 반면 SIREN과 SNAKE, Fourier-feature embedding은 약 50% 수준으로 떨어져 무작위 추측과 다를 바 없는 결과를 보였다. 두 불리언 함수 전체에 흩어진 상관관계를 종합해야 하는 Forrelation 문제에서도 은닉층 크기와 무관하게 기존 활성화 함수보다 빠르게 수렴했다.

  연속 영역 문제에서도 결과는 다르지 않았다. Burgers 방정식을 푸는 물리정보 신경망(PINN)에서 최종 손실 1.21×10⁻³으로 비교 대상 가운데 가장 낮은 값을 냈고, 이미지의 좌표를 직접 학습하는 암시적 신경 표현(INR)에서는 Kodak24 기준 PSNR 27.72, SSIM 0.9671을 기록했다. ViT와 MLP-Mixer, ResNet-18, MobileNetV3를 동원한 ImageNet-100 평가에서는 ResNet-18 74.01%, MLP-Mixer 58.79%의 Top-1 정확도로 비교 활성화 함수 중 가장 앞섰다. 나머지 구조에서도 ReLU나 GeLU, SiLU와 비슷한 수준을 지켰다. FLOPs와 처리량 차이는 1% 안팎에 그쳤고, SIREN과 달리 학습이 안정적으로 이뤄져 실제 비전 모델에도 무리 없이 적용할 수 있음을 확인했다.

  연구팀은 이번 성과가 신경망 구조를 크게 손대지 않고도 활성화 함수 자체에서 차수와 주파수를 조절하는 길을 열었다고 보고 있다. 과학 계산과 고해상도 신호 복원은 물론, 장거리 추론이 필요한 Transformer와 대규모 언어모델, 하드웨어 친화적 경량화 연구로도 넓혀갈 계획이다.

  정재훈 교수는 "TESLA는 활성화 함수에서 차수와 주파수 성분을 직접 학습해 전역 구조를 효율적으로 표현한다"며 "복잡한 신호와 장거리 상호작용을 다루는 AI 모델의 표현력과 안정성을 높이는 출발점이 되기를 기대한다"고 말했다.

(논문 바로보기)

proceedings.mlr.press/