OpenAI는 학습 자료가 부족한 프로그래밍 언어를 대상으로 한 연구를 공개하며, 모델이 해당 언어의 코드를 이해하고 생성할 수 있는지 검증했다. 이 결과는 기업에서 유지 비용이 높은遗留 시스템을 보조 개선할 수 있는지 판단하는 데 중요한데, 단순히 희소한 문법의 자동 완성을 지원하는 수준을 넘어서는 질문이다.
원문: Advanced coding in low-resource programming languages
희소하다는 것은 사용자가 적다는 뜻이 아니다
여기서 말하는 ‘저자원 언어’는 모델이 참조할 수 있는 학습 자료, 문서, 테스트 데이터가 부족한 언어를 뜻한다. 반드시 실제 사용자가 많지 않다는 의미는 아니다.
흔치 않은 언어에는 주로 세 가지 종류의 자원이 부족하다.
- 공개 코드가 적다. GitHub에 올라간 프로젝트와 버전, 프레임워크 조합이 제한적이다.
- 문서가 흩어져 있다. 오래된 컴파일러 매뉴얼, 업체 FAQ, 과거 메일을 일관되게 입수하기 어렵다.
- 표준 테스트 세트가 부족하다. Python의
pytest생태계처럼 안정적인 공개 벤치마크가 드물다.
따라서 모델이 생성한 코드는 문법적으로 올바르더라도 대상 도구 체인에서 컴파일되지 않을 수 있다.
언어마다 제약도 다르다. COBOL 방언, PLC 명령어 집합, 업체 전용 언어에는 고정 열 배치, 데이터 세그먼트 규칙, 컴파일러 차이, 메모리 및 레지스터 제한이 적용될 수 있다.
즉, ‘문법 자동 완성’과 ‘실행 가능한 프로그램 전달’ 사이에는 컴파일, 실행, 테스트, 배포 단계를 거쳐야 한다.
코드 생성은 피드백 루프 안에서 검증해야 한다
저자원 언어의 코드 생성 성능은 모델이 한 번에 얼마나 많은 코드를 출력했는지만으로 판단할 수 없다. 더 신뢰할 수 있는 절차는 다음과 같다.
- 기존 코드와 인터페이스를 읽는다.
- 대상 언어와 장치 문서를 검색한다.
- 수정안을 생성한다.
- 컴파일러를 호출하고 테스트를 실행한다.
- 오류에 따라 추가 수정한다.
핵심은 실행 피드백이다. 컴파일러, 테스트 환경, 장치 시뮬레이터가 없다면 모델은 추측할 수밖에 없다.
다음 코드는 Python 문법 검사만 수행할 수 있다.
from pathlib import Path
import subprocess
source = Path("candidate.py")
result = subprocess.run(
["python", "-m", "py_compile", str(source)],
capture_output=True,
text=True,
)
if result.returncode != 0:
print(result.stderr)
raise SystemExit(result.returncode)
print("compile passed")실제 프로젝트에 적용하려면 이것이 최소 기준일 뿐이다. lint, 단위 테스트, 통합 테스트, 보안 스캔, 롤백 검증도 추가해야 한다.
Agent의 첫 적용처는 제한된 범위의 개선일 수 있다
저자원 언어는 쉽게 다시 작성하기 어려운 시스템에 사용되는 경우가 많다. 예를 들면 다음과 같다.
- 산업용 장비에 들어가는 PLC와 전용 제어 코드
- 은행, 보험, 통신 시스템의 오래된 핵심 모듈
- 의료 장비의 펌웨어와 인터페이스 프로그램
- 항공, 자동차, 제조 장비의 임베디드 소프트웨어
- 수년간 운영됐으며 문서가 PDF와 과거 메일에 흩어져 있는 사내 시스템
이러한 시스템의 주요 비용은 코드 규모가 아니라 유지 보수와 교체 위험에서 발생한다. 필드 매핑이나 프로토콜 분기 하나를 잘못 바꾸면 장비 동작에 직접 영향을 줄 수 있다.
AI Agent의 잠재적 역할은 저장소를 읽고, 문서를 검색하고, 컴파일러와 테스트를 실행한 뒤, 실패 결과에 따라 파일을 수정하는 것이다. 경계가 명확한 소규모 작업부터 처리하는 데 적합하지만, 운영 시스템 전체를 바로 맡기에는 적절하지 않다.
도입 전에 기업은 최소한 다음 질문에 답해야 한다.
- 모델이 민감한 저장소와 운영 설정에 접근해도 되는가?
- 테스트 환경이 실제 장비의 동작을 충분히 재현하는가?
- 생성된 코드가 보안 및 규정 준수를 통과했는가?
- 수정이 실패했을 때 롤백할 수 있는가?
이 질문에 답하지 못한다면 자동 마이그레이션은 생산용 솔루션이라기보다 시연 프로젝트에 더 가깝다.
평가는 검증 가능한 결과로 기록해야 한다
원문에는 이번 Hacker News 토론 페이지의 데이터가 제시되지 않았으므로, 원 페이지에서 확인하지 않은 points나 댓글 수를 인용해서는 안 된다.
저자원 언어 평가 역시 텍스트 유사도에 머물러서는 안 된다. 다음처럼 검증 가능한 결과가 필요하다.
| 평가 항목 | 확인 내용 |
|---|---|
| compile | 대상 도구 체인이 코드를 수용하는지 여부 |
| test | 프로그램 동작이 기대에 맞는지 여부 |
| lint | 언어 또는 프로젝트 규칙을 위반했는지 여부 |
| security scan | 알려진 취약점을 새로 도입했는지 여부 |
| dependency check | 의존성을 사용할 수 있는지, 알려진 공급망 위험이 있는지 여부 |
| deploy dry-run | 대상 실행 환경에 진입할 수 있는지 여부 |
PLC의 I/O 매핑, 임베디드 대상의 메모리 제한, 고정 열 너비 같은领域的 규칙도 사람이 정리해 추가해야 한다. 이런 제약 사항을 프롬프트에만 포함해서는 안 된다.
평가 결과는 모델의 첫 생성 결과가 통과했는지, Agent가 컴파일과 테스트를 거쳐 여러 차례 수정한 뒤 통과했는지도 구분해야 한다. 전자는 코드 생성 성능을, 후자는 소프트웨어 엔지니어링 Agent에 더 가까운 수준을 측정한다.
편집자의 생각
이 연구가 중요한 이유는 코드 모델의 능력 범위를 позволяет遗留 시스템까지 확장해 보기 때문이다. 저자원 언어의 사용자는 많지 않을 수 있지만, 해당 언어에 연결된 장비와 프로토콜, 업무 시스템의 유지 비용은 높다. 제한된 범위의 마이그레이션 성공 여부는 생산 라인의 가동이나 업무 연속성에 직접 영향을 줄 수 있다.
현재 시점에서 가장 현실적인 방법은 하나의 모델이 프로젝트를 독립적으로 맡게 하는 것이 아니라, 문서 검색, 컴파일러, 테스트 환경, 분야별 규칙을 Agent에 연결하는 것이다. 모델은 변경안을 제시하고, 도구는 피드백을 제공하며, 엔지니어는 장비와 보안의 경계를 관리한다. 이는 지원 언어를 단순히 늘려 가며 범위를 평가하는 것보다 실용적이다.
과거의 소프트웨어 생성 시연과는 차원이 다르다. 예전에는 한 코드 덩어리가 얼마나 자연스러운지만 살펴봤다면, 이제는 컴파일과 테스트, 배포가 가능한지 검증해야 한다. 다만 원시 연구가 실제 기업 환경을 충분히 포함했는지는 아직 알 수 없다. 특히 테스트 데이터, 도구 체인 버전, 장비별 차이는 기업이 직접 보완해야 한다.