[생성AI] 생성AI 기초(3) : 데이터(DATA)의 중요성

이전 포스트에서 설명했지만 생성AI는 새로운 콘텐츠나 정보를 생성하도록 설계된 일종의 인공 지능입니다. 음악, 미술, 문학 등 다양한 분야에서 활용되어 독창적이고 혁신적인 콘텐츠를 창출하는데 큰 잠재력을 보여주고 있습니다. 그러나 생성AI가 이러한 창의성을 보이기 위해서는 막대한 양의 데이터(DATA)가 필요합니다.  지난 글에서 설명드린 신경망을 통해 데이터로부터 학습하고 그 데이터를 기반으로 예측을 하기 때문입니다. 이번 포스팅에서는 생성AI에서 왜 데이터가 중요한지  좀 더 상세히 알아보겠습니다. 

생성AI에서 데이터의 역할 이해

생성AI는 패턴을 학습하고 새로운 콘텐츠를 생성하기 위해 많은 양의 데이터가 필요한 기계학습(머신러닝) 알고리즘을 기반으로 합니다. 사용되는 데이터의 품질과 양은 생성AI의 성능에 직접적인 영향을 미칩니다. 알고리즘이 접근(액세스)할 수 있는 데이터가 많을수록 당연히 생성된 콘텐츠가 더 정확하고 다양해집니다. 예를 들어 OpenAI의 최신 버전인 ChatGPT-4는 웹 페이지, 책 및 기타 소스를 포함하여 약 570GB의 데이터 세트인 방대한 텍스트 데이터 코퍼스에 대해 교육을 받았지만 초기 ChatGPT-1가 학습한 데이터 세트는 5GB에 불과했습니다.

생성에서 사용되는 데이터 유형

텍스트(문자), 이미지 및 오디오를 포함하여 생성AI에서 사용되는 다양한 유형의 데이터가 있습니다. 텍스트 데이터는 일반적으로 언어 모델링, 자연어 처리 및 텍스트 생성에 사용됩니다. 이미지 데이터는 이미지 생성 및 조작에 사용되고 오디오 데이터는 음성 합성 및 음악 생성에 사용됩니다. 예를 들면 챗봇인 ChatGPT는 텍스트 데이터를 학습했고, DALL-E 같은 이미지 생성AI는 인터넷에 도는 엄청난 양의 이미지 데이터를 학습한 것이지요.  

데이터 품질이 생성AI의 성공에 미치는 영향

예상하시겠지만 생성AI에서 데이터의 품질이 정말 중요합니다. 아이들이 수준 높은 교육을 받아야 하는 것처럼, 생성AI도 좋은 품질의 데이터를 학습해야 좋은 결과물을 생성할 수 있습니다.  즉, 생성되는 콘텐츠의 패턴과 특성을 정확하게 나타내는 고품질 데이터를 가지고 AI 알고리즘을 교육해야 합니다. 품질이 낮은 데이터는 부정확하고 일관성 없는 콘텐츠를 생성하여 고유하고 혁신적인 콘텐츠를 생성해야하는 알고리즘의 기능을 제한할 수 있습니다. 

또한 생성AI가 편견을 피하고 전체 데이터 세트를 대표하는 콘텐츠를 생성하려면 다양한 데이터가 필수적입니다. 데이터의 다양성이 부족하면 알고리즘이 범위가 제한되고 광범위한 데이터 세트를 반영하지 않는 콘텐츠를 생성할 수 있습니다. 종종 ChatGPT 초기 버전이나 스테이블디퓨전 등 생성AI가 인종차별적이거나 성차별적인 내용을 생성해서 논란이 되었다는 기사를 보신 적이 있을 지 모르겠습니다. 이러한 문제는 편향된 정보를 걸러내지 못하는 AI 알고리즘 자체의 문제일 수도 있지만 근본적으로는 이러한 AI가 학습한 데이터 자체가 사회의 다양성을 반영하지 못하고 있기 때문이라고 볼 수 있습니다. 

 

데이터 품질의 중요성을 인식하고 우리나라도 과학기술정보통신부와 한국지능정보사회진흥원이 인공지능 학습용 데이터 품질관리 가이드라인을 발표하기도 했습니다.

예, 데이터가 중요합니다!

결론적으로 데이터는 생성AI에서 가장 중요한 요소입니다. 데이터는 알고리즘이 패턴을 학습하고 새로운 콘텐츠를 생성하는 기반입니다. 생성AI의 성공을 위해서는 고품질의 다양한 데이터가 필수적입니다. 기술이 계속 발전함에 따라 가능한 최상의 결과를 달성하기 위해 생성AI 알고리즘을 교육하는 데 사용되는 데이터의 품질과 양의 우선 순위를 지정하는 것은 반드시 필요한 일입니다.