알아야 할 새로운 텍스트-이미지 모델: DeepFloyd IF – TechCult

만약에 어도비 벽돌 그리고 DALL-E는 이미 그래픽 디자이너를 힘들게 만들지 않았습니다. 도시에 새로운 AI가 있습니다. 알아야 할 새로운 텍스트-이미지 모델은 DeepFloyd IF입니다. 연구 그룹 DeepFloyd가 발표한 최신 텍스트-이미지 모델인 DeepFloyd IF를 만나보십시오. 안정성 AI. 이미지 생성 AI의 경우 더욱 흔들릴 것이 확실합니다.

딥플로이드, Stability AI가 지원하는 연구 그룹은 새로운 텍스트-이미지 모델인 DeepFloyd IF의 출시를 발표했습니다. 이 모델은 강력한 계단식 픽셀 확산 방법을 사용하여 텍스트 프롬프트에서 이미지를 생성합니다. 비상업적이며 연구용으로 허용되는 라이선스를 통해 DeepFloyd IF는 연구소에서 고급 텍스트-이미지 생성 접근 방식을 조사하고 실험할 수 있는 고유한 기회를 제공합니다.

DeepFloyd IF 모델은 T5-XXL-1.1 대형 언어 모델의 인텔리전스를 통합하여 상당한 양의 텍스트-이미지 교차 주의 계층에 대해 더 나은 프롬프트 및 이미지 연합을 제공합니다. 그 결과 다양한 공간 관계에 나타나는 다양한 속성의 개체와 함께 일관되고 명확한 텍스트가 생성됩니다.

• DeepFloyd IF는 계단식 픽셀 확산 방법을 사용하여 텍스트 프롬프트에서 이미지를 생성하는 텍스트-이미지 모델입니다.
• 이 모델은 T5-XXL-1.1 대형 언어 모델의 인텔리전스를 통합하여 더 나은 프롬프트 및 이미지 연합을 허용합니다.
• DeepFloyd IF는 다양한 공간 관계에 나타나는 다양한 속성의 객체와 함께 일관되고 명확한 텍스트를 생성합니다.
• 이 모델은 COCO 데이터 세트에서 6.66이라는 인상적인 제로 샷 FID 점수에 반영된 높은 수준의 포토리얼리즘을 가지고 있습니다.
• DeepFloyd IF는 비표준 종횡비로 이미지를 생성할 수 있으며 제로샷 이미지 대 이미지 변환을 허용합니다.
• 모델은 "'Deep Floyd'라고 적힌 셔츠를 입은 테디 베어"와 같은 프롬프트에서 선택적으로 다양한 스타일의 이미지를 생성할 수 있습니다.
• DeepFloyd IF는 확산을 여러 번 수행하여 64x64px 이미지를 생성한 다음 256x256px로 업스케일링하고 마지막으로 1024x1024px로 업스케일링합니다.
• DeepFloyd IF는 대규모 언어 모델을 사용하여 프롬프트를 이해하고 벡터로 나타내므로 프롬프트에 설명된 복잡한 프롬프트 및 공간 관계를 이해하는 데 특히 좋습니다.
• 이 모델은 오픈 소스로 제공되며 상업적 사용을 금지하는 방식으로 라이선스가 부여됩니다.

DeepFloyd IF와 Stable Diffusion 및 DALL-E 2와 같은 다른 모델 간의 주요 차이점 중 하나는 DeepFloyd IF가 대형 언어 모델 프롬프트를 벡터로 이해하고 표현합니다. DeepFloyd IF의 아키텍처에 내장된 대형 언어 모델의 크기로 인해 모델은 특히 복잡한 프롬프트와 에 설명된 공간적 관계를 잘 이해합니다. 프롬프트.

DeepFloyd IF는 오픈 소스로 제공되며 현재 상업적 사용을 금지하는 방식으로 라이선스가 부여되었습니다. 제한은 생성 AI 아트 모델의 현재 미약한 법적 지위에 의해 동기가 부여되었을 가능성이 높습니다. 상업적 용도로 사용할 수 있게 될 때까지 DeepFloyd IF를 사용할 수 있는 방법은 다음과 같습니다.

1. 방문하다 DeepFloyd IF 데모 페이지.

2. 이미지를 원하는 프롬프트를 입력합니다.

3. 클릭 생성하다.

이렇게 하면 이미지가 생성됩니다. 이것은 데모이며 DeepFloyd가 완전히 할 수 있는 것과 동등하지 않을 수 있음을 명심하십시오.

DeepFloyd IF를 통해 Stability AI와 DeepFloyd는 강력하고 유망한 새로운 텍스트-이미지 모델을 만들었습니다. T5 모델의 지능을 통합하고 계단식 픽셀 확산 방법을 사용하여 이 모델은 높은 정확도로 사실적인 이미지를 생성합니다. 생성 AI가 계속 진화함에 따라 DeepFloyd IF와 같은 모델이 이 분야에서 점점 더 중요한 역할을 할 것이 분명합니다.

원천: 안정성 AI의 블로그