【AIGC全网独家】基于TensorFlow和Keras的实现GANs图像生成模型（涨点）

精选原创

鱼弦CTO 2024-07-04 10:56:20 博主文章分类：基础 ©著作权

文章标签 ide 生成器 tensorflow 文章分类 stable diffusion AIGC AIGC二三事

©著作权归作者所有：来自51CTO博客作者鱼弦CTO的原创作品，请联系作者获取转载授权，否则将追究法律责任

鱼弦：公众号：红尘灯塔，CSDN博客专家、内容合伙人、CSDN新星导师、51CTO(Top红人+专家博主) 、github开源爱好者（go-zero源码二次开发、游戏后端架构 https://github.com/Peakchen）

【AIGC全网独家】基于TensorFlow和Keras的实现GANs图像生成模型（涨点）_生成器

介绍:

AIGC 技术可以自动生成高质量的图像内容,包括写实风格的照片、艺术风格的绘画等。
这种技术可应用于各种创意领域,如广告设计、游戏美术、电影特效等,提高创作效率。

使用场景:

医学影像增强:利用AIGC技术可以对医学影像数据进行增强,提高医生诊断效率和准确率。例如对CT、MRI图像进行过滤降噪,增强路径学特征等。
游戏内容生成:为游戏生成更高质量的3D模型、贴图、动画等视觉内容,提高游戏体验。
数据可视化:将大量结构化或非结构化的数据分析结果可视化展现,更好地帮助用户理解数据分布趋势及重要关系。
设计与艺术创作:帮助设计师和画师更高效地完成作品创作,例如从概念草图快速渲染出高分辨率产品图解或场景设计等。
平面广告与宣传 material 生成:自动帮助设计师完成不同规格的图片、视频和其他材料,满足不同渠道和场景的需求。

原理解释:

AIGC图像生成技术的原理为利用深度卷积神经网络(DCNN)来学习图像特征表征,通过大量真实图像数据集训练神经网络模型来学习复杂的输入输出映射关系。测试时,只需输入一个低质量的概念草图或文字描述,网络模型就可以自动生成一个高质量的最终图像来还原输入信息。

图像生成主要依赖于生成对抗网络（GAN, Generative Adversarial Network），它包含两个部分：

生成器（Generator）：负责生成图像，从随机噪声或输入数据中创建新的图像。

判别器（Discriminator）：判断图像是真实的还是由生成器生成的。

生成器和判别器通过对抗训练，不断优化自身能力，最终生成器能够生成以假乱真的图像。

算法实现:

主要算法包括GAN(生成对抗网络)、VAE(变分自动编码器)、CycleGAN等深度学习模型。其中GAN算法是目前公开报道效果最好的一种,它利用两阶段训练来实现:1生成网络G生成假图像,2辨别网络D判断生成图像是真是假。通过对抗训练G和D,使G生成的图像能够最大化欺骗D,从而实现高质量且逼真的图像生成。

常见的图像生成算法包括：

基本GAN：最基础的生成对抗网络，由一个生成器和一个判别器组成。

DCGAN（Deep Convolutional GAN）：在基本GAN的基础上引入卷积神经网络，提高生成图像的质量。

StyleGAN：通过风格迁移技术，可以生成具有不同风格特征的图像。

CycleGAN：用于图像到图像的转换，如照片风格化、图像修复等。

代码实例实现:

以TensorFlow为例,可以通过Keras高级API实现基于DCGAN的图像生成网络代码,主要包括:

定义生成器网络结构
定义判别器网络结构
定义交叉熵损失
定义优化器
训练生成器和判别器
保存模型并预测生成新图片

这里提供一个基于TensorFlow和Keras的实现GANs图像生成模型的完整Python代码:

import tensorflow as tf
from tensorflow.keras.layers import Dense, Dropout, Conv2D, BatchNormalization, Activation, Flatten
from tensorflow.keras.models import Sequential

# 定义生成器网络
def generator():
  model = Sequential()
  
  model.add(Dense(4*4*256, activation='relu', input_dim=100)) # noise作为输入
  model.add(Reshape((4, 4, 256)))
  
  model.add(Conv2DTranspose(128, (5,5), strides=(2,2), padding='same'))
  model.add(BatchNormalization())
  model.add(Activation('relu'))
  
  model.add(Conv2DTranspose(64, (5,5), strides=(2,2), padding='same')) 
  model.add(BatchNormalization())
  model.add(Activation('relu'))

  model.add(Conv2DTranspose(1, (5,5), strides=(2,2), padding='same'))
  model.add(Activation('tanh')) # 输出图片值缩放到[-1,1]

  return model

# 定义辨别器网络
def discriminator():
  model = Sequential()

  model.add(Conv2D(64, (5,5), strides=(2,2), padding='same', input_shape=(28,28,1)))
  model.add(LeakyReLU(0.2))

  model.add(Conv2D(128, (5,5), strides=(2,2), padding='same'))
  model.add(LeakyReLU(0.2))

  model.add(Dropout(0.3))

  model.add(Flatten())
  model.add(Dense(1, activation='sigmoid')) # 输出概率值

  return model

# 生成对抗训练
def train(epoch):
  g_model = generator()
  d_model = discriminator()

  opt = tf.keras.optimizers.Adam(lr=0.0002, beta_1=0.5)

  fake_img = g_model(noise)
  prob_real = d_model(real_img)
  prob_fake = d_model(fake_img)

  d_loss_real = binary_crossentropy(tf.ones_like(prob_real), prob_real)
  d_loss_fake = binary_crossentropy(tf.zeros_like(prob_fake), prob_fake)
  d_loss = d_loss_real + d_loss_fake

  g_loss = binary_crossentropy(tf.ones_like(prob_fake), prob_fake)
  
  ...优化训练...

  if epoch % 10 == 0:
    save_model(g_model, 'gan.h5')

train(200)

这个代码定义了生成器和辨别器网络结构,使用TensorFlow Keras实现了生成对抗训练过程,保存中间模型参数。

深入详细编码实现：

import tensorflow as tf
from tensorflow.keras import layers
import matplotlib.pyplot as plt
import numpy as np

# 加载和预处理数据
(train_images, train_labels), (_, _) = tf.keras.datasets.mnist.load_data()
train_images = train_images.reshape(train_images.shape[0], 28, 28, 1).astype('float32')
train_images = (train_images - 127.5) / 127.5  # Normalize to [-1, 1]
BUFFER_SIZE = 60000
BATCH_SIZE = 256
train_dataset = tf.data.Dataset.from_tensor_slices(train_images).shuffle(BUFFER_SIZE).batch(BATCH_SIZE)

# 构建生成器
def make_generator_model():
    model = tf.keras.Sequential()
    model.add(layers.Dense(7*7*256, use_bias=False, input_shape=(100,)))
    model.add(layers.BatchNormalization())
    model.add(layers.LeakyReLU())

    model.add(layers.Reshape((7, 7, 256)))
    assert model.output_shape == (None, 7, 7, 256)  # Note: None is the batch size

    model.add(layers.Conv2DTranspose(128, (5, 5), strides=(1, 1), padding='same', use_bias=False))
    assert model.output_shape == (None, 7, 7, 128)
    model.add(layers.BatchNormalization())
    model.add(layers.LeakyReLU())

    model.add(layers.Conv2DTranspose(64, (5, 5), strides=(2, 2), padding='same', use_bias=False))
    assert model.output_shape == (None, 14, 14, 64)
    model.add(layers.BatchNormalization())
    model.add(layers.LeakyReLU())

    model.add(layers.Conv2DTranspose(1, (5, 5), strides=(2, 2), padding='same', use_bias=False, activation='tanh'))
    assert model.output_shape == (None, 28, 28, 1)

    return model

# 构建判别器
def make_discriminator_model():
    model = tf.keras.Sequential()
    model.add(layers.Conv2D(64, (5, 5), strides=(2, 2), padding='same', input_shape=[28, 28, 1]))
    model.add(layers.LeakyReLU())
    model.add(layers.Dropout(0.3))

    model.add(layers.Conv2D(128, (5, 5), strides=(2, 2), padding='same'))
    model.add(layers.LeakyReLU())
    model.add(layers.Dropout(0.3))

    model.add(layers.Flatten())
    model.add(layers.Dense(1))

    return model

generator = make_generator_model()
discriminator = make_discriminator_model()

# 定义损失函数和优化器
cross_entropy = tf.keras.losses.BinaryCrossentropy(from_logits=True)
generator_optimizer = tf.keras.optimizers.Adam(1e-4)
discriminator_optimizer = tf.keras.optimizers.Adam(1e-4)

# 定义训练步骤
@tf.function
def train_step(images):
    noise = tf.random.normal([BATCH_SIZE, 100])

    with tf.GradientTape() as gen_tape, tf.GradientTape() as disc_tape:
        generated_images = generator(noise, training=True)

        real_output = discriminator(images, training=True)
        fake_output = discriminator(generated_images, training=True)

        gen_loss = cross_entropy(tf.ones_like(fake_output), fake_output)
        disc_loss = cross_entropy(tf.ones_like(real_output), real_output) + \
                    cross_entropy(tf.zeros_like(fake_output), fake_output)

    gradients_of_generator = gen_tape.gradient(gen_loss, generator.trainable_variables)
    gradients_of_discriminator = disc_tape.gradient(disc_loss, discriminator.trainable_variables)

    generator_optimizer.apply_gradients(zip(gradients_of_generator, generator.trainable_variables))
    discriminator_optimizer.apply_gradients(zip(gradients_of_discriminator, discriminator.trainable_variables))

# 训练模型
def train(dataset, epochs):
    for epoch in range(epochs):
        for image_batch in dataset:
            train_step(image_batch)

        # 生成并保存一些示例图像
        display.clear_output(wait=True)
        generate_and_save_images(generator, epoch + 1, seed)

        print ('Epoch {} is done'.format(epoch+1))

seed = tf.random.normal([16, 100])
def generate_and_save_images(model, epoch, test_input):
    predictions = model(test_input, training=False)
    fig = plt.figure(figsize=(4, 4))

    for i in range(predictions.shape[0]):
        plt.subplot(4, 4, i + 1)
        plt.imshow(predictions[i, :, :, 0] * 127.5 + 127.5, cmap='gray')
        plt.axis('off')

    plt.savefig('image_at_epoch_{:04d}.png'.format(epoch))
    plt.show()

EPOCHS = 50
train(train_dataset, EPOCHS)

部署测试场景: