Phục hồi ảnh cũ với Deep Learning

ngoton 28/05/2021 AI/ML/DL/DS Leave a comment 1,098 Views

Mục lục

Hôm nay, mình sẽ hướng dẫn các bạn Phục hồi ảnh cũ với Deep Learning. Trong bài viết này, chúng ta chỉ tập trung vào ứng dụng của Deep Learning trong việc làm sống lại các bức ảnh đã cũ hay hư hỏng. Sẽ không là vấn đề lớn nếu bạn chưa hiểu code. Chúng ta cứ từ từ tìm hiểu nhé.

Bring Old Photos Back To Life – Old Photo Restoration

Đầu tiên, chúng ta tìm hiểu sơ qua về “Bring Old Photos Back To Life” nhé.

“Bring Old Photos Back To Life” là một model khôi phục ảnh cũ mã nguồn mở, được giới thiệu bởi Microsoft. Mô hình khôi phục hình ảnh dựa trên Deep Learning này có các tính năng sau:

Denoising
Tone Readjustment
Face Enhancement
Physical Damage Restoration
- Scratches
- Brown spots
- Food marks

Mặc dù đã có nhiều models trước đây, nhưng điều làm cho nó trở nên độc đáo là kết quả đáng ngạc nhiên của nó. Kết quả của mô hình này đã vượt qua tất cả các mô hình đã có trước đây.

Phục hồi ảnh cũ với Deep Learning

Bây giờ đã đến lúc xem cách chúng ta có thể sử dụng model trên để khôi phục ảnh thế nào. Chúng ta sẽ sử dụng Google Colab vì nó cung cấp GPU miễn phí sẽ cần nó trong dự án của mình.

Các bạn nhớ chọn Runtime Type là Python3 và Hardware Accelerator là GPU nhé.

Đầu tiên, chúng ta sẽ clone “Bring Old Photos Back To Life” từ Github và đặt tên thư mục tên là photo_restoration.

!git clone https://github.com/microsoft/Bringing-Old-Photos-Back-to-Life.git photo_restoration

1	!git clone https://github.com/microsoft/Bringing-Old-Photos-Back-to-Life.git photo_restoration

Cài đặt môi trường

# pull the syncBN repo
%cd photo_restoration/Face_Enhancement/models/networks
!git clone https://github.com/vacancy/Synchronized-BatchNorm-PyTorch
!cp -rf Synchronized-BatchNorm-PyTorch/sync_batchnorm .
%cd ../../../

%cd Global/detection_models
!git clone https://github.com/vacancy/Synchronized-BatchNorm-PyTorch
!cp -rf Synchronized-BatchNorm-PyTorch/sync_batchnorm .
%cd ../../

# download the landmark detection model
%cd Face_Detection/
!wget http://dlib.net/files/shape_predictor_68_face_landmarks.dat.bz2
!bzip2 -d shape_predictor_68_face_landmarks.dat.bz2
%cd ../

# download the pretrained model
%cd Face_Enhancement/
!wget https://facevc.blob.core.windows.net/zhanbo/old_photo/pretrain/Face_Enhancement/checkpoints.zip
!unzip checkpoints.zip
%cd ../

%cd Global/
!wget https://facevc.blob.core.windows.net/zhanbo/old_photo/pretrain/Global/checkpoints.zip
!unzip checkpoints.zip
%cd ../

# pull the syncBN repo

%cd photo_restoration/Face_Enhancement/models/networks

!git clone https://github.com/vacancy/Synchronized-BatchNorm-PyTorch

!cp -rf Synchronized-BatchNorm-PyTorch/sync_batchnorm .

%cd ../../../

%cd Global/detection_models

!git clone https://github.com/vacancy/Synchronized-BatchNorm-PyTorch

!cp -rf Synchronized-BatchNorm-PyTorch/sync_batchnorm .

%cd ../../

# download the landmark detection model

%cd Face_Detection/

!wget http://dlib.net/files/shape_predictor_68_face_landmarks.dat.bz2

!bzip2 -d shape_predictor_68_face_landmarks.dat.bz2

%cd ../

# download the pretrained model

%cd Face_Enhancement/

!wget https://facevc.blob.core.windows.net/zhanbo/old_photo/pretrain/Face_Enhancement/checkpoints.zip

!unzip checkpoints.zip

%cd ../

%cd Global/

!wget https://facevc.blob.core.windows.net/zhanbo/old_photo/pretrain/Global/checkpoints.zip

!unzip checkpoints.zip

%cd ../

! pip install -r requirements.txt

1	! pip install -r requirements.txt

Chạy code phục hồi ảnh cũ (chế độ cơ bản)

%cd /content/photo_restoration/
input_folder = "test_images/old"
output_folder = "output"

import os
basepath = os.getcwd()
input_path = os.path.join(basepath, input_folder)
output_path = os.path.join(basepath, output_folder)
os.mkdir(output_path)

!python run.py --input_folder /content/photo_restoration/test_images/old --output_folder /content/photo_restoration/output/ --GPU 0

%cd /content/photo_restoration/

input_folder = "test_images/old"

output_folder = "output"

import os

basepath = os.getcwd()

input_path = os.path.join(basepath, input_folder)

output_path = os.path.join(basepath, output_folder)

os.mkdir(output_path)

!python run.py --input_folder /content/photo_restoration/test_images/old --output_folder /content/photo_restoration/output/ --GPU 0

import io
import IPython.display
import numpy as np
import PIL.Image

def imshow(a, format='png', jpeg_fallback=True):
    a = np.asarray(a, dtype=np.uint8)
    data = io.BytesIO()
    PIL.Image.fromarray(a).save(data, format)
    im_data = data.getvalue()
    try:
      disp = IPython.display.display(IPython.display.Image(im_data))
    except IOError:
      if jpeg_fallback and format != 'jpeg':
        print(('Warning: image was too large to display in format "{}"; '
              'trying jpeg instead.').format(format))
        return imshow(a, format='jpeg')
      else:
        raise
    return disp

def make_grid(I1, I2, resize=True):
    I1 = np.asarray(I1)
    H, W = I1.shape[0], I1.shape[1]
    
    if I1.ndim >= 3:
        I2 = np.asarray(I2.resize((W,H)))
        I_combine = np.zeros((H,W*2,3))
        I_combine[:,:W,:] = I1[:,:,:3]
        I_combine[:,W:,:] = I2[:,:,:3]
    else:
        I2 = np.asarray(I2.resize((W,H)).convert('L'))
        I_combine = np.zeros((H,W*2))
        I_combine[:,:W] = I1[:,:]
        I_combine[:,W:] = I2[:,:]
    I_combine = PIL.Image.fromarray(np.uint8(I_combine))

    W_base = 600
    if resize:
      ratio = W_base / (W*2)
      H_new = int(H * ratio)
      I_combine = I_combine.resize((W_base, H_new), PIL.Image.LANCZOS)

    return I_combine

import io

import IPython.display

import numpy as np

import PIL.Image

def imshow(a, format='png', jpeg_fallback=True):

a = np.asarray(a, dtype=np.uint8)

data = io.BytesIO()

PIL.Image.fromarray(a).save(data, format)

im_data = data.getvalue()

try:

disp = IPython.display.display(IPython.display.Image(im_data))

except IOError:

if jpeg_fallback and format != 'jpeg':

print(('Warning: image was too large to display in format "{}"; '

'trying jpeg instead.').format(format))

return imshow(a, format='jpeg')

else:

raise

return disp

def make_grid(I1, I2, resize=True):

I1 = np.asarray(I1)

H, W = I1.shape[0], I1.shape[1]

if I1.ndim >= 3:

I2 = np.asarray(I2.resize((W,H)))

I_combine = np.zeros((H,W*2,3))

I_combine[:,:W,:] = I1[:,:,:3]

I_combine[:,W:,:] = I2[:,:,:3]

else:

I2 = np.asarray(I2.resize((W,H)).convert('L'))

I_combine = np.zeros((H,W*2))

I_combine[:,:W] = I1[:,:]

I_combine[:,W:] = I2[:,:]

I_combine = PIL.Image.fromarray(np.uint8(I_combine))

W_base = 600

if resize:

ratio = W_base / (W*2)

H_new = int(H * ratio)

I_combine = I_combine.resize((W_base, H_new), PIL.Image.LANCZOS)

return I_combine

filenames = os.listdir(os.path.join(input_path))
filenames.sort()

for filename in filenames:
    print(filename)
    image_original = PIL.Image.open(os.path.join(input_path, filename))
    image_restore = PIL.Image.open(os.path.join(output_path, 'final_output', filename))

    display(make_grid(image_original, image_restore))

filenames = os.listdir(os.path.join(input_path))

filenames.sort()

for filename in filenames:

print(filename)

image_original = PIL.Image.open(os.path.join(input_path, filename))

image_restore = PIL.Image.open(os.path.join(output_path, 'final_output', filename))

display(make_grid(image_original, image_restore))

Nếu không có gì thay đổi chúng ta sẽ nhận được kết quả mong muốn.

Khôi phục ảnh bị trầy xước

!rm -rf /content/photo_restoration/output/*
!python run.py --input_folder /content/photo_restoration/test_images/old_w_scratch/ --output_folder /content/photo_restoration/output/ --GPU 0 --with_scratch

1 2	!rm -rf /content/photo_restoration/output/* !python run.py --input_folder /content/photo_restoration/test_images/old_w_scratch/ --output_folder /content/photo_restoration/output/ --GPU 0 --with_scratch

input_folder = "test_images/old_w_scratch"
output_folder = "output"
input_path = os.path.join(basepath, input_folder)
output_path = os.path.join(basepath, output_folder)

filenames = os.listdir(os.path.join(input_path))
filenames.sort()

for filename in filenames:
    print(filename)
    image_original = PIL.Image.open(os.path.join(input_path, filename))
    image_restore = PIL.Image.open(os.path.join(output_path, 'final_output', filename))

    display(make_grid(image_original, image_restore))

input_folder = "test_images/old_w_scratch"

output_folder = "output"

input_path = os.path.join(basepath, input_folder)

output_path = os.path.join(basepath, output_folder)

filenames = os.listdir(os.path.join(input_path))

filenames.sort()

for filename in filenames:

print(filename)

image_original = PIL.Image.open(os.path.join(input_path, filename))

image_restore = PIL.Image.open(os.path.join(output_path, 'final_output', filename))

display(make_grid(image_original, image_restore))

Bây giờ, chúng ta sẽ viết code để phục hồi một bức ảnh bất kỳ mà chúng ta muốn.

from google.colab import files
import shutil

upload_path = os.path.join(basepath, "test_images", "upload")
upload_output_path = os.path.join(basepath, "upload_output")

if os.path.isdir(upload_output_path):
    shutil.rmtree(upload_output_path)

if os.path.isdir(upload_path):
    shutil.rmtree(upload_path)

os.mkdir(upload_output_path)
os.mkdir(upload_path)

uploaded = files.upload()
for filename in uploaded.keys():
    shutil.move(os.path.join(basepath, filename), os.path.join(upload_path, filename))

from google.colab import files

import shutil

upload_path = os.path.join(basepath, "test_images", "upload")

upload_output_path = os.path.join(basepath, "upload_output")

if os.path.isdir(upload_output_path):

shutil.rmtree(upload_output_path)

if os.path.isdir(upload_path):

shutil.rmtree(upload_path)

os.mkdir(upload_output_path)

os.mkdir(upload_path)

uploaded = files.upload()

for filename in uploaded.keys():

shutil.move(os.path.join(basepath, filename), os.path.join(upload_path, filename))

# if your image doesn't have scractches, then remove "--with_scratch" from the end of below line
!python run.py --input_folder /content/photo_restoration/test_images/upload --output_folder /content/photo_restoration/upload_output --GPU 0 --with_scratch

1 2	# if your image doesn't have scractches, then remove "--with_scratch" from the end of below line !python run.py --input_folder /content/photo_restoration/test_images/upload --output_folder /content/photo_restoration/upload_output --GPU 0 --with_scratch

Xem kết quả nào

filenames_upload = os.listdir(os.path.join(upload_path))
filenames_upload.sort()

filenames_upload_output = os.listdir(os.path.join(upload_output_path, "final_output"))
filenames_upload_output.sort()

for filename, filename_output in zip(filenames_upload, filenames_upload_output):
    image_original = PIL.Image.open(os.path.join(upload_path, filename))
    image_restore = PIL.Image.open(os.path.join(upload_output_path, "final_output", filename_output))

    display(make_grid(image_original, image_restore))
    print("")

filenames_upload = os.listdir(os.path.join(upload_path))

filenames_upload.sort()

filenames_upload_output = os.listdir(os.path.join(upload_output_path, "final_output"))

filenames_upload_output.sort()

for filename, filename_output in zip(filenames_upload, filenames_upload_output):

image_original = PIL.Image.open(os.path.join(upload_path, filename))

image_restore = PIL.Image.open(os.path.join(upload_output_path, "final_output", filename_output))

display(make_grid(image_original, image_restore))

print("")

Cuối cùng, chúng ta có thể download tất cả hình ảnh về máy tính của mình.

output_folder = os.path.join(upload_output_path, "final_output")
print(output_folder)
os.system(f"zip -r -j download.zip {output_folder}/*")
files.download("download.zip")

output_folder = os.path.join(upload_output_path, "final_output")

print(output_folder)

os.system(f"zip -r -j download.zip {output_folder}/*")

files.download("download.zip")

Chúc các bạn thành công. Đừng quên theo dõi các bài viết tiếp theo từ Ngô Tôn .IT trong series Tự học và phát triển ứng dụng thực tế AI, ML, DL, DS

Programming, Network, Office, Hardware, Software, Design, Photography.. I am just a GEEK

Hi, I am

Ngô Tôn

I am a programmer.

Phục hồi ảnh cũ với Deep Learning

Related Articles

Bring Old Photos Back To Life – Old Photo Restoration

Phục hồi ảnh cũ với Deep Learning

Cài đặt môi trường

Chạy code phục hồi ảnh cũ (chế độ cơ bản)

Khôi phục ảnh bị trầy xước

About ngoton

Check Also

Tự động tạo code HTML & CSS từ hình ảnh với Deep Learning

Leave a Reply

Lập trình hướng đối tượng trong Golang – OOP in Go

Java Interview Questions And Answers

Xây dựng website tự động tạo văn bản sử dụng OpenAI GPT-2

Đếm số lượng chỗ trống trong bãi đỗ xe sử dụng OpenCV Python

Ứng dụng AI cảnh báo người lạ đột nhập

Tổng hợp 1000 bài tập lập trình C/C++ từ cơ bản tới nâng cao

Hàm làm tròn số ROUND, FLOOR, CEIL – Nhật ký lập trình [Chapter 7]

Xác định góc phần tư thứ mấy trên đường tròn lượng giác

Hàm swap

Hoán vị 2 số không dùng biến tạm

Lập trình hướng đối tượng trong Golang – OOP in Go

Java Interview Questions And Answers

Xây dựng website tự động tạo văn bản sử dụng OpenAI GPT-2

Đếm số lượng chỗ trống trong bãi đỗ xe sử dụng OpenCV Python

Ứng dụng AI cảnh báo người lạ đột nhập

Tính đa hình trong lập trình hướng đối tượng Java

Hàm swap

Interface trong lập trình hướng đối tượng Java

Tạo danh sách ngày từ 2 ngày cho trước bằng Stream trong Java

Tìm vị trí của phần tử lớn nhất trong mảng 1 chiều