Python画像処理-特定の輪郭を削除し、値を周囲のピクセルとブレンドする方法は?

16
juliussin 2020-05-02 19:40.

深度画像を使ったプロジェクトをやっています。しかし、ノイズに問題があり、深度カメラでのピクセル読み取りに失敗しました。値がゼロのスポットや輪郭(特にエッジ)がいくつかあります。このゼロ値を無視して、周囲の値とブレンドするにはどうすればよいですか?(モーフ画像処理)を試しましたがdilationerosionそれでも正しい組み合わせが得られません。それは確かにノイズの一部を取り除きました、しかし私はただすべてのポイントでゼロを取り除く必要があります

画像の例:

ゼロ値は最も濃い青です(私はカラーマップを使用しています)

私がやりたいことを説明するために、この貧弱な絵の具の絵を参照してください:

黒点(たとえば、黒の値が0または特定の値)を取り除き、それをその周囲とブレンドしたいと思います。はい、np.whereまたは同様の機能を使用してスポットをローカライズすることはできますが、どのようにブレンドするかわかりません。たぶん、適用されるフィルター?これをストリームで実行する必要があるため、かなり高速なプロセスが必要です。おそらく10〜20fpsで十分です。前もって感謝します!

更新:

インペイント以外の方法はありますか?いろいろなインペイントを探してきましたが、インペイントほど洗練されている必要はありません。単純な線、曲線、または形状と1Dをブレンドする必要があります。インペイントはやり過ぎだと思います。その上、私はそれらがビデオストリーム10-20 fps、またはそれ以上に使用されるのに十分速い必要があります。

3 answers

10
fmw42 2020-05-07 01:36.

Python / OpenCVでこれを行う1つの方法があります。

中央値フィルタリングを使用して穴を埋めます。

  • 入力を読む
  • 灰色に変換
  • マスクを作成するためのしきい値(スポットは黒)
  • マスクを反転します(スポットは白です)
  • 反転マスクから最大のスポット輪郭周囲長を見つけ、その値の半分をフィルターサイズの中央値として使用します
  • 画像にメディアンフィルタリングを適用する
  • 入力にマスクを適用します
  • フィルター処理された画像の中央値に逆マスクを適用します
  • 2つを足し合わせて結果を形成します
  • 結果を保存する

入力:

import cv2
import numpy as np
import math

# read image
img = cv2.imread('spots.png')

# convert to gray
gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)

# threshold 
mask = cv2.threshold(gray,0,255,cv2.THRESH_BINARY)[1]

# erode mask to make black regions slightly larger
kernel = cv2.getStructuringElement(cv2.MORPH_ELLIPSE, (5,5))
mask = cv2.morphologyEx(mask, cv2.MORPH_ERODE, kernel)


# make mask 3 channel
mask = cv2.merge([mask,mask,mask])

# invert mask
mask_inv = 255 - mask

# get area of largest contour
contours = cv2.findContours(mask_inv[:,:,0], cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_NONE)
contours = contours[0] if len(contours) == 2 else contours[1]
perimeter_max = 0
for c in contours:
    perimeter = cv2.arcLength(c, True)
    if perimeter > perimeter_max:
        perimeter_max = perimeter

# approx radius from largest area
radius = int(perimeter_max/2) + 1
if radius % 2 == 0:
    radius = radius + 1
print(radius)

# median filter input image
median = cv2.medianBlur(img, radius)

# apply mask to image
img_masked = cv2.bitwise_and(img, mask)

# apply inverse mask to median
median_masked = cv2.bitwise_and(median, mask_inv)

# add together
result = cv2.add(img_masked,median_masked)

# save results
cv2.imwrite('spots_mask.png', mask)
cv2.imwrite('spots_mask_inv.png', mask_inv)
cv2.imwrite('spots_median.png', median)
cv2.imwrite('spots_masked.png', img_masked)
cv2.imwrite('spots_median_masked.png', median_masked)
cv2.imwrite('spots_removed.png', result)

cv2.imshow('mask', mask)
cv2.imshow('mask_inv', mask_inv )
cv2.imshow('median', median)
cv2.imshow('img_masked', img_masked)
cv2.imshow('median_masked', median_masked)
cv2.imshow('result', result)
cv2.waitKey(0)
cv2.destroyAllWindows()


マスクとしてのしきい値画像:

反転マスク:

フィルタリングされた画像の中央値:

マスクされた画像:

マスクされた中央値フィルタリングされた画像:

結果:

3
Rishab P. 2020-05-03 13:52.

OpenCVとSkimageの両方での画像の修復は遅すぎ、これは既知の問題です。アルゴリズムを深く掘り下げずにスピードアップできるとは思いません。

「従来の」(つまり、ディープラーニングなしの)修復アルゴリズムに本当に興味があり、それを実装する準備ができている場合は、soupault / scikit-inpaint#4を確認することを強くお勧めします。このアルゴリズムは、視覚的に重調和法と同等またはそれ以上の性能を発揮し、適切にコードに変換されると、大きな画像でも非常に高速になります。

確かに、重調和修復の実装は、パフォーマンスの意味で最適とはほど遠いものです。現在のバージョンは、nD入力のサポートをメインターゲットとして作成されているため、非常に単純です。

実装に対する可能な改善には、以下が含まれますが、これらに限定されません。

  1. バイラプラシアンの事前生成(atmはマスクされたピクセルごとに個別に計算されます)

  2. 独立した接続領域へのマスク分割(atm単一の巨大なマトリックスが構築されます)

  3. Cythonization(Cython atmでnDコードを記述できるかどうかわからない)

  4. より速いlinsolve

  5. 並列実装。

中間的な解決策として、2D(+ color)のより高速なCythonizedバージョンの実装を試みることができます(上記の他の点も考慮に入れてください)。これは、最も一般的な使用例であると予想されます。

「高速で十分な」修復方法を探している場合は、GitHubで修復するための多数のディープラーニングベースのソリューションをご覧ください。

3
David 2020-05-06 16:06.

おそらく、NaNで調整されたガウスフィルターを使用するのが適切で十分に高速ですか?ゼロ/ブラックスポットをNaNと見なす場合、このアプローチはより大きなブラックエリアでも機能します。

# import modules
import matplotlib.pyplot as plt
import numpy as np
import skimage
import skimage.filters

# set seed
np.random.seed(42)

# create dummy image
# (smooth for more realisitc appearance)
size = 50
img = np.random.rand(size, size)
img = skimage.filters.gaussian(img, sigma=5)

# create dummy missing/NaN spots
mask = np.random.rand(size, size) < 0.02
img[mask] = np.nan

# define and apply NaN-adjusted Gaussian filter
# (https://stackoverflow.com/a/36307291/5350621)
def nangaussian(U, sigma=1, truncate=4.0):
    V = U.copy()
    V[np.isnan(U)] = 0
    VV = skimage.filters.gaussian(V, sigma=sigma, truncate=truncate)
    W = 0*U.copy()+1
    W[np.isnan(U)] = 0
    WW = skimage.filters.gaussian(W, sigma=sigma, truncate=truncate)
    return VV/WW
smooth = nangaussian(img, sigma=1, truncate=4.0)

# do not smooth full image but only copy smoothed NaN spots
fill = img.copy()
fill[mask] = smooth[mask]

# plot results
vmin, vmax = np.nanmin(img), np.nanmax(img)
aspect = 'auto'
plt.subplot(121)
plt.title('original image (white = NaN)')
plt.imshow(img, aspect=aspect, vmin=vmin, vmax=vmax)
plt.axis('off')
plt.subplot(122)
plt.title('filled image')
plt.imshow(fill, aspect=aspect, vmin=vmin, vmax=vmax)
plt.axis('off')

Related questions

MORE COOL STUFF

Reba McEntire は、彼女が息子の Shelby Blackstock と共有する「楽しい」クリスマスの伝統を明らかにしました:「私たちはたくさん笑います」

Reba McEntire は、彼女が息子の Shelby Blackstock と共有する「楽しい」クリスマスの伝統を明らかにしました:「私たちはたくさん笑います」

Reba McEntire が息子の Shelby Blackstock と共有しているクリスマスの伝統について学びましょう。

メーガン・マークルは、自然な髪のスタイリングをめぐってマライア・キャリーと結ばれました

メーガン・マークルは、自然な髪のスタイリングをめぐってマライア・キャリーと結ばれました

メーガン・マークルとマライア・キャリーが自然な髪の上でどのように結合したかについて、メーガンの「アーキタイプ」ポッドキャストのエピソードで学びましょう.

ハリー王子は家族との関係を修復できるという「希望を持っている」:「彼は父親と兄弟を愛している」

ハリー王子は家族との関係を修復できるという「希望を持っている」:「彼は父親と兄弟を愛している」

ハリー王子が家族、特にチャールズ王とウィリアム王子との関係について望んでいると主張したある情報源を発見してください。

ワイノナ・ジャッドは、パニックに陥った休暇の瞬間に、彼女がジャッド家の家長であることを認識しました

ワイノナ・ジャッドは、パニックに陥った休暇の瞬間に、彼女がジャッド家の家長であることを認識しました

ワイノナ・ジャッドが、母親のナオミ・ジャッドが亡くなってから初めての感謝祭のお祝いを主催しているときに、彼女が今では家長であることをどのように認識したかを学びましょう.

セントヘレナのジェイコブのはしごを登るのは、気弱な人向けではありません

セントヘレナのジェイコブのはしごを登るのは、気弱な人向けではありません

セント ヘレナ島のジェイコブズ ラダーは 699 段の真っ直ぐ上る階段で、頂上に到達すると証明書が発行されるほどの難易度です。

The Secrets of Airline Travel Quiz

The Secrets of Airline Travel Quiz

Air travel is far more than getting from point A to point B safely. How much do you know about the million little details that go into flying on airplanes?

Where in the World Are You? Take our GeoGuesser Quiz

Where in the World Are You? Take our GeoGuesser Quiz

The world is a huge place, yet some GeoGuessr players know locations in mere seconds. Are you one of GeoGuessr's gifted elite? Take our quiz to find out!

バイオニック読書はあなたをより速く読むことができますか?

バイオニック読書はあなたをより速く読むことができますか?

BionicReadingアプリの人気が爆発的に高まっています。しかし、それは本当にあなたを速読術にすることができますか?

Intelはついに適切なグラフィックカードに取り組んでいます

Intelはついに適切なグラフィックカードに取り組んでいます

画像:Intel AMDは、新しいRyzenチップのおかげで、今年はIntelで懸命に取り組んできましたが、AMDのリードGPUアーキテクトであるRaja KoduriがIntelの新しい上級副社長になり、その責任者になることで、Intelは最後の笑いを得るかもしれません。新たに結成されたコアおよびビジュアルコンピューティンググループ。PCの最大のCPUメーカーは、ついにGPUに適切に投資しています。

Fossilの新しいスマートウォッチは、ペブルファンが待ち望んでいたものです

Fossilの新しいスマートウォッチは、ペブルファンが待ち望んでいたものです

それは格好良い時計の人々です。Pebbleファンは必然的に、受信トレイ、コメント、DMで忠実でありながら死にかけているスマートウォッチを称賛することは、スマートウォッチのレビュー担当者に広く知られている真実です。

それにふたを置きます。実際、すべてに蓋をしてください。14ドルで12個のシリコンストレッチキッチン蓋を手に入れよう. [エクスクルーシブ]

それにふたを置きます。実際、すべてに蓋をしてください。14ドルで12個のシリコンストレッチキッチン蓋を手に入れよう. [エクスクルーシブ]

Tomorrow's Kitchen シリコンストレッチ蓋 12個パック | $14 | アマゾン | プロモーション コード 20OFFKINJALids は基本的にキッチンの靴下です。常に迷子になり、二度と閉じられない孤立したコンテナーが残ります。しかし、蓋が伸びて、残った容器、鍋、フライパン、さらには大きなスライスされた果物のすべてに適合するとしたらどうでしょうか? その非常に特殊な蓋を失うことを二度と心配する必要はありません。

あなたの最高のワシントン DC ハックを教えてください

あなたの最高のワシントン DC ハックを教えてください

このコラムでは、ロサンゼルスやラスベガスなど、いくつかの産業都市をハッキングしました。今こそ、軍産複合都市の時代です。

米国のフィギュア スケートは、チーム イベントでの最終決定の欠如に「苛立ち」、公正な裁定を求める

米国のフィギュア スケートは、チーム イベントでの最終決定の欠如に「苛立ち」、公正な裁定を求める

ロシアのフィギュアスケーター、カミラ・バリエバが関与したドーピング事件が整理されているため、チームは2022年北京冬季オリンピックで獲得したメダルを待っています。

Amazonの買い物客は、わずか10ドルのシルクの枕カバーのおかげで、「甘やかされた赤ちゃんのように」眠れると言っています

Amazonの買い物客は、わずか10ドルのシルクの枕カバーのおかげで、「甘やかされた赤ちゃんのように」眠れると言っています

何千人ものAmazonの買い物客がMulberry Silk Pillowcaseを推奨しており、現在販売中. シルクの枕カバーにはいくつかの色があり、髪を柔らかく肌を透明に保ちます。Amazonで最大46%オフになっている間にシルクの枕カバーを購入してください

パデュー大学の教授が覚醒剤を扱った疑いで逮捕され、女性に性的好意を抱かせる

パデュー大学の教授が覚醒剤を扱った疑いで逮捕され、女性に性的好意を抱かせる

ラファイエット警察署は、「不審な男性が女性に近づいた」という複数の苦情を受けて、12 月にパデュー大学の教授の捜査を開始しました。

コンセプト ドリフト: AI にとって世界の変化は速すぎる

コンセプト ドリフト: AI にとって世界の変化は速すぎる

私たちの周りの世界と同じように、言語は常に変化しています。以前の時代では、言語の変化は数年または数十年にわたって発生していましたが、現在では数日または数時間で変化する可能性があります。

SF攻撃で91歳のアジア人女性が殴られ、コンクリートに叩きつけられた

犯罪擁護派のオークランドが暴力犯罪者のロミオ・ロレンゾ・パーハムを釈放

SF攻撃で91歳のアジア人女性が殴られ、コンクリートに叩きつけられた

認知症を患っている 91 歳のアジア人女性が最近、47 番街のアウター サンセット地区でロメオ ロレンゾ パーハムに襲われました。伝えられるところによると、被害者はサンフランシスコの通りを歩いていたところ、容疑者に近づき、攻撃を受け、暴行を受けました。

ℝ

“And a river went out of Eden to water the garden, and from thence it was parted and became into four heads” Genesis 2:10. ? The heart is located in the middle of the thoracic cavity, pointing eastward.

メリック・ガーランドはアメリカに失敗しましたか?

バイデン大統領の任期の半分以上です。メリック・ガーランドは何を待っていますか?

メリック・ガーランドはアメリカに失敗しましたか?

人々にチャンスを与えることは、人生で少し遅すぎると私は信じています。寛大に。

Language