PowerShellを使用してBOMなしでUTF-8でファイルを書き込む

263
M. Dudley 2011-04-09 05:02.

Out-File UTF-8を使用するとBOMが強制されるようです。

$MyFile = Get-Content $MyPath
$MyFile | Out-File -Encoding "UTF8" $MyPath

PowerShellを使用してBOMなしでUTF-8でファイルを書き込むにはどうすればよいですか?

11 answers

234
M. Dudley 2011-04-09 05:02.

.NETのUTF8Encodingクラスを使用$Falseし、コンストラクターに渡すことは機能しているようです。

$MyRawString = Get-Content -Raw $MyPath $Utf8NoBomEncoding = New-Object System.Text.UTF8Encoding $False [System.IO.File]::WriteAllLines($MyPath, $MyRawString, $Utf8NoBomEncoding)
84
ForNeVeR 2015-10-06 05:03.

適切な今のような方法は、@Romanクズミンが推奨するソリューションを使用することであるコメントで@Mにします。ダドリーの答え:

[IO.File]::WriteAllLines($filename, $content)

(また、不要なSystem名前空間の説明を削除することで少し短縮しました。デフォルトで自動的に置き換えられます。)

56
Lenny 2016-12-02 14:26.

これはUTFではないと思いましたが、うまくいくように見える非常に単純な解決策を見つけました...

Get-Content path/to/file.ext | out-file -encoding ASCII targetFile.ext

私の場合、これにより、ソース形式に関係なく、bomファイルのないutf-8が生成されます。

43
mklement0 2016-01-24 11:44.

注:この回答WindowsPowerShellに適用されます。対照的に、クロスプラットフォームのPowerShell Coreエディション(v6 +)では、すべてのコマンドレットで、BOMのないUTF-8がデフォルトのエンコーディングです
つまりPowerShell [Core]バージョン6以降を使用している場合、デフォルトでBOMのないUTF-8ファイルを取得します(これは-Encoding utf8/-Encoding utf8NoBOMで明示的に要求することもできますが -BOMエンコーディングで取得することもできます-utf8BOM)。


M.ダドリー自身の単純で実用的な答え(およびForNeVeRのより簡潔な再定式化)を補完するために:

便宜上、これは高度な機能Out-FileUtf8NoBomであり、模倣するパイプラインベースの代替Out-File手段です。つまり、次のことを意味します。

  • Out-Fileパイプラインと同じように使用できます。
  • 文字列ではない入力オブジェクトは、と同じように、コンソールに送信した場合と同じようにフォーマットされますOut-File
  • 追加の-UseLFスイッチを使用すると、WindowsスタイルのCRLF改行をUnixスタイルのLFのみの改行に変換できます。

例:

(Get-Content $MyPath) | Out-FileUtf8NoBom $MyPath # Add -UseLF for Unix newlines

(Get-Content $MyPath)で囲まれ(...)ていることに注意してください。これにより、パイプラインを介して結果を送信する前に、ファイル全体が開かれ、完全に読み取られ、閉じられます。これは、同じファイルに書き戻す(その場で更新する)ために必要です。
ただし、一般的に、この手法は2つの理由からお勧めできません。(a)ファイル全体をメモリに収める必要があること、および(b)コマンドが中断されると、データが失われることです。

メモリ使用に関する注意:

  • M. Dudley自身の答えでは、最初にファイルの内容全体をメモリに構築する必要があります。これは、大きなファイルでは問題になる可能性があります。
  • 以下の関数はこれをわずかに改善します。すべての入力オブジェクトは最初にバッファリングされますが、それらの文字列表現が生成され、出力ファイルに1つずつ書き込まれます。

関数のソースコードOut-FileUtf8NoBom

注:この機能はMITライセンスの要点としても利用可能であり、今後も維持されます。

次のコマンドを使用し直接インストールできます(これは安全であると個人的に保証できますが、この方法で直接実行する前に、必ずスクリプトの内容を確認する必要があります)。

# Download and define the function.
irm https://gist.github.com/mklement0/8689b9b5123a9ba11df7214f82a673be/raw/Out-FileUtf8NoBom.ps1 | iex
function Out-FileUtf8NoBom {
<#
.SYNOPSIS
  Outputs to a UTF-8-encoded file *without a BOM* (byte-order mark).
.DESCRIPTION
  Mimics the most important aspects of Out-File:
    * Input objects are sent to Out-String first.
    * -Append allows you to append to an existing file, -NoClobber prevents
      overwriting of an existing file.
    * -Width allows you to specify the line width for the text representations
       of input objects that aren't strings.
  However, it is not a complete implementation of all Out-File parameters:
    * Only a literal output path is supported, and only as a parameter.
    * -Force is not supported.
    * Conversely, an extra -UseLF switch is supported for using LF-only newlines.
  Caveat: *All* pipeline input is buffered before writing output starts,
          but the string representations are generated and written to the target
          file one by one.
.NOTES
  The raison d'être for this advanced function is that Windows PowerShell
  lacks the ability to write UTF-8 files without a BOM: using -Encoding UTF8 
  invariably prepends a BOM.
  Copyright (c) 2017, 2020 Michael Klement <[email protected]> (http://same2u.net), 
  released under the [MIT license](https://spdx.org/licenses/MIT#licenseText).
#>

  [CmdletBinding()]
  param(
    [Parameter(Mandatory, Position=0)] [string] $LiteralPath,
    [switch] $Append, [switch] $NoClobber,
    [AllowNull()] [int] $Width, [switch] $UseLF,
    [Parameter(ValueFromPipeline)] $InputObject ) #requires -version 3 # Convert the input path to a full one, since .NET's working dir. usually # differs from PowerShell's. $dir = Split-Path -LiteralPath $LiteralPath if ($dir) { $dir = Convert-Path -ErrorAction Stop -LiteralPath $dir } else { $dir = $pwd.ProviderPath}
  $LiteralPath = [IO.Path]::Combine($dir, [IO.Path]::GetFileName($LiteralPath)) # If -NoClobber was specified, throw an exception if the target file already # exists. if ($NoClobber -and (Test-Path $LiteralPath)) { Throw [IO.IOException] "The file '$LiteralPath' already exists."
  }

  # Create a StreamWriter object.
  # Note that we take advantage of the fact that the StreamWriter class by default:
  # - uses UTF-8 encoding
  # - without a BOM.
  $sw = New-Object System.IO.StreamWriter $LiteralPath, $Append $htOutStringArgs = @{}
  if ($Width) { $htOutStringArgs += @{ Width = $Width } } # Note: By not using begin / process / end blocks, we're effectively running # in the end block, which means that all pipeline input has already # been collected in automatic variable $Input.
  #       We must use this approach, because using | Out-String individually
  #       in each iteration of a process block would format each input object
  #       with an indvidual header.
  try {
    $Input | Out-String -Stream @htOutStringArgs | % { if ($UseLf) {
        $sw.Write($_ + "`n") 
      }
      else {
        $sw.WriteLine($_) 
      }
    }
  } finally {
    $sw.Dispose()
  }

}
19
sc911 2019-03-10 02:59.

始まって、バージョン6 PowerShellのサポートUTF8NoBOMの両方をコードセット内容とアウトファイルもデフォルトエンコードとしてこれを使用しています。

したがって、上記の例では、単純に次のようになります。

$MyFile | Out-File -Encoding UTF8NoBOM $MyPath
17
Lucero 2018-04-24 07:48.

Set-Content代わりにを使用するOut-File場合は、エンコーディングを指定できますByte。これを使用して、バイト配列をファイルに書き込むことができます。これを、BOMを発行しないカスタムUTF8エンコーディングと組み合わせると、望ましい結果が得られます。

# This variable can be reused
$utf8 = New-Object System.Text.UTF8Encoding $false

$MyFile = Get-Content $MyPath -Raw
Set-Content -Value $utf8.GetBytes($MyFile) -Encoding Byte -Path $MyPath

使用[IO.File]::WriteAllLines()または同様のものとの違いは、実際のファイルパスだけでなく、あらゆるタイプのアイテムとパスで正常に機能することです。

5
jamhan 2013-05-01 19:22.

このスクリプトは、DIRECTORY1内のすべての.txtファイルをBOMなしのUTF-8に変換し、それらをDIRECTORY2に出力します。

foreach ($i in ls -name DIRECTORY1\*.txt) { $file_content = Get-Content "DIRECTORY1\$i"; [System.IO.File]::WriteAllLines("DIRECTORY2\$i", $file_content);
}
2
frank tan 2017-02-08 19:47.
    [System.IO.FileInfo] $file = Get-Item -Path $FilePath 
    $sequenceBOM = New-Object System.Byte[] 3 $reader = $file.OpenRead() $bytesRead = $reader.Read($sequenceBOM, 0, 3) 
    $reader.Dispose() #A UTF-8+BOM string will start with the three following bytes. Hex: 0xEF0xBB0xBF, Decimal: 239 187 191 if ($bytesRead -eq 3 -and $sequenceBOM[0] -eq 239 -and $sequenceBOM[1] -eq 187 -and $sequenceBOM[2] -eq 191) { $utf8NoBomEncoding = New-Object System.Text.UTF8Encoding($False) [System.IO.File]::WriteAllLines($FilePath, (Get-Content $FilePath), $utf8NoBomEncoding) 
        Write-Host "Remove UTF-8 BOM successfully" 
    } 
    Else 
    { 
        Write-Warning "Not UTF-8 BOM file" 
    }  

ソースPowerShellを使用してファイルからUTF8バイト順マーク(BOM)を削除する方法

2
SATO Yusuke 2017-05-25 03:35.

あなたが使用したい場合[System.IO.File]::WriteAllLines()、あなたは2番目のパラメータをキャストしなければならないString[](のタイプがいる場合$MyFileであるObject[])であり、また、絶対パスを指定する$ExecutionContext.SessionState.Path.GetUnresolvedProviderPathFromPSPath($MyPath)ように、:

$Utf8NoBomEncoding = New-Object System.Text.UTF8Encoding $False Get-ChildItem | ConvertTo-Csv | Set-Variable MyFile [System.IO.File]::WriteAllLines($ExecutionContext.SessionState.Path.GetUnresolvedProviderPathFromPSPath($MyPath), [String[]]$MyFile, $Utf8NoBomEncoding)

を使用する[System.IO.File]::WriteAllText()場合は、2番目のパラメーターをパイプして| Out-String |各行の末尾に明示的にCRLFを追加する必要がある場合があります(特にと一緒に使用する場合ConvertTo-Csv)。

$Utf8NoBomEncoding = New-Object System.Text.UTF8Encoding $False Get-ChildItem | ConvertTo-Csv | Out-String | Set-Variable tmp [System.IO.File]::WriteAllText("/absolute/path/to/foobar.csv", $tmp, $Utf8NoBomEncoding)

または、次のもの[Text.Encoding]::UTF8.GetBytes()と一緒に使用できますSet-Content -Encoding Byte

$Utf8NoBomEncoding = New-Object System.Text.UTF8Encoding $False Get-ChildItem | ConvertTo-Csv | Out-String | % { [Text.Encoding]::UTF8.GetBytes($_) } | Set-Content -Encoding Byte -Path "/absolute/path/to/foobar.csv"

参照:ConvertTo-Csvの結果をBOMなしでUTF-8のファイルに書き込む方法

1
Jaume Suñer Mut 2016-10-04 03:59.

複数のファイルを拡張子でBOMなしのUTF-8に変更します。

$Utf8NoBomEncoding = New-Object System.Text.UTF8Encoding($False)
foreach($i in ls -recurse -filter "*.java") { $MyFile = Get-Content $i.fullname [System.IO.File]::WriteAllLines($i.fullname, $MyFile, $Utf8NoBomEncoding)
}
0
Erik Anderson 2016-09-23 09:36.

私が利用する1つの手法は、Out-Fileコマンドレットを使用して出力をASCIIファイルにリダイレクトすることです。

たとえば、Oracleで実行する別のSQLスクリプトを作成するSQLスクリプトを実行することがよくあります。単純なリダイレクト( ">")を使用すると、出力はSQLPlusによって認識されないUTF-16になります。これを回避するには:

sqlplus -s / as sysdba "@create_sql_script.sql" |
Out-File -FilePath new_script.sql -Encoding ASCII -Force

生成されたスクリプトは、Unicodeの心配なしに別のSQLPlusセッションを介して実行できます。

sqlplus / as sysdba "@new_script.sql" |
tee new_script.log

Related questions

MORE COOL STUFF

「水曜日」シーズン1の中心には大きなミステリーがあります

「水曜日」シーズン1の中心には大きなミステリーがあります

Netflixの「水曜日」は、典型的な10代のドラマ以上のものであり、実際、シーズン1にはその中心に大きなミステリーがあります.

ボディーランゲージの専門家は、州訪問中にカミラ・パーカー・ボウルズが輝くことを可能にした微妙なケイト・ミドルトンの動きを指摘しています

ボディーランゲージの専門家は、州訪問中にカミラ・パーカー・ボウルズが輝くことを可能にした微妙なケイト・ミドルトンの動きを指摘しています

ケイト・ミドルトンは、州の夕食会と州の訪問中にカミラ・パーカー・ボウルズからスポットライトを奪いたくなかった、と専門家は言う.

一部のファンがハリー・スタイルズとオリビア・ワイルドの「非常に友好的な」休憩が永続的であることを望んでいる理由

一部のファンがハリー・スタイルズとオリビア・ワイルドの「非常に友好的な」休憩が永続的であることを望んでいる理由

一部のファンが、オリビア・ワイルドが彼女とハリー・スタイルズとの間の「難しい」が「非常に友好的」な分割を恒久的にすることを望んでいる理由を見つけてください.

エリザベス女王の死後、ケイト・ミドルトンはまだ「非常に困難な時期」を過ごしている、と王室の専門家が明らかにする 

エリザベス女王の死後、ケイト・ミドルトンはまだ「非常に困難な時期」を過ごしている、と王室の専門家が明らかにする&nbsp;

エリザベス女王の死後、ケイト・ミドルトンが舞台裏で「非常に困難な時期」を過ごしていたと伝えられている理由を調べてください.

セントヘレナのジェイコブのはしごを登るのは、気弱な人向けではありません

セントヘレナのジェイコブのはしごを登るのは、気弱な人向けではありません

セント ヘレナ島のジェイコブズ ラダーは 699 段の真っ直ぐ上る階段で、頂上に到達すると証明書が発行されるほどの難易度です。

The Secrets of Airline Travel Quiz

The Secrets of Airline Travel Quiz

Air travel is far more than getting from point A to point B safely. How much do you know about the million little details that go into flying on airplanes?

Where in the World Are You? Take our GeoGuesser Quiz

Where in the World Are You? Take our GeoGuesser Quiz

The world is a huge place, yet some GeoGuessr players know locations in mere seconds. Are you one of GeoGuessr's gifted elite? Take our quiz to find out!

バイオニック読書はあなたをより速く読むことができますか?

バイオニック読書はあなたをより速く読むことができますか?

BionicReadingアプリの人気が爆発的に高まっています。しかし、それは本当にあなたを速読術にすることができますか?

パンデミックは終わったかもしれないが、Covid-19 は終わっていない

パンデミックは終わったかもしれないが、Covid-19 は終わっていない

2021 年 6 月 8 日にニューヨーク市で開催された covid-19 パンデミックで亡くなった人々の命を偲び、祝うために、ネーミング ザ ロスト メモリアルズが主催するイベントと行進の最中に、グリーンウッド墓地の正門から記念碑がぶら下がっています。週末、ジョー・バイデン大統領は、covid-19 パンデミックの終息を宣言しました。これは、過去 2 年以上にわたり、公の場でそうするための長い列の中で最新のものです。

デビル・イン・オハイオの予告編は、エミリー・デシャネルもオハイオにいることを明らかにしています

デビル・イン・オハイオの予告編は、エミリー・デシャネルもオハイオにいることを明らかにしています

オハイオ州のエミリー・デシャネル みんな早く来て、ボーンズが帰ってきた!まあ、ショーボーンズではなく、彼女を演じた俳優. エミリー・デシャネルに最後に会ってからしばらく経ちました.Emily Deschanel は、長期にわたるプロシージャルな Bones の Temperance “Bones” Brennan としてよく知られています。

ドナルド・トランプはFBIのマー・ア・ラーゴ襲撃映像をリリースする予定ですか?

ドナルド・トランプはFBIのマー・ア・ラーゴ襲撃映像をリリースする予定ですか?

どうやら、ドナルド・トランプに近い人々は、今月初めにFBIによって家宅捜索された彼のMar-a-Lago財産からの映像を公開するよう彼に勧めています. 前大統領はテープを公開するかどうかを確認していませんが、息子はフォックス・ニュースにそうなるだろうと語った.

Andor は、他の Star Wars ショーから大きな距離を置きます。

Andor は、他の Star Wars ショーから大きな距離を置きます。

アンドールの一場面。数十年前、ジョージ・ルーカスがスター・ウォーズのテレビ番組を制作するのを妨げた主な理由は、お金でした。

ケイト・ミドルトンとウィリアム王子は、彼らが子供たちと行っているスパイをテーマにした活動を共有しています

ケイト・ミドルトンとウィリアム王子は、彼らが子供たちと行っているスパイをテーマにした活動を共有しています

ケイト・ミドルトンとウィリアム王子は、子供向けのパズルの本の序文を書き、ジョージ王子、シャーロット王女、ルイ王子と一緒にテキストを読むと述べた.

事故で押しつぶされたスイカは、動物を喜ばせ水分補給するために野生生物保護団体に寄付されました

事故で押しつぶされたスイカは、動物を喜ばせ水分補給するために野生生物保護団体に寄付されました

Yak's Produce は、数十個のつぶれたメロンを野生動物のリハビリ専門家であるレスリー グリーンと彼女のルイジアナ州の救助施設で暮らす 42 匹の動物に寄付しました。

デミ・ロヴァートは、新しいミュージシャンのボーイフレンドと「幸せで健康的な関係」にあります: ソース

デミ・ロヴァートは、新しいミュージシャンのボーイフレンドと「幸せで健康的な関係」にあります: ソース

8 枚目のスタジオ アルバムのリリースに向けて準備を進めているデミ ロヴァートは、「スーパー グレート ガイ」と付き合っている、と情報筋は PEOPLE に確認しています。

Plathville の Kim と Olivia Plath が数年ぶりに言葉を交わすことへようこそ

Plathville の Kim と Olivia Plath が数年ぶりに言葉を交わすことへようこそ

イーサン プラスの誕生日のお祝いは、TLC のウェルカム トゥ プラスビルのシーズン 4 のフィナーレで、戦争中の母親のキム プラスと妻のオリビア プラスを結びつけました。

仕事の生産性を高める 8 つのシンプルなホーム オフィスのセットアップのアイデア

仕事の生産性を高める 8 つのシンプルなホーム オフィスのセットアップのアイデア

ホームオフィスのセットアップ術を極めよう!AppExert の開発者は、家族全員が一緒にいる場合でも、在宅勤務の技術を習得しています。祖父や曽祖父が共同家族で暮らしていた頃の記憶がよみがえりました。

2022 年、私たちのデジタル ライフはどこで終わり、「リアル ライフ」はどこから始まるのでしょうか?

20 年前のタイムトラベラーでさえ、日常生活におけるデジタルおよびインターネットベースのサービスの重要性に驚くことでしょう。MySpace、eBay、Napster などのプラットフォームは、高速化に焦点を合わせた世界がどのようなものになるかを示してくれました。

ニューロマーケティングの秘密科学

ニューロマーケティングの秘密科学

マーケティング担当者が人間の欲望を操作するために使用する、最先端の (気味が悪いと言う人もいます) メソッドを探ります。カートをいっぱいにして 3 桁の領収書を持って店を出る前に、ほんの数点の商品を買いに行ったことはありませんか? あなたは一人じゃない。

地理情報システムの日: GIS 開発者として学ぶべき最高の技術スタック

地理情報システムの日: GIS 開発者として学ぶべき最高の技術スタック

私たちが住んでいる世界を確実に理解するには、データが必要です。ただし、空間参照がない場合、このデータは地理的コンテキストがないと役に立たなくなる可能性があります。

Language