PowerShell Core + イベント管理

これまで2002年より、Sakura-Conのゲストリレーションでスタッフをするにあたり、数々の技術を使用し、イベント計画などを立ててきました。過去には、Org-modeや小型のPythonスクリプトなどを使用してきましたが、今年は、PowerShell Coreを使用し、システムを構築しました。これまでに、PowerShellを使用して、多岐にわたるシステムを構築し、例えばカラオケ歌唱データの集計などがその一例で、他の領域での使用も検討していました。

目的

今回の目的としては、中核的なソリューションとして次を検討しました。

  • イベントスケジュールデータの集計と、可用性を高めたデータの作成。
  • カレンダーデータなどへの他の有用なデータ形式への変換の提供。

PowerShell Coreを選択した理由は以下のような理由からです。

  • LinuxとWindowsを使用している関係上、複数のプラットフォームで動作できる環境が重要でした。Androidで動けばなおプラスですが、この点に関してはUserLAndなどの環境を使用することで可能でした。(尚、Androidで使用する場合は、このようなキーボードの使用がおすすめです。
  • オフラインで使用可能なこと。イベント会場などではインターネット接続が劣悪になることがあり、インターネット接続なしでも使用できることが重要でした。

構成と内容

最初に作成したモジュールはスケジュールシステムより、データを取得するためのシステムでした。スケジュールシステムは、データを取得するためのAPIを持っておらず、この部分に関してはSeleniumを使用し、データを抽出しました。

Seleniumを使用したデータの抽出(守秘事項のため、使用しているソリューション名に関しては伏せてあります。)

Seleniumを使用してデータを取得するのには800件のエントリーで約30秒を要します。(実際に使用するデータはその8分の1程度。)SeleniumモジュールにおいてはUI上で必要な情報が存在している場所まで移動し、結果をDOMより抽出するようなものです。これはC#でプログラムしました。SeleniumはLinuxとWindowsでドライバが提供されているため、これはクロスプラットフォーム動作が可能です。(こちらは、Androidでは動きませんが、Androidで動作するドライバと対応するブラウザがあれば恐らく可能です。)

このシステムは以下のようなデータ構造を列として出力します。

   TypeName: SakuraCon.Relations.Data.Event
Name        MemberType     Definition
----        ----------     ----------
End Time    AliasProperty  End Time = EndTime
Event Title AliasProperty  Event Title = EventTitle
Start Time  AliasProperty  Start Time = StartTime
Equals      Method         bool Equals(System.Object obj)
GetHashCode Method         int GetHashCode()
GetType     Method         type GetType()
ToString    Method         string ToString()
EndTime     Property       datetime EndTime {get;set;}
EventId     Property       string EventId {get;set;}
EventTitle  Property       string EventTitle {get;set;}
Notes       Property       string Notes {get;set;}
Rating      Property       string Rating {get;set;}
StartTime   Property       datetime StartTime {get;set;}
Type        Property       string Type {get;set;}
Venue       Property       string Venue {get;set;}
Duration    ScriptProperty System.Object Duration {get=($this.EndTime - $this.StartTime);}

これに加え、以下のようなps1xmlを定義しました。

<Types>
    <Type>
        <Name>SakuraCon.Relations.Data.Event</Name>
        <Members>
            <MemberSet>
                <Name>PSStandardMembers</Name>
                <Members>
                    <PropertySet>
                        <Name>DefaultDisplayPropertySet</Name>
                        <ReferencedProperties>
                            <Name>Event Title</Name>
                            <Name>Venue</Name>
                            <Name>Type</Name>
                            <Name>Start Time</Name>
                            <Name>End Time</Name>
                            <Name>Duration</Name>
                            <Name>Notes</Name>
                        </ReferencedProperties>
                    </PropertySet>
                </Members>
            </MemberSet>
            <AliasProperty>
                <Name>Event Title</Name>
                <ReferencedMemberName>EventTitle</ReferencedMemberName>
            </AliasProperty>
            <AliasProperty>
                <Name>Start Time</Name>
                <ReferencedMemberName>StartTime</ReferencedMemberName>
            </AliasProperty>
            <AliasProperty>
                <Name>End Time</Name>
                <ReferencedMemberName>EndTime</ReferencedMemberName>
            </AliasProperty>
            <ScriptProperty>
                <Name>Duration</Name>
                <GetScriptBlock>($this.EndTime - $this.StartTime)</GetScriptBlock>
            </ScriptProperty>
        </Members>
    </Type>
</Types>

実際の運用では、このデータをClixmlとして出力し、後ほど読み込めるようにします。PowerShellではこれを可能にする便利なCmdletが用意されています。

$schedule | Export-Clixml schedule.xml

これを読み込むのも容易です。

$schedule = Import-Clixml schedule.xml

これにより、出力されたXMLは取得したデータのスナップショットになるので、オフラインでのアクセスが可能になります。

このデータをもとに、CSV (スケジュール情報等を集計するのに使用) する他、iCalendarなどのフォーマットを出力し、Google Calendarに入力することが可能になります。

このデータ構造により、Where-Objectを使用することにより、必要な情報を取り出すことができるようになります。例えば、「6C」で行われるイベントを知りたい場合は以下のようになります。

$schedule | ?{ $_.Venue -eq "6C" }

これに加え、以下のようなスクリプトを組み合わせました。

function Get-ScNextEvent {
    param(
        [parameter(Mandatory = $true, ValueFromPipeline = $true)]
        $Schedule,
        [parameter(Mandatory = $false)]
        [uint] $Hour = 1
    )
    $result = $Schedule | Where-Object { ($_.StartTime -ge [DateTime]::Now) -and ($_.EndTime -le [DateTime]::Now.AddHours($Hour))}

    return ($result | Sort-Object StartTime)
}

function Get-ScCurrentEvent {
    param(
        [parameter(Mandatory = $true, ValueFromPipeline = $true)]
        $Schedule
    )
    $result = $Schedule | Where-Object { ($_.StartTime -ge [DateTime]::Now) -and ($_.EndTime -le [DateTime]::Now)}

    return ($result | Sort-Object StartTime)
}

これにより、次のイベントや、現在進行中のイベントに関する情報を検索することができます。

他の分野でのPowerShell Coreの使用

PowerShell Core`はスケジュール管理以外の分野でも使用しました。他の部分で使用したのは定形文書を生成する管理システムです。ほとんどの定型文書はLaTeXソースとして生成されているため、コマンドラインより、パーソナライズされた情報を読み込む形式になっています。PowerShellはCSVをデータ構造に変換する仕組みを持っているため、必要な引数はCSVでまとめました。

Windowsでのコマンドラインの文字列の扱いには難があるため、これをWindowsで実行する場合にはWindows Subsystem for Linux (WSL)を使用する必要がありましたが、PowerShell CoreはLinuxでも動作するため、同じモジュールやスクリプトをそのまま使用することが可能でした。

これにより、20通を30秒程度で生成できます。

まとめ

PowerShell Coreにより、クロスプラットフォームな、一貫した環境をリレーション部内で使用する必要のある一部の情報の処理で使用しました。

今後はこのシステムを拡張し、スケジュールの競合探知、負荷確認や人員管理などにも適用できるようにしていく予定です。

ISRCの自己発行をできるようにしてみた

以前ASCAPに登録しましたが、久しぶりに楽曲を登録しようとしてみると、ISRCなる、前にはなかった項目が。日本語では国際標準レコーディングコードというようです。必須項目ではないので空でもいいのですが、そういえば、Google Play Musicにもそういう項目があったな、と。音楽に埋め込まれて録音を識別するためのコードのようです。前に、ASCAPに楽曲を登録するとISWC(国際標準音楽作品コード)が割り当てられていましたが、こちらは楽曲自体を識別するのに対し、ISRCは録音物を識別するコードということ。つまりリミックスなどは新しいコードになるようです。ISWCはASCAPが代理申請(というか、ASCAPで割り当てて、ISWCの団体に送っているようですが)をしてくれますが、ISRCは自分で入手する必要があるとのこと。

これも登録してみたくなったので調べてみました。この番号自体は、実は配信業者が無料で付与してくれる場合もあるみたいですが、自分の場合は、Google Play Musicしかやってなく、かつ、Googleはこれを付与してくれないので、どうやったらこの番号を入手できるのだろう、と調べてみると、再販業者を通すか、もしくは自分が自己的に割り当てる申請をすることでできるようです。ネットで売っている会社は1コードあたり10セントから2ドル程度と結構開きがあるようです。

自己発行するのにはどのようなプロセスになるか、調べてみました。すると、国によって対応機関があって、そこからレジストラ登録を受けた上で、発行できるようになるようです。ちなみに上記の再販業者も元は特殊なレジストラ登録を受けた上で発行できるようにしているみたいです。(違いは他人が録音権を持つ作品に対してコードを発行できるか、という点のようです。)

この関係をまとめると以下のような感じ。

それで、自己発行するのにはレジストラ割り当てを受ければいいとのことなので、米国はRIAAが窓口のようなので、調べてみました。米国の場合はusisrc.orgで登録ができるということです。登録プロセスを進めていくと、ISRCを付与したいものに対する権利を保持しているか、一年間に10万件以上の登録をするか、などいろいろと聞かれます。それに答えると、登録料95ドルを求められます。毎年95ドルかかるのか、と思ってよく見ると登録審査料で、それ以外に特にコストはかからないようです。ちょっと高い感じもしますが、一時金ということで割り当ててもらうことにしました。登録を完了すると1営業日後に連絡する、というメッセージが。

土曜日に登録したので、月曜日までかかるようです。

……と月曜日。朝確認すると確認が届いてました。ログインの方法に関しての案内がありました。夜、その方法でログインをしてみると、確かにコードが表示されています。(国コードがQZ、レジストラコードがCFFの割り当てでした。)さて、コードはどこで発行するのかな、と思ってサイトを見回って見てもない、と、ふと見るとコードは各自ガイドラインに基づいて発行して、自分で管理してね、というようなことが書かれています。つまり、勝手に発行して自分で発行済みのものはデータベース化してください、ということのようです。

ISRCのフォーマットは国コード、レジストラコード、年コード(年の下二桁……2100年以降はどうするんだろう)、5桁の数字(つまり、上記の一年間10万件以上登録するか、という設問はこのためのようです)というようになってて、5桁の数字はどんなものでもいいけど、重複だけはしてはいけない、というルールで、順番に連番で振っていくのをすすめる、とのガイドライン表記がありました。

最初に割り当てたのはPeacefulという曲(もうすぐ公開します)で、コードはこの法則に基づいて、QZCFF1800001ということになります。

ということで、運用上はかなり緩い感じがするISRC割り当ての話でした。

ちなみに登録期間は居住地に基づいてそれぞれの機関に申し込む必要があるそうで、日本では日本レコード協会登録業務を行っているようです。ちなみに日本はルールが違っていて、自己発行には年50曲以上の登録が必要な他、毎年10800円から21600円の事務手数料がかかる(その代わり、直接の再販も行っているようです)ようですので、ご興味のある方はサイトを確認してみてください。

PowerShell Core 6.0

PowerShell Core 6.0がリリースされました。ダウンロードはGitHubより各プラットフォーム用に公開されています。尚、インストールは全く別の場所に行われますので、既存のWindows PowerShellを残したまま行えるどころか、ZIPファイルでも提供されていますので、インストーラーを実行する必要でさえありません。)

PowerShell CoreはWindows PowerShellのオープンソース、クロスプラットフォーム版で、今後はWindows PowerShellの開発は5.1を最後のバージョンとし、メンテナンス程度になり、こちらの方に注力していくようです。

Windows PowerShellは.NET Frameworkベースになっていますが、PowerShell Coreは、.NET Core、正確には.NET Standardベースのものになっています。そのため、.NET Standardに準拠したライブラリなどは読み込める場合もありますが、Active Directoryなど、一部の機能は使用できませんので、そういった場合はWindows PowerShellと平行して使用することになるかと思います。

PowerShell Coreの何がいいのか?

特にLinuxやWindowsなど複数のプラットフォームを使用している場合において、同様の使用感、及び、スクリプト構文でCUIを利用することができます。尚、execなどの呼び出しに失敗し、挙動がおかしくなる場合があるので、Linux上でpwshに対してchshを行うのはおすすめできません。(目立ったところではSSHのスクリプト実行に失敗したり、Dropboxがゾンビ状態になったりします。)

.NET CoreのモジュールをCUIより呼び出すことが可能なので、例えば以下の要な構文が使えます。

(New-Guid).ToString().ToUpper()

この構文では、New-GuidはPowerShellのCmdletを使用していますが、これは[Guid]::NewGuid()とすることもでき、同じ形式の出力になります。

[Guid]::NewGuid().GetType() -eq (New-Guid).GetType()
True

実際はCmdletの実体は.NETのライブラリなので、内部的には同じような構造になっています。

Cmdletは例えば以下のような構成になっています。

using System.Management.Automation;

namespace cmdlettest
{
    [Cmdlet(VerbsCommon.Get, "Hello")]    
    public class TestModule : PSCmdlet
    {
        [Parameter(Position = 1)]
        public string Message { get; set; } = string.Empty;

        protected override void EndProcessing()
        {
            var output = "Hello World";
            if (Message != string.Empty)
                output += ", " + Message;
            WriteObject(output);
            base.EndProcessing();
        }
    }
}

これをコンパイルし、モジュールとして読み込むことで、Get-Helloのコマンドが使えるようになり、コマンドラインのパーシングなども自動で制御してくれます。もちろん一度コンパイルすると依存として読み込んでいる他のライブラリにプラットフォームの要件がない限りはPowerShell Coreを使用することのできる全ての環境で使用できます。

PowerShell Coreをダウンロードしたらまず行うべきこと

WindowsPSModulePathの導入

Windowsで使用している場合、以下のコマンドでWindowsPSModulePathを導入しておくと便利かも知れません。Windows PowerShellにより提供される一部のライブラリを使用できるようになります。

Install-Module WindowsPSModulePath -Force

ユーザーレベルで入れたい場合は以下のようにもできます。

Install-Module WindowsPSModulePath -CurrentUser -Force

その後、これは以下のコマンドで有効にできます。

Add-WindowsPSModulePath

尚、スタートアップファイルは$PROFILEですので、こちらに格納することによりPowerShell起動時に自動的に読み込まれます。

ヘルプファイルの更新

PowerShell Coreでは詳細なヘルプ情報を参照することができます。(UNIX系シェルでいうmanページのようなものです。)

これらのドキュメントは更新する必要があります。それを行うにはUpdate-Helpコマンドを使用します。このコマンドはAdministrator権限(Windows)、root権限(Linux等)で行う必要があります。(尚、Update-Helpが失敗する場合-Forceオプションをつけてやるとうまく行くかも知れません。)

どうしても更新が失敗する場合(UI Culture系の例外が発生する場合)それを無視する設定が必要になります。(日本語のヘルプはないので、英語のロケールを優先指定します。)

 -Force -ErrorAction SilentlyContinue -UICulture en-US, ja-JP

更新を行うと、例えばGet-Help Get-Processなどで参照できる他、Get-Process -?で行うこともできます。

最後に

PowerShell Coreがリリースされたことにより、Windows以外のプラットフォームでもPowerShellの利便性が享受できるようになります。スクリプトはプラットフォームを超えて動作する他、.NET Coreを使用して独自のCmdletを記述することができます。

スクリプト開発環境も整備されており、Visual Studio及び、Visual Studio Codeでスクリプトのデバッグができるようになっています。(Cmdletに関しても上記のように実体は.NETライブラリなので、.NET Core開発環境で開発可能。)

これまで特にWindowsとLinux間など共通のシェルスクリプト的な使い方ができなかったので、この点が便利です。(Windows上でUNIX系シェルを使用するにしても、WSLはほとんど別環境ですし、bashやCygwinなどもOSとしての作法が違うため、不便さがありました。)

NuGet経由で拡張が可能など、.NET Coreの機能が利用できるなど、便利な使い方ができそうです。

気になる歌の歌詞「0hzの恋人」

MOSAIC.WAVの歌で結構好きなのが「ギリギリ科学少女ふぉるしぃ」なのだが、それにカップリングされているのがこの「0hzの恋人」

いい歌なのだが、いつもこの歌詞の一節が気になって素直に聴けないのです。

君のリアクションはまだ 0Hz未満?だけど 私の胸のチャンネルは いつもいつも君を見てる

多分、この歌詞はリアクションが全然ない〜、ということが言いたいのだろうけど、ヘルツというのは振動数を示すわけで、つまり、1Hzだと一秒間に一回の振動があることになる。0Hzだと全く振動していないということで、「0Hz」という表現はまだ良いとする。ただいただけないのが「0Hz未満」という表現。

0Hz未満というのはありえない、というのも例えば、0.5Hzであれば、1Hzと比べると1/2Hzということで、1Hz未満という表現が使える。これを当てはめてで0Hzと比べても1/0Hzには0除算になってできないので、0Hz未満という表現はこの世に存在しない。

0より小さいとなると負数になるが、振動に負数は適用されないので意味がない。敢えて適用するとすると位相が反対の振動になるんだろうけど、その場合、今度は小さくなればなるほど大きくなってくるので0Hz未満〜ということを憂いているこの歌詞は成立しなくなる。

「ギリギリ科学少女ふぉるしぃ」が疑似科学をテーマにしているのでこれもそうなんだろう、と解釈すればそれでいいんだろうけど。

ReSharperが指摘してくれるコードスタイルのあれこれ

ReSharper(と同様のエンジンを内蔵しているRider)が指摘してくれるものにはいろいろな種類のものがあるのですがそのいくつかに関する考察。

Collection Initializerへの置き換え

次のようなコードがあったとします。

var list = new List();
list.Add(new Something() {unit = "One", value = 5});
list.Add(new Something() {unit = "Two", value = 6});

ReShaperは次のような置き換えを提案してきます。

var list = new List
{
    new Something() {unit = "One", value = 5},
    new Something() {unit = "Two", value = 6}
};

これは確かに冗長になりがちなのでシンプルな書き換えにするのにはいい方法。

Foreach文のLINQ式への置き換え

時々出てくるパターンとしてリストの中を辿りつつ内容に対して処理を行うパターン。foreachで辿るようなパターン、例えば次のようなパターンがあったとします。

foreach (var item in list)
{
     if (item.unit == "Two")
        result += item.value;
}

これは以下のように置き換えることを提案してきます。

var result = list.Where(item => item.unit == "Two").Sum(item => item.value);

処理が複雑になると可読性が失われたり、デバッグが複雑になったりすることがあるのでその点は注意です。

メソッドのstatic化

次のようなクラスがあったとします。

internal class Hoge
{
    private int _value;

    public int Foo(int v)
    {
        _value += v;
        return _value;
    }

    public int Bar(int v)
    {
        v -= 1;
        return v;
    }
}

ReSharperはこのうち、public int Bar(int v)をstatic化するように提案してきます。

internal class Hoge
{
    private int _value;

    public int Foo(int v)
    {
        _value += v;
        return _value;
    }

    public static int Bar(int v)
    {
        v -= 1;
        return v;
    }
}

これはインスタンス化を行うとその分、要求されるメモリが増えるので、必要がないものにおいてはVM内で共有したほうがいい、ということですね。

ただ、staticメソッドのインスタンス化はそのメンバを呼び出したタイミングで行われたり、ガーベジコレクションの挙動が普通とは異なってくるはず(というか、スコープから外れない場合は残存し続けるので、長期的に残り続ける挙動を示すはずです)のでその部分では注意が必要です。

JetBrains All Products Pack

最近JetBrainsのAll Products Packを購入したのでいろいろと。

まずはそれぞれのツールに関していろいろと書いてみる。

Rider

まずいちばん使っているのがこのRider。C#のIDEです。現段階で使っているのは.NET Core 2.0の機能を使いたいので、EAP版です。

ちなみにRiderはUnityと組み合わせ使うことも可能です。Linux版のUnity Editorと組み合わせて使用する場合に便利です。

機能面ではVisual StudioResharperを組み合わせたものに近いです。(Windows Formなどのビジュアルエディターはありませんが……。)

尚、Reshaperに関しても上位版であるResharper Ultimateが、All Products Packに含まれています。

プライベートではマルチプラットフォーム開発なので、あまり使う機会はなかったりしますが。(ただし、使う場合Visual Studio Communityでもちゃんと動作します。)

DataGrip

次によく使うのがDataGripです。DataGripはデータベース用のIDEです。

いろいろなデータベースをサポートしていて、SQL文を発行したり、内容を調べたりすることができます。

Gogland

GoglandはGoogleにより開発されている、Go用のIDEです。現在EAPで無料で使用できます。正式版では名前が変わるかも知れないようです。

IntelliJ IDEA Ultimate

IntelliJ IDEA UltimateJavaのIDEです。(正確にはJVMな言語は多くが対応しています。KotlinもJetBrainsが開発していますし、もちろん対応しています。)

尚、IntelliJ IDEA Ultimateにはオープンソース版のIntelliJ IDEA Communityも存在します。これ一本でJavaのアプリ、Androidのアプリなどを開発したりできます。プラグインを通してGoやPythonなどの他の言語も開発することができるようですが、挙動など言語特化のIDEがより言語に特化した動作をするようになっているようです。

個人的にはJavaはあまり使わないので、XSLTの編集などに使ったりする場合が多いです。

PyCharm Professional

PyCharm ProfessionalPythonのIDEです。。こちらもPyCharm Communityというオープンソース版の他、PyCharm Eduという教育目的に特化した特別版も存在します。

PhpStorm

PhpStormPHPのIDEです。あまり新規にPHPは少なくとも自分で書くことは少ないのですが、レガシーなコードはあるのでその保守に使用しています。

CLion

CLionはC/C++のIDEです。Linux上で時々C/C++を扱ったりするので、その場合に活用しているツールです。

RubyMine

RubyMineRubyのIDE。Rubyのコードは現在PHPよりも少ないのであまり出番はないですが……。

MPS

イマイチ使い方がよくわかっていないのが、このMPS。IDEというよりはメタ言語みたいなのですが……。

JetBrainsのAll Products Packは開発機材として個人的に買う場合は、そこまでは高くはないのですが(ビジネスとして買う場合はそれなりに高くなりますが……)それなりの額にはなりますが、今のところはその値打ちはあるように感じています。特に複数の言語を使う必要がある場合同じ使用感で複数の言語を扱えますので。

学校の先生にされたもっとも酷いことは?

Quoraで出ていた設問であなた、または他の人に対して先生がした最も酷い行為は?というものがあり、こちらに答えて見ることにしました。すごく変な年でした。

私の小学校の一年目はおかしな先生によって非常に酷い形になりました。(これは日本での出来事です。)細かいことでネチネチと注意を受け、例えば、鉛筆を一本だけでも忘れたとします。そのことを連絡帳経由で親に連絡されました。給食を食べるのが遅かったとします。そのことに関して連絡帳に書かれ、学校が終わり放課後になるまで給食もそのままで授業を受けることを強要されました。(この話、小学校一年生、6歳の頃であることに留意してください。)少しでもその先生の基準を逸脱するとそのことに関し、連絡帳に書かれ、それは当時最大1日4時間、毎週6日間続きました。(当時は土曜日は休みではありませんでした。)当時、学級の他の生徒は同じような被害をあっていなかったということで、今考えるとその先生によりいじめられていたことになります。

ストレスは蓄積し、やがて一ヶ月ほど宿題をするのを拒否したこともあり、それが発覚して叱られることがなければさらに続いていたかもしれません……もっともどちらにしても連絡帳で他のことについて書かれていたわけなので、あまり差はなかったわけですが。(どうやって一ヶ月も宿題をしていないことを隠し通せたのかはよく覚えていません。)

この先生による異常さは2年目に他の先生になった時に全く問題がなかったことを考えると際立っていたように思います……また3年目に同じ先生に当たり、また一年間、今度は更に長い時間の地獄に戻されたわけですが。(1年生は正午で校時が終わっていましたが、3年生はそれに加え1~2時間長くなっていて、そのため、毎日この先生と6時間顔を合わせることを強要されていたことになります。)その後、3年間は良い先生に当たったので幸い問題はありませんでした。

恐らく近年においては先生によるこのような行為は先生の資質に関して大きな疑問を投げかけることになるのでしょうが、恐らく当時先生はこのような問題を訴えたところで無視される程度の信頼があったのではないかと思います。(また、自分の若さゆえの無知によるものもあると思います、本当に若かったですので。)このため、当時の学校の思い出が最悪だったとは言いませんが、1年目と3年目は非常に辛かったのを覚えています。

結論ですが、先生は お願いですから生徒をいじめるのをやめてください。最悪なので。

実行時間が短いWindowsサービスの問題について

One-shotなサービスで持続時間が短いとWindowsのサービスはエラーが起きたものとして処理する場合があるらしい。

エレガントではない方法としてはThread.Sleep()で少し遅延させてやるようなのがいいかも知れない。(C#の場合。)

%d人のブロガーが「いいね」をつけました。