ハロの外部記憶インターフェイス

そろそろ覚える努力が必要かも…

Image 関連メモ

Imageの変換

Imageからbyte[]への変換

ImageConverter imgconv = new ImageConverter();
byte[] b = (byte[])imgconv.ConvertTo(myThumbnail, typeof(byte[]));

byte[]へからImageへの変換

byte[] b ;
Image img;
using (var ms = new System.IO.MemoryStream(b)) {
    img = Image.FromStream(ms);
}

byte[]からBase64への変換

byte[] b ;
String base64 = Convert.ToBase64String(b);

サムネイル画像を生成する

// Callback指定、Delegateは使用できない模様
public bool ThumbnailCallback()
{
    return false;
}

public main() 
{
    Image img = new Image("c:\work\img1.jpg");

    Image.GetThumbnailImageAbort myCallback = new Image.GetThumbnailImageAbort(ThumbnailCallback);
    Image myThumbnail = img.GetThumbnailImage40, 40, myCallback, IntPtr.Zero);
}

イメージをWebページに表示する

public String ImageSrcBase64
{
    get
    {
        return Convert.ToBase64String(_b);
    }
}
<img src="data:image/jpeg;base64,<%=Html.DisplayFor(m => m.ImageSrcBase64) %>"

参考

https://docs.microsoft.com/ja-jp/dotnet/api/system.drawing.image.getthumbnailimage?view=dotnet-plat-ext-3.1

https://edge.sincar.jp/web/base64-inline-image/

Oracle公式ContainerでDockerイメージのダウンロード及び構築

OracleデーターベースをDockerで構築する

以前参考に構築したイメージがなくなり、新しく構築する必要ができたので、Oracleさんの公式Containerを利用してみました。

Oracle Container Registry

Oracle Container Registryから公式のDockerイメージをダウンロードすることが可能
ダウンロードにはサイトへのログインが必要なので、IDが無い場合は、登録が必要

f:id:haronoid:20200402133356p:plain
必要とするリポジトリを選択する。 f:id:haronoid:20200402133437p:plain

右側の欄に同意をしないと、ダウンロードできないので、ご注意
f:id:haronoid:20200402133737p:plain

最後に命令コマンドがあるのでこれを使います。
f:id:haronoid:20200402133555p:plain

イメージダウンロード

まず、コマンドラインからのログインが必要です。

docker login container-registry.oracle.com
# 手順1で登録したユーザ名とパスワードを入力
> Username: xxxxx@xxxxx
> Password: xxxxxx

ここから、Tagに有ったコマンドを実行、ダウンロードにかなり時間かかりました。

docker pull container-registry.oracle.com/database/standard:12.1.0.2

環境設定ファイル作成

common.env

TZ=Asia/Tokyo
DB_SID=ORCL
DB_PASSWD={password}
DB_DOMAIN=mylocaldomain
DB_BUNDLE=basic

コンテイナー作成

docker run -d --env-file ./common.env -p 1521:1521 -p 5500:5500 -it --name ora12c --shm-size="8g" container-registry.oracle.com/database/standard:12.1.0.2

実行はあっさり終わりましたが、ここからが時間かかりました。
Dockerログで最後のReadyまで表示されるまで待ちます。

User check : root.

Setup Oracle Database

Oracle Database 12.1.0.2 Setup

Thu Apr 2 10:28:32 JST 2020


Check parameters ......

log file is : /home/oracle/setup/log/paramChk.log

paramChk.sh is done at 0 sec

untar DB bits ......

log file is : /home/oracle/setup/log/untarDB.log

untarDB.sh is done at 276 sec

config DB ......

log file is : /home/oracle/setup/log/configDB.log

configDB.sh is done at 1334 sec

Done ! The database is ready for use .

接続情報について

接続には環境設定ファイルのDB_SIDとDB_DOMAINで決まります。
形式:{DB_SID}.{DB_DOMAIN}

Database=localhost:1521
SN=ORCL.mylocaldomain

SQLPLUS起動

docker exec -it ora12c bash -c "source /home/oracle/.bashrc; sqlplus /nolog" 

## sys ユーザ のパスワードは Oradoc_db1 で、 sysdba として接続します。
SQL> conn sys/{password}@ORCL.mylocaldomain as sysdba

DumpからDBを復元

インスタンスの中のDPDUMPフォルダーにDumpファイルをコピー

docker cp  /Downloads/MYDB.DMP ora12c:/u01/app/oracle/admin/ORCL/dpdump

コンテナに接続し、impを実行する。

docker exec -it ora12c bash
impdp system/{password} directory=DATA_PUMP_DIR dumpfile=MYDB.DMP log=expdp_MYDB.log

PASSWORDの期限を無期限にする

DEFAULTパスワード期限を無期限に設定する。

docker exec -it ora12c bash
sqlplus sys/{password} as sysdba

SQL> ALTER PROFILE DEFAULT LIMIT PASSWORD_LIFE_TIME UNLIMITED;

パスワード再設定

ALTER USER ユーザ名 IDENTIFIED BY 新パスワード;

ロックの解除

ALTER USER ユーザ名 ACCOUNT UNLOCK;

robocopyメモ

robocopy

使う機会がなかったが、今回、サーバー移行の案件が有ったため、使うことになった。
備忘録としてオプションなどをメモる。

オプション

  • /mir : コピー元と先を同期する。(元に削除されたら、先にも削除される)
  • /xo : 古いファイルをコピーしない
  • /r:n : コピーに失敗した場合の再トライ回数(規定値:1000,000)
  • /w:n : 再実行時の待機時間(規定値:30秒)
  • /b : バックアップモードコピー
  • /s : 空のフォルダーを除外
  • /e : 空のフォルダーを含む
  • /zb : 再起動可能モードを使用
  • /NP : No Progress 進捗率を非表示
  • /NFL : No FileList コピー成功ファイルを表示しない
  • /NDL : No DirectoryList コピー成功ファイルを表示しない

サンプル

run.bat

@@echo off

set source="c:\source"
set target="d:\target"

echo %date% %time% > robocopy.log

robocopy %source% %target% /MIR /R:1 /W:1 /NFL /NDL >> robocopy.log

echo %date% %time% >> robocopy.log

@@echo on

Java 7環境でのMavenのPluginがダウンロード失敗する

Java 7環境のMavenでダウンロードが行われない

環境を設定してもMavenの命令のダウンロード処理が失敗する事がある。

環境

現象

命令に対し、以下のように「Received fatal alert: protocol_version」になりダウンロードが失敗する。

C:\work\test>mvn archetype:generate
[INFO] Scanning for projects...
Downloading: https://repo.maven.apache.org/maven2/org/apache/maven/plugins/maven-archetype-plugin/maven-metadata.xml
[WARNING] Could not transfer metadata org.apache.maven.plugins:maven-archetype-plugin/maven-metadata.xml from/to central (https://repo.maven.apache.org/maven2): Received fatal alert: protocol_version

原因

参考サイトにあるようにレポジトリへの接続には「TLS」というプロトコルを使うらしく、2018/06/18 からはTLSv1.0, 1.1はサポート外になったらしい

解決

Java7はデフォルトでTLSv1.0で通信するらしい、幸いにJAVA7はv1.2もサポートしているらしく、MavenでTSLを指定して実行することが可能だった

mvn -Dhttps.protocols=TLSv1.2 archetype:generate
[INFO] Scanning for projects...
Downloading: https://repo.maven.apache.org/maven2/org/apache/maven/plugins/maven-archetype-plugin/maven-metadata.xml
Downloaded: https://repo.maven.apache.org/maven2/org/apache/maven/plugins/maven-archetype-plugin/maven-metadata.xml (918 B at 0.4 KB/sec)
Downloading: https://repo.maven.apache.org/maven2/org/apache/maven/plugins/maven-archetype-plugin/3.1.2/maven-archetype-plugin-3.1.2.pom
Downloaded: https://repo.maven.apache.org/maven2/org/apache/maven/plugins/maven-archetype-plugin/3.1.2/maven-archetype-plugin-3.1.2.pom (11 KB at 18.1 KB/sec)
...省略

自動化

少し探しづらいが、以下のファイルから一番長い行から、最後に「-Dhttps.protocols=TLSv1.2」をつけとけば常に適用される。 C:\apache-maven-3.3.9\bin\mvn.cmd

%MAVEN_JAVA_EXE% %JVM_CONFIG_MAVEN_PROPS% %MAVEN_OPTS% %MAVEN_DEBUG_OPTS% -classpath %CLASSWORLDS_JAR% "-Dclassworlds.conf=%M2_HOME%\bin\m2.conf" "-Dmaven.home=%M2_HOME%" "-Dmaven.multiModuleProjectDirectory=%MAVEN_PROJECTBASEDIR%" %CLASSWORLDS_LAUNCHER% %MAVEN_CMD_LINE_ARGS%

以下に修正

%MAVEN_JAVA_EXE% %JVM_CONFIG_MAVEN_PROPS% %MAVEN_OPTS% %MAVEN_DEBUG_OPTS% -classpath %CLASSWORLDS_JAR% "-Dclassworlds.conf=%M2_HOME%\bin\m2.conf" "-Dmaven.home=%M2_HOME%" "-Dmaven.multiModuleProjectDirectory=%MAVEN_PROJECTBASEDIR%" %CLASSWORLDS_LAUNCHER% %MAVEN_CMD_LINE_ARGS%-Dhttps.protocols=TLSv1.2

参考

このサイトがすごく役に立った。
Java7 環境で maven が失敗する (Received fatal alert: protocol_version) - Qiita

Ubuntu 18にJava開発環境構築

今回は仕事でJavaのソースを渡されていて、開発環境を構築してみることになったんで、手順をメモしてみる

JreJDKのインストール

Javaの開発なのでまずはJRE(Java Rutime Environment)とJDK(Java Development Kit)をインストールする。

※ 参考までにJreJdkの種類 - Oracle Jre/Jdk : 基本Oracleが提供する有料Javaの指す(月額3千円ぐらい) - Open Jre/Jdk : オープンソースJAVA(無料) 基本はOpenJre/Jdkを使う感じかな…

ローカルの最新Jreをインストールする場合、

$ sudo apt install default-jre 
$ sudo apt install openjdk-8-jre
$ sudo apt install openjdk-8-jre-headless
$ sudo apt install openjdk-11-jre
$ sudo apt install openjdk-11-jre-headless

GUIが不要な場合はheadless版にする

続けてJDKのインストール、バージョンを指定してインストールする。

$ sudo apt install default-jdk 
$ sudo apt install openjdk-8-jdk 
$ sudo apt install openjdk-8-jdk-headless 
$ sudo apt install openjdk-11-jre
$ sudo apt install openjdk-11-jre-headless

GUIが不要な場合はheadless版にする

インストールされたJavaのバージョンを確認

$ java -version

aptの中からインストール可能なバージョンを探すコマンド

$ sudo apt search openjdk-\(\.\)\+-jdk$
Sorting... Done
Full Text Search... Done
openjdk-11-jdk/bionic-updates,bionic-security 11.0.4+11-1ubuntu2~18.04.3 amd64
  OpenJDK Development Kit (JDK)

openjdk-8-jdk/bionic-updates,bionic-security 8u222-b10-1ubuntu1~18.04.1 amd64
  OpenJDK Development Kit (JDK)

結果として、openjdk-11-jdk,openjdk-8-jdkが検索されている。

Javaのバージョンを切り替える場合

「update-alternatives --config java」命令で使用するJavaJDKバージョンを切替可能

$ sudo update-alternatives --config java
There are 2 choices for the alternative java (providing /usr/bin/java).

  Selection    Path                                            Priority   Status
------------------------------------------------------------
* 0            /usr/lib/jvm/java-11-openjdk-amd64/bin/java      1111      auto mode
  1            /usr/lib/jvm/java-11-openjdk-amd64/bin/java      1111      manual mode
  2            /usr/lib/jvm/java-8-openjdk-amd64/jre/bin/java   1081      manual mode
  Press <enter> to keep the current choice[*], or type selection number: 

JAVA_HOME設定

上記からのJre PathをJAVA_HOMEに設定する。

$ export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
$ export PATH=${JAVA_HOME}/bin:${PATH}

自動化

.profileに設定を追加

export JAVA_HOME="/usr/lib/jvm/java-8-openjdk-amd64"
export PATH=${JAVA_HOME}/bin:${PATH}

Mavenのインストール

今回のソースはMavenでビルド管理しているみたいなので、Mavenもインストールします。

特定バージョンをダウンロードしてインストール

  • Maven 3.3.9をダウンロード ソースでは3.3.9が使われていたので、最新ではなく、古いバージョンんをダウンロードします。
$ cd /usr/local/lib/
$ sudo wget https://archive.apache.org/dist/maven/maven-3/3.3.9/binaries/apache-maven-3.3.9-bin.tar.gz
$ sudo tar -zxvf apache-maven-3.3.9-bin.tar.gz
$ sudo rm apache-maven-3.3.9-bin.tar.gz
  • 環境設定
$ export M2_HOME=/usr/local/lib/apache-maven-3.3.9
$ export PATH=${M2_HOME}/bin:${PATH}
  • 自動化
    .profileに設定を追加
$ export M2_HOME="/usr/local/lib/apache-maven-3.3.9"
$ export PATH=${M2_HOME}/bin:${PATH}

aptを利用したインストール

$ sudo apt policy maven
maven:
  Installed: (none)
  Candidate: 3.6.0-1~18.04.1
  Version table:
     3.6.0-1~18.04.1 500
        500 http://us.archive.ubuntu.com/ubuntu bionic-updates/universe amd64 Packages
        500 http://us.archive.ubuntu.com/ubuntu bionic-updates/universe i386 Packages
        500 http://security.ubuntu.com/ubuntu bionic-security/universe amd64 Packages
        500 http://security.ubuntu.com/ubuntu bionic-security/universe i386 Packages
     3.5.2-2 500
        500 http://us.archive.ubuntu.com/ubuntu bionic/universe amd64 Packages
        500 http://us.archive.ubuntu.com/ubuntu bionic/universe i386 Packages
  • すでにある場合は削除する
$ sudo apt remove maven
  • Mavenの最新版をインストール
$ sudo apt install maven
  • インストールされた場所
$ ls -lsa/usr/share/maven
$ ls -lsa/etc/maven

Mavenのバージョンを確認

$ mvn -v

Maven archetypeからプロジェクトを作成する

sourceフォルダーの直下に新しいプロジェクトを作成する場合

$ cd soruce
$ mvn archetype:generate

最初に必要なプロジェクトテンプレートをダウンロードする。
その後からはInteractiveに設定を進めればOK

  • 最終的に以下のフォルダー構成が生成される
source
  {artifactId}
    src
      main
        java
          {packageName}
    test
      ...
    pom.xml

{}の部分はプロジェクト生成時に入れた値

Maven コマンド

作成したプロジェクトルートから実行する

  • mvn compile : ソースをコンパイルする
  • mvn test-compile : テストコードをコンパイルする
  • mvn test : テストを実施
  • mvn clean : ソース以外のフォルダをクリアする
  • mvn package : コンパイル、テスト後、Jarファイルまで生成
  • mvn exec:java : pom.xmlにexec-maven-pluginを追加することで実行可能になる
<plugin>
    <groupId>org.codehaus.mojo</groupId>
    <artifactId>exec-maven-plugin</artifactId>
    <version>1.5.0</version>
    <configuration>
    <mainClass>{プロジェクトのスタートクラス}</mainClass>
    </configuration>
</plugin>

Eclipse インストール

  • Eclipse IDE Mars 2 Eclipse IDE for Java Developersをダウンロード ソースが古いため、旧バージョンのEclipseをダウンロードする。
$ wget https://www.eclipse.org/downloads/download.php?file=/technology/epp/downloads/release/mars/2/eclipse-java-mars-2-linux-gtk-x86_64.tar.gz

中の実行ファイルで起動できたので、とりあえずはここまで

CsvHelperで出力にダブルクォーテーションをつける

概要

CsvHelperでcsv出力でダブルクォーテーションを設定しようとして、かなり苦労したのでメモっておく
検索してみると「CsvWriter.Configuration.QuoteAllFields」をTrueにするSampleばかり出てきたけど、CsvHelper Ver12にはこのプロパティは存在しなかった。
プロパティで検索してみたら「Configuration.ShouldQuote」を使えと作者からの回答が見つかったため、解決した。

Configuration.ShouldQuote 使ってダブルクォーテーションを出力する

using (StreamWriter sw = new StreamWriter(File.Create(_outFilePath), utf8_Bom))
{
    using (var writer = new CsvHelper.CsvWriter(sw))
    {
        //writer.Configuration.QuoteAllFields = true;
        writer.Configuration.ShouldQuote = (field, context) => true;
        writer.WriteRecords<GeocodingOutput>(output);
    }
}

CustomConverterを使ってみる

ShouldQuoteでは全カラムに適用されるため、任意の項目にだけ適用する場合は、TypeConverterでMapしないと行けないらしい。
とりあえず、サンプルになりそうな部分だけメモ
ClassMapで各出力項目毎にConverterを指定して、出力内容をカスタムできる

public class CsvOutput
{
  public string a { get; set; }
  public string b { get; set; }
}

// ClassMap
public class CsvOutputMap : CsvHelper.Configuration.ClassMap<CsvOutput>
{
  public CsvOutputMap()
  {
    Map( x => x.a).TypeConverter(new CsvDoubleQuoteConverter);
    Map( x => x.b).TypeConverter(new CsvNonDoubleQuoteConverter);
  }
}

// Converter
public class CsvDoubleQuoteConverter : CsvHelper.TypeConversion.StringConverter
{
 public override string ConvertToString(object value, IWriterRow row, MemberMapData memberMapData)
 {
    row.Configuration.ShouldQuote = (field, context) => true;
    string ret = base.ConvertToString(value, row, memberMapData);
    row.Configuration.ShouldQuote = (field, context) => false;
   return ret;
 }
}
public class CsvNonDoubleQuoteConverter : CsvHelper.TypeConversion.StringConverter
{
 public override string ConvertToString(object value, IWriterRow row, MemberMapData memberMapData)
 {
    string ret = base.ConvertToString(value, row, memberMapData);
   return ret;
 }
}

using (StreamWriter sw = new StreamWriter(File.Create(_outFilePath), utf8_Bom))
{
    using (var writer = new CsvHelper.CsvWriter(sw))
    {
        writer.Configuration.RegisterClassMap(new CsvOutputMap());
        writer.WriteRecords<GeocodingOutput>(output);
    }
}

参考

https://github.com/JoshClose/CsvHelper/issues/1180 https://teratail.com/questions/97817

AppSettingから設定値を取得する

.Netの環境変数ファイル(*.config)から値を取得する方法について

以前のやり方が使えなくなったみたいなので、新しい方法をメモる
今はうまくいかない以下の方法

Configuration.ConfigurationManager.AppSettings("KEY")

.config

<configuration>
  <appSettings>
    <add key="KEY_ID1" value="abcd" />
    <add key="KEY_ID2" value="9999" />
  </appSettings>
</configuration>

System.Configuration.AppSettingsReader

System.Configuration.AppSettingsReader setting = new System.Configuration.AppSettingsReader();
var keyId1= setting.GetValue(KEY_CLIENT_ID, Type.GetType("System.String"));

うまく取得できたが、キーがなかったりすると、そのままエラーになるので、エラー処理が必要