2018.12.30

Supermicro SYS-8048B-TR3F(前編)

Written by かたあま☆彡  


はじめに

 前回の SV Magazine の最後で予告をしましたが、今回は前回と同じ Supermicro 製の LGA2011 の4ソケット機となる SYS-8048B-TR3F(以下、8048B-TR3F)を取り上げます。

 我が家に初の LGA2011 の4ソケット機となる SYS-4048B-TRFT がやって来て、限りなく Intel Xeon E7 v4 に近いCPUを搭載し、どうにか一定レベルで動かせるようになったまではよかったのですが・・・人間とはつくづく欲の深い生き物で、家庭用として使用する際にはいくつか問題点があることがわかってきました。

 具体的には、

 というところが中でも大きな問題となりました。

 4048B-TRFT はハードディスクも最初から2.5インチのHDD(あるいはSSD)が搭載できるのは助かるのですが、最大で48台も搭載できるというのは「さすがに多すぎ」で、バックプレーンとSASのディスクアレイカードとエクスパンダ、そして何よりも予算の面からかなりのマイナスポイントといえます。

 そして「48台もHDDを搭載できなくていいから、5インチベイが2つくらい用意されていればなぁ・・・かといって上の段のHDDベイの部分を物理改造するのも面倒だしなぁ・・・」と悶々とする日々が増えてきました。

 そんな折に、またしても eBay にてこれらの不満を解消できそうな本体が出品されているのを発見しました。


これなら家庭での用途に耐えられそうな筐体である


確かに LGA2011 の4ソケット機らしい


ソケットの状態が心配なので拡大して見てみると・・・


なにやらピンが曲がっている箇所があるように見える

 ソケットのピンが曲がっているように見えるところがあるものの、光線の関係でそのように見える場合があること、さらにはめぼしい本体が他に存在していなかったことから、この個体を入手することとしました。

 なお、記載されている内容については、私は一切保証しませんし、それに伴って発生した如何なる事故にも責任は負いませんので、あらかじめ御了承ください。


SYS-8048B-TR3F とは

 Supermicro SYS-8048B-TR3F は、Ivy BridgeアーキテクチャのCPUである、Intel Xeon E7 v2 プロセッサを搭載する4Uサーバとして、前回の SV Magazine で取り上げた Supermicro SYS-4048B-TRFT(以下、4048B-TRFT) と同時期の2014年2月から販売が開始されました。

 当初は Intel Xeon E7 v2 プロセッサのみに対応していましたが、現在では Intel Xeon E7 v4 プロセッサと DDR4 メモリの組み合わせにも対応したモデルも用意されています。
 ただし、SYS-4048B-TRFT ではメモリライザーの変更で DDR4 メモリへの対応を行うことができますが、本機はマザーボードごと交換しないと DDR4 への対応ができない仕様になっています。


Supermicro SYS-8048B-TR3F

 SYS-8048B-TR3F の初期モデルの主な特徴は、

 といったところで、4048B-TRFT はデータセンター用・8048B-TR3F はワークステーション用というような用途の区分が感じられます。
 詳しい仕様については下記の表をご覧下さい。

機種名 SYS-8048B-TR3F
販売名 SuperServer 8048B-TR3F
CPU Intel Xeon v2 プロセッサー(最大4個)
メモリバス 1600MHz
QuickPath Interconnect(QPI) 6.40GT/s〜8.00GT/s(搭載するCPUにより異なる)
Intel Turbo Boost Technology 対応(Xeon E7-4809 v2を除く)
Intel Hyper-Threading Technology 対応(Xeon E7-8857 v2を除く)
Intel Virtualization Technology 対応
チップセット Intel C602J(Patsburg)チップセット
メインメモリ PC3-12800レジスタ付きECC DDR3 SDRAM
画面制御機能 ASPEED AS2400(リモートマネジメントコントローラ内蔵)
グラフィック表示機能 1920×1200(最大)
内蔵2.5インチハードディスクベイ なし
内蔵3.5インチハードディスクベイ 5(ホットプラグ対応)
内蔵5インチベイ
内蔵光学ドライブ なし
拡張バススロット
PCI Express 3.0 (x16レーン) [x16スロット]×2
PCI Express 3.0 ( x8レーン) [ x8スロット]×2
ディスクアレイ オプション
SASインターフェース なし
SATAインターフェース SATA3 (6.0Gbps)×2
SATA2 (3.0Gbps)×4
ネットワークインターフェース 2ポート(1000BASE-T/100BASE-TX/10BASE-T 択一)
インターフェース ディスプレイ(アナログRGB)×1、
シリアルポート(D-SUB9ピン)、キーボード(USB)、マウス(USB)、
USB(Ver.2.0)×6[前面:2・背面:3・内蔵:1]
リモートサービス機能 標準搭載
専用 LAN 1ポート(100BASE-TX/10BASE-T)
セキュリティチップ 標準搭載(TCG 1.2準拠)
冗長電源 標準搭載:2
冗長ファン 中央:3個・後部:3個(ホットプラグ対応)
外形寸法 178mm(4U)×462mm×721mm(高さ×幅×奥行)
重量 29.7kg


開梱と消毒

 前回と同じくらいの本体サイズということはわかっていたので、かなりの大きさのダンボールであることは覚悟していましたが、玄関に運び込んでみると「やはり、えらいことになったな」という感が拭えません。


今回は縦にして置いてみたが大きいのは変わらず


開梱してみると比較的破損が無い状態で到着していたのだが・・・

 しかし、ダンボールを開けたとたんに、周囲に悪臭が漂い始めました。
 具体的には、動物園のラクダやゾウ、ヤギの近くなどで感じる、なんとも言えない獣の臭気(※あえて詳細の記載を避けます)が本体から発せられていました。

 中古で引っ張ってきたパソコンやサーバにおいて、それまでの利用環境の影響でタバコ臭がするということはあっても、今回のような獣の糞の臭いがするサーバというのは、およそ遭遇したことがありません。

 おそるおそる筐体の蓋を開けてみると、内部の各所に汚れが散見されるとともに、泥や埃のような汚れをはじめとして、全体から強い悪臭が出ていることが判明したのです。


細かい泥のような汚れから悪臭が立ちのぼってくる


マザーボードのヒートシンクには動物の毛のようなものが付着していた

 ここまでの想定外の展開で、自分の中で過去最大級の緊急警報が発令されました。

 付着している毛や悪臭などからすると、この本体は通常の環境で使われていなかった可能性が高いと考えられ、海の向こうから送られてきていることと合わせて考えると「養豚場のような場所で使われていたのではないか」という仮説を立てました。

 だとすれば、稼動させた際の本体からの排気に含まれる雑菌が人体や家屋に及ぼす影響などを考えると、このままの状態ではとても使うことはできないため、殺菌および洗浄を行うことが不可欠となりました。
 また、実情がどうなっているか微妙だったCPUのソケットについても確認したところ、複数のピンが曲がっていることが確認されました。


やはりCPUソケットのピンは曲がっていた

 CPUソケットのピンが曲がっているのを確認すると同時に、ヒートシンクに付着していたのと同じ毛がCPUソケットのピンに巻き込まれていることが確認され、どうやらこの毛に引っかかったピンがCPU脱着時に引っ張られて曲がっているようだ、ということもわかり、悪臭問題ともあいまって暗澹たる心境になったのでした。

 とはいえ、この本体を廃棄するにしても悪臭がする状態で持ち運ぶことも憚られるため、洗浄と殺菌作業を行うこととしました。

 一般的に古いパソコンに電源を入れる前には電解コンデンサから漏れた液によるリークを避けるため、いったん水で丸洗いをするという手法があるので、除菌を謳っている液体石鹸を利用してマザーボード・筐体・各種の部品を分解して風呂場で洗浄を実施のうえ、日光による紫外線消毒なども行いました。

 しかし、悪臭は一向に取れる気配を見せなかったため、養豚場や養鶏場での消毒がどのように行われているかなどを調査したところ、塩素を使用する方法が行われていることを確認したので、比較的入手しやすい二酸化塩素の液体スプレーを使用して消毒作業を行うこととしました。


二酸化塩素による部品の消毒として大幸薬品のクレベリンスプレーを多量に使用


室内の空気の消毒には大幸薬品のクレベリンゲルを使用


電源ユニットのヒートシンクには動物の毛が・・・


電源ユニットのファンも悪臭のする獣毛で目詰まりしているので廃棄


ダンボールを下に敷いて液体が滴るくらいに二酸化塩素スプレー噴霧を実施


本体内部ファン固定金具・電源ユニット・電源ケーブルカバー・ハードディスクのマウンタ


各種内部ケーブル類・電源バックプレート・電源ユニットのフレーム・フロントパネル


前面LED/USBボード・3.5インチハードディスクケージ・5インチベイ金具


本体前面のUSBコネクタもこの通りなので消毒のうえ・・・


ハンダ吸い取り機にてコネクタを撤去して


新しいUSBコネクタをハンダ付け

 本体のフレームについては、二酸化塩素の液体をできる限り噴霧して、滴った液体が本体の下部に溜まった状態(※本体を傾けると二酸化塩素の水溶液が流れ出てくる状態)で1週間ほど放置してから、あらためて二酸化塩素を噴霧した他の部品とあわせて洗浄処理を行い、さらに2か月ほど乾燥させました。

 水洗いを実施した後の乾燥に掛ける時間は、通常は2週間〜1か月程度で大丈夫なのですが、eBayの商品のタイトルに書かれていた GOOD COND というのは全くの虚偽であったという精神的なダメージが大きく、しばらく立ち直れずに放置していたというのが実際のところです。

 なお、二酸化塩素を使用すると鉄板表面に施されている亜鉛メッキが腐食して白錆になってしまうという問題がありますが、衛生面の問題解決の方がよっぽど重要なので、他に選択の余地はありませんでした。


二酸化塩素によって各所に白錆が発生するがやむを得ない


マザーボード固定用のスペーサーの位置がわかるようにテープを貼っている


二酸化塩素によって腐食してしまったスペーサーは新しいものに交換

 これだけの処置を行っても、電源ユニットや各部のファンに加えて一部の内部ケーブルについては悪臭が除去できなかったため、残念ながら廃棄することとなりました。


CPUソケットの異物除去とピン曲がりの修正

 悪臭の問題が一段落したので、続いて4つのCPUソケットのピン曲がりの修正を行うこととしました。
 曲がっているピン数が多いことに加えて細いので肉眼での作業には限界があるため、拡大用のスコープを調達しました。

 ・・・が、スコープで覗き込んでみると、ピン曲がりよりも衝撃的なものが視界に入ってきました。


肉眼では無理と判断してスコープを調達


ピンに獣の毛が何本も絡み付いている・・・


絡み付いている毛によってピン曲がりが発生しているようだ

 とはいえスコープの威力は絶大で、絶望的な状態だったCPUのソケットは異物の除去とピン曲がりの修正によって、それなりに正視できる状態になりました。


ソケットからのピンの立ち上がり角度までは調整しきれていないものの・・・


反対側の角度から見るとピン曲がりはそれなりに修正されたように見える


悲劇が繰り返されないようにCPUソケットにカバーを取り付け

 というワケで、これでようやく従来の SV Magazine のスタートラインに立てたことになります・・・。


ハードウェアの構成

 それでは、8048B-TR3Fがどのようなハードウェア構成になっているかを見ていきたいと思います。
 本機は今までに取り上げてきたメーカー製のサーバとは異なり、自作機に近い雰囲気を持っているのが特徴です。

(1)8048B-TR3Fの前面
 前面には電源ユニット、3.5インチのハードディスクを5台できるケージと、5インチベイが3個、そして電源スイッチとUSBポート・インフォメーションLEDなどがあります。


Supermicro SYS-8048B-TR3F 前面


電源ユニット・3.5インチドライブベイ


電源スイッチ・各種インジケータLED・USBポート・5インチベイ


電源ユニットは冗長構成で3台まで搭載可能


各種インジケータLEDは大きく視認しやすい


型番と注意事項が記載されたシールは側面に貼られている


本機のシャシー型番は CSE-748 となっている

(2)8048B-TR3Fの背面
 本体の背面には

 がそれぞれ用意されています。


Supermicro SYS-8048B-TR3F 背面


排気ファン・1GbE LANコネクタ・シリアルポート・RGBコネクタ・IPMI用LANコネクタ・USB 2.0コネクタ


PCI Express スロット(右側4つ)・電源コネクタ


排気ファンは他の Supermicro のものと同じ形状である


排気ファンを取り外すと本体の内部が見えるようになる


この本体も組み立てはアメリカで行われているようだ

(3)内部全景
 天板を開ける機構は古のフルタワー自作機などと同様に、天板を固定している本体背面のビスを2本はずしてスライドさせる方式になっています。


トップカバーは背面のビスを2本はずして後部に向けてスライドさせる


8048B-TR3Fの内部全景


トップカバー裏には何も書かれていない

(4)電源ユニット
 電源ユニットは、本来であれば PWS-1K43F(1400W)の 80PLUS Platinum の認証を受けたものが使われていますが、前述のとおり廃棄せざるを得ない状況だったため、代替品として暫定運用できるように、PWS-1K01-1R(1000W)を海の向こうから調達しました。

 この電源は100V・200Vのどちらにも対応できる電源で、本機には標準で2台・最大で3台が搭載可能となっており、障害発生時にはホットスワップが可能になっています。

 なお、この 8048B-TR3F も 4048B-TRTF と同系統の本体のため、本体の電源が入っていない状態でも、電源ユニットに電気ケーブルが接続されているとファンが回転するため、家庭で使用する場合には就寝の妨げになる可能性があります。


ホットスワップ可能な電源ユニットとしては一般的な奥行きで収まっている


型番は PWS-1K01-1R となっている


Supermicro の型番が書かれたラベルが貼られているが製造元は ABLECOM である


排熱用のファンが搭載されている


本体への接続コネクタ部は大手メーカーのサーバと同じようなコネクタになっている

 また、Supermicro 製の電源ユニットについてはモデル間で互換性があるため、今回のように同寸法(298mm×104.5mm×40.4mm)でワット数の少ないユニットでも使用できますが、電力効率などの問題を考えると、適切なものを利用することが望ましいでしょう。


当初に搭載されていた電源は PWS-1K43F だったが健康被害を避けるために廃棄

(5)中央ファン
 本体中央部にはメモリおよびCPUを冷却するため、山洋電気製の 9GA0912P1H041 という1分間の回転数が9,700回転の92mmのファンが3つ搭載されており、他の Supermicro で採用されているファンと同様のブラケットが取り付けられています。

 PWMによって回転数の制御が行われているため、電源投入直後はそれなりに穏やかな回転数ですが、電源ユニットの不良などの障害が発生すると全力で回転するため、非常に大きな騒音が発生します。
 これらのファンに障害が発生した際には、ホットスワップが可能になっていますが、その場合は本体のトップカバーを開けて交換することになります。


やや大きめの92mmのファンが中央部に3個実装されている


毎分9,700回転の SanAce 9GA0912P1H041 が使用されている


ホットスワップが可能なコネクタが本体側に用意されている


ファンを取り外すとSASバックプレーンへの配線が見える


ファンを固定する金属製の枠には「PUSH RELEASE」と書かれた樹脂製ラッチがあるが用途は不明

(6)3.5インチハードディスクドライブ
 本機のハードディスクインターフェースは、SASまたはSATAの3.5インチのハードディスクあるいは2.5インチ→3.5インチへの変換マウンタ経由でSSDを5台まで内蔵することができ、障害発生時にはホットスワップによる交換が可能となっています。


3.5インチサイズのディスクを最大で5台まで実装可能になっている


使用するマウンタは他の Supermicro の機種と同じである


ハードディスクケージには温度とファンの異常を知らせるLEDが搭載されている

 本機は標準でディスクアレイカードやSASコントローラが搭載されていないため、初期状態では本体の SATA ポートからバックプレーンに配線が接続された状態になっていました・・・が、このSATAケーブルも獣臭に蝕まれていたため、廃棄して新しく調達したものを使用しています。

(7)CPU・ヒートシンク
 8048B-TR3Fの初期モデルには、CPUとして Intel Xeon E7 v2 プロセッサが最大で4基まで搭載できるようになっていましたが、Intel Xeon E7 v3 や Intel Xeon E7 v4 が出たことにより、現状で販売されているのは Intel Xeon E7 v3/v4 に対応したモデルとなっています。

 今回入手した個体は PCI Express スロットの脇に比較的最近出荷されたことを示すシールが貼られていて、BIOSが E7 v2 用と E7 v3 および E7 v4 用で異なることから、まず Intel Xeon E7 v2 は利用できないと思われる状態でした。

 現状で Intel Xeon E7 v2 プロセッサで構成したい場合には、BIOSのバージョンをダウングレードして v2 用のものにする必要があると思われます。


2016年10月19日に製造されたマザーボードらしい


リビジョンも 2.02 まで上がっている


今回のソケットには PRE-PRODUCTION PROTOTYPE の記載はなかった


4つのソケットが並ぶ見慣れた光景だがピン曲がりの影響を考えると頭が痛い

 今回は最初から Intel Xeon E7 v2 は使用できない可能性が濃厚だったので、最初から Intel Xeon E7 v4 のES品である QHZJ を4個実装しました。


動かない可能性をひしひしと感じながら4つのソケットにCPUを搭載してみた


搭載したCPUは INTEL CONFIDENTIAL QHZJ 1.90 である


CPUの冷却に使用するヒートシンクは Narrow ILM 用の SNK-P0048PS となる


ヒートシンクを各CPUに搭載した

(8)メモリスロット
 本機には最大で32本のDIMMを搭載することが出来ますが、4048B-TRFTとは異なりマザーボードに直付けになっています。そのため、CPUとしては DDR4 に対応したものを使うことも可能ですが、その場合には最初から DDR4 に対応したモデルを購入する必要があります。


CPUソケットの近傍にメモリスロットが配置される


DIMMスロットを特定できるようにシルク印刷がある


メモリコントローラである Jordan Creek II にはヒートシンクが取り付けられる


メモリ用のVRMにもヒートシンクが取り付けられている


DIMMは前回に引き続き SAMSUNG製の 16GB である M393B2K70CM0-YF8 を使用した

 さて、この機種のマザーボードレイアウトと実際に筐体に組み込まれた状態を最初に見たときに、不安を覚えるところがありました。

 それは「一部のDIMMスロットは物理的にフレームに干渉するから、ラッチを開けないんじゃないのか?」「ということは、まさかDIMMの増設・交換に本体内蔵のファンの取り外しが発生するのか?」という懸念でした。


DIMMのスロットが本体フレームのすぐ近くでラッチが広げられるようには見えない


他にもDIMMのラッチが開けないように思える場所が複数存在する


背面パネル側とてラッチが開けなさそうなのは例外ではない

 このような部分のDIMMスロットでは片方のラッチを開くことができないため、DIMMの実装の際には片方のラッチのみを開いて、ラッチの開かない側にDIMMを滑り込ませてから、ラッチを閉じるといった手法で実装します。


開かないほうのラッチにDIMMの端を滑り込ませる手法を使う


背面パネル側も同様の方法を駆使することでDIMMを問題なく実装可能

(9)チップセットとPOSTコードLED
 8048B-TR3FはチップセットとしてIntel C602J(Patsburg)がマザーボード上に実装されており、前世代の Intel 7500 チップセットの時に見られたような IOH は廃止されています。


Intel C602J(Patsburg)チップセット

 また、4048B-TRFT には存在していたPOSTの進行状況をコード番号で表示するLEDが本機には存在しないことから、求められている稼動時の厳格性の違いを感じ取れます。

(10)ディスプレイコントローラとネットワークコントローラ
 本機はマザーボード1枚の上に全てのインターフェースおよびコントローラチップが搭載されています。
 ディスプレイコントローラは管理コントローラである ASPEED 社の AST2400 に内包されています。

 ネットワークコントローラとして、8048-TR3Fには 1GbE が搭載されていますが、10GbEを搭載した 8048B-C0R3FT というモデルも存在しています。
 なお、リモート管理用のネットワークポートも存在しますが、こちらはディスプレイコントローラでもある ASPEED AST2400 に接続されています。


画面表示とリモート管理機能を担う ASPEED AST2400 とグラフィックメモリ W631GG6KB(128MB)


1GbEのネットワークコントローラ Intel i350 にはヒートシンクが取り付けられている


管理コントローラ・グラフィックメモリ・ネットワークコントローラがまとまって配置されている

(11)PCI Expressスロット
 8048B-TR3Fには全部で4本のPCI Expressスロットが用意され、PCI Express は 3.0(Gen3) がサポートされています。
 それぞれ、

 という状況になっていますが、この接続状況からすると、グラフィックカードを増設する際に問題が出るような気がします(汗


全部で4本のPCI Expressスロットが用意され PCI Express x8 スロットはエッジフリーになっている


拡張カードの固定はラッチのみで行えるが滑り止めがないのでネジ止めをしたほうが安心

(12)その他のマザーボード上のインターフェース
 8048B-TR3FのマザーボードにはSATAインターフェースに加えて、内部接続用のUSBポートも用意されています。
 また、本機のCMOSクリアは一般的なジャンパではなく、マイナスドライバーなどを使って短絡するパッド方式となっています。


オンボードでSATAインターフェースが6つ搭載されている


内部の電源ケーブルは一部を加工してグラフィックカード用の6ピン補助電源を作成


この機種もCMOSクリアはパッド方式が採用されている


搭載されているのは AMI BIOS である


プログラマブルI/O Lattice LCMXO1200C-4FTN256C


オンボードで搭載されているUSBコネクタ


PCI Express Gen 2/3 & QPIクロックジェネレータ IDT ICS932SQ420DGLF


電源投入、そして・・・

 起動に必要と思われる最小限のメモリ枚数に留めた状態で、重い腰を上げて電源を投入したところ、Supermicro のロゴが表示されてPOSTが粛々と進行し、なんとかBIOSセットアップメニューまでたどり着きました。


電源投入直後には Supermicro のロゴと見慣れたCPUソケットの表示が・・・


とりあえずBIOSセットアップメニューに入ることはできた


搭載したCPUも全て認識されているが・・・・稼動時にピン曲がりの影響が出ないことを祈るのみ


参考文献


おわりに

 本機は極めて劣悪な状態でこちらの手元に入ってきたため、いろいろな処置は行ってみたものの、この冬コミの3日前までは電源を入れる気に全くなれませんでした。

 夏コミが終了した直後に「電源が入らない」とか「画面が表示されない」とか「POSTが途中で止まる」ことが判明したら、そこから先の数か月は無気力状態になってしまうことは間違いなかったこともあり、こうして BIOS セットアップメニューまで到達できたのは、非常に運が良かったと思われます。

 とはいえ、現時点では「電源が入っただけ」に近い状態でしかないため、次回の夏コミに出る予定の SV Magazine Release 40 では、拡張機器の搭載レポートやOSの稼動実験を行う予定です。どうぞご期待ください。


連絡先

 本稿に対してご質問があれば、 kataama@fides.dti.ne.jp にメールを送っていただければ幸いです。

本稿に記載されている内容の無断転載・使用を禁じます。

戻る