「 RAID」タグのついた投稿

Ubuntu Linux 10.10 Maverick Meeakat のアップデート失敗 – その後復旧

Ubuntu Linux 10.04から10.10にupdate-managerでアップデートを実行したが失敗した(スクリプトエラーを表示したままフリーズ)。その結果起動自体しなくなってしまった。

とりあえずシステムとデータの復旧は成功したので一安心。備忘録として手順をまとめておく。

  1. Ubuntu Linux 10.10のCDイメージをダウンロードしCD-Rに記録する。
  2. CDから起動後、通常のインストールに進み、partitionorの段階で既存のディスクにルートディレクトリとスワップ領域を割り当てる。
  3. Alt+ctrl+F2でコンソールを切り替え、/etcと/homeを別ディスクにバックアップする。
  4. またAlt+ctrl+F1でpartitionorに戻り、「パーティションをフォーマットしない」を選択する。すると/binや/sbin、/etcなどを削除するけど良いかと確認してくるのでOKする。
  5. しばらくインストールしリスタート。
  6. 無事起動するがRAIDやLVM設定ファイル等/etcディレクトリが標準に戻ってしまうので、ログイン後バックアップディスクからコピーする。
  7. 再び再起動すると起動時にRAIDやLVMパーティションを認識しfstabの記述通りにマウントする。
  8. 日本語パッケージのリポジトリなどを登録する。
  9. あとは足りないアプリケーションソフトウエアを追加インストールして完了。

さてASUS M2A-VMの環境で変化した点は、xorg Radeonデバイスドライバでcompiz-fusionが有効になるが、1920×1440以上の解像度では画面右端の表示が乱れる現象である。metacityでは発生しないのでmesa-driかxserver-xorg-video-radeonかどちらかの問題であろう。

 

広告
コメントする
投稿者: leddown | 投稿日: 2010年10月7日  •  パーマリンク
カテゴリー: linux
タグ: , , , , , , , , , , , , , , , ,

leddownの投稿 (2010年10月7日)

https://leddown.wordpress.com/2010/10/07/ubuntu-linux-10-10-maverick-meeakat-%e3%81%ae%e3%82%a2%e3%83%83%e3%83%97%e3%83%87%e3%83%bc%e3%83%88%e5%a4%b1%e6%95%97-%e3%81%9d%e3%81%ae%e5%be%8c%e5%be%a9%e6%97%a7/

AMDのFusion APU「Zacate」は2種類で「Brazos」プラットフォームの詳細が明らかに

xbitlabs.com AMD to Offer Two Fusion Zacate Processors for Desktops. AMD Fusion E350 and E240 Getting Ready for the Launch [09/23/2010 12:20 PM] by Anton Shilov より。

AMDは2種類のデスクトップ向け「Zacate」を提供する。

AMD Fusion E350およびE240はローンチ準備中
by Anton Shilov
2010年9月23日

AMDは2010年末にコードネーム「Zacate」のデスクトップPC向けに2種類リリースする。それぞれはTDPは非常に近いが、「Bobcat」アーキテクチャによるx86コア数が異なる。

低消費電力デスクトップPC向けの通称ネットトップ向けには、AMDはデュアルコアZacate E350およびシングルコアZacate E240を提供し、それぞれ統合型DirectX11対応GPUコア、UVD3ビデオエンジン、シングルチャネルPC3-10600(DDR3 1333MHz)メモリコントローラを内蔵し、TDPは18WであるとAMDの計画に近いニュースソースは伝えている。そのチップはBGA FT1パッケージで、マザーボード直付である。

AMDのデスクトップPC向け「Brazos」プラットフォームは、AMD Fusion APU「Zacate」と「Hudson D1」Fusionコントローラハブから成り立ち、PCI Express 2.0 x4バスで接続されており、4つのPCI Expresss x1ポート、PCIバス、6個のSATA 3.0Gbpsポート、14個のUSB2.0ポート、統合型クロックジェネレータが接続されている。RAID、ギガビットイーサネットなどはサポートされないため、「Brazos」プラットフォームは追加チップなしで一般向けデスクトップPCとして販売することは難しいだろう。

AMDのCPUやGPUが既にモデルナンバーまで伝えられているにもかかわらずこれから登場する予定のOntarioベースのFusionAPUの公式なクロックスピードをアナウンスしていない点は注目に値する。そのような秘密主義はカリフォルニアのサニーベルをベースにした企業がZacateとOntarioプロセッサの新しいブランドネームの導入を計画していることの対するものであるというのが妥当だろう。

AMDはOntarioおよびZadateを2010年末に製品出荷を予定し、双方のプロセッサをサポートするBrazosプラットフォームは2011年初旬にローンチする計画である。またAMDパートナーは2011年初旬に新しい技術に対応した最初のデバイス投入を予定している。

AMDはこの件に関し何のコメントもしていない。

コメントする
投稿者: leddown | 投稿日: 2010年9月24日  •  パーマリンク
カテゴリー: PCハードウエア
タグ: , , , , , , , , , , , , , , , ,

leddownの投稿 (2010年9月24日)

https://leddown.wordpress.com/2010/09/24/amd%e3%81%aefusion-apu%e3%80%8czacate%e3%80%8d%e3%81%af2%e7%a8%ae%e9%a1%9e%e3%81%a7%e3%80%8cbrazos%e3%80%8d%e3%83%97%e3%83%a9%e3%83%83%e3%83%88%e3%83%95%e3%82%a9%e3%83%bc%e3%83%a0%e3%81%ae%e8%a9%b3/

Ubuntu Linux 10.10 Maverick Meerkatベータ版のレビュー

journal.mycom.co.jp 【レビュー】 Maverick Meerkatはどこまで型破りか!? Ubuntu 10.10をベータ版で試す 2010/09/13 佐々木宣文 より。

主な変更点は下記の通り。

  • インストーラのUIが変更。テーマは引き続きUbuntu Linux 10.04のLightが使用されているが修正される可能性あり。
  • Linuxカーネルバージョンは2.6.35。
  • GNOME 2.31
  • Btrfsのサポート(標準はext4)
  • Ubuntuソフトウェアセンターの改善
  • 標準の写真管理ツールをShotwellに
  • Evolution 2.30.2の採用
  • マイクロブログクライアントGwibberの改善
  • サウンドインジゲータにRhythmboxのコントロール機能を拡張
  • Ubuntu Oneの使いやすさを向上

個人的にはBtrFSが利用できるようになることでバグの洗い出しが一気に進むのではと期待している。XFSはstack overflow問題が解決できそうにないし、ext4は当分16TiB以上のストレージは作れそうにないし、Redhat GFS・GFS2は大げさだしね。BtrFSのLVMのような動的容量変更がファイルシステムレベルで可能な点、16TiB以上のストレージを扱える点が気に入っている。SSD対応やRAID機能はあまり重視していない。

コメントする
投稿者: leddown | 投稿日: 2010年9月14日  •  パーマリンク
カテゴリー: linux
タグ: , , , , , , , , , , , , , , , , ,

leddownの投稿 (2010年9月14日)

https://leddown.wordpress.com/2010/09/14/ubuntu-linux-10-10-maverick-meerkat%e3%83%99%e3%83%bc%e3%82%bf%e7%89%88%e3%81%ae%e3%83%ac%e3%83%93%e3%83%a5%e3%83%bc/

Ubuntu Linux 10.04 Lucid Lynxで運用中のRAID6ユニットが3つ以上Faultした。その後復旧。

Ubuntu Linux 10.04 Lucid Lynxで運用中のRAID6のデバイスが3つ以上Faultしてしまい動作しなくなくなった。

  • まず mdadm -QE  -scan を実行してmetadataから読み出しが可能か確認。なおハードディスクは10台でRAID６構築。
  • 読み出しはOKだが、mdadm –run /dev/md0 ではInput/Output Errorと表示されて動作しない。
  • cat /proc/mdstat でも/dev/md0は表示されない。
  • mdadm -A /dev/md0 -u UUID値 –run –force で強制的に動作させてもダメ。
  • mdadm -A /dev/md0 /dev/sd[klmnopqrst]1 で更に強制的に動作させても、3つ以上のユニットデバイスがremoved状態で一つがspare状態で復旧しない。
  • 基本に戻って https://raid.wiki.kernel.org/index.php/Linux_Raid を読み直す。
  • https://raid.wiki.kernel.org/index.php/RAID_Recovery に記載されている「Don’t Panic」を心に刻むw。
  • https://raid.wiki.kernel.org/index.php/Reconstruction に記載されているmdstat –assemble –force /dev/md0 を実行。
  • すると、cat /proc/mdstat で/dev/md0の情報が表示された。
  • どうやら3つのブロックデバイスが removedになって再構築ができない様だ。
  • 3wareの3dm2をつかってハードディスクの情報をsudo tw_cli /cX showで表示すると4つのデバイスが「Not Presents」と表示されている。どうやらケーブル関連のようだ。
  • マシンを停止して、ハードディスクとRAIDボードのケーブルをいくつか交換する。
  • 再起動するとこれまで通り/dev/md0は動作しない。
  • そして mdadm –assemble –force /dev/md0 を打ち込むと、なんとcat /proc/mdstatで/dev/md0デバイスがactiveとなり、Recovery（復旧）モードになった。
  • そのまま現在Recoveryモードで復旧中。
  • なおmountでちゃんとマウントOKである。

これにて復旧終了。3時間かかった。Recovery完了までは5日程度で完了予定。

1件のコメント
投稿者: leddown | 投稿日: 2010年8月30日  •  パーマリンク
カテゴリー: linux, PCハードウエア
タグ: , , , , , , , , , , , , , , , , , ,

leddownの投稿 (2010年8月30日)

https://leddown.wordpress.com/2010/08/30/ubuntu-linux-10-04-lucid-lynx%e3%81%a7%e9%81%8b%e7%94%a8%e4%b8%ad%e3%81%aeraid6%e3%83%a6%e3%83%8b%e3%83%83%e3%83%88%e3%81%8c3%e3%81%a4%e4%bb%a5%e4%b8%8afault%e3%81%97%e3%81%9f%e3%80%82%e3%81%9d/

Linuxカーネル2.6.35がリリースされる。ネットワーク負荷軽減機構やH.264ハードウェアデコードサポート

sourceforge.jp Linuxカーネル2.6.35リリース、ネットワーク負荷軽減機構やH.264ハードウェアデコードなどをサポート

linuxfoundation.jp Linux Weather Forecast より。

新しいLinux カーネル 2.6.35の新機能は主に下記の通り。

  • マルチCPU環境でネットワークスループットを向上させる「Receive Packet Steering（RPS）」および「Receive Flow Steering（RFS）」サポート。なお性能がアップするのは8コア以上からなので個人向けへの影響は今後だろう。
    http://lwn.net/Articles/328339/によると下記のとおり性能がアップ。

    • tg3 on 8 core Intel
      Without RPS: 90K tps at 34% CPU
      With RPS: 285K tps at 70% CPU
    • e1000 on 8 core Intel
      Without RPS: 90K tps at 34% CPU
      With RPS: 292K tps at 66% CPU
    • foredeth on 16 core AMD
      Without RPS: 117K tps at 10% CPU
      With RPS: 327K tps at 29% CPU
    • bnx2x on 16 core AMD
      Single queue without RPS: 139K tps at 17% CPU
      Single queue with RPS: 352K tps at 30% CPU
      Multi queue (1 queues per CPU) 204K tps at 12% CPU
      _
  • SGI開発のカーネルデバッグツール「KDB」の追加
  • メモリの断片化を軽減する「Memory compaction」の追加。使用中のメモリページを連続した大きなページに移動することでメモリ使用効率の改善を図るというもの。近年の大容量メモリ搭載システム向け。
  • カーネルモードセットドライバの改善。IntelのG45チップセットなどが備えるH.264およびVC-1デコード機能、Radeonドライバの各種改良など。
  • Btrfsでファイルシステムのキャッシュを通さずに直接I/Oを行う「Direct I/O」をサポート
  • xfsでI/Oが大量に発生した際の遅延ロギングのサポート
  • perfコマンドの改良
  • multiple multicast route tablesのサポート
  • L2TP Version 3（RFC 3931）のサポート
  • ST-Ericssonのモデムで利用されているCommunication CPU to Application CPU Interface(CAIF)プロトコルのサポート
  • ACPI Platform Error Interfaceのサポート(先日のUbuntu Linux 10.10 Maverick Meeakatのニュース参照)
  • Linux Software RAIDのRAID0⇔RAID10,RAID4,RAID5の引継ぎが可能になった。ただしRAID6については記述なし。
  • AMDの新CPU PhenomII X6 1090Tなどで採用された動作コアを減らす代わりに動作クロックを上げる「Turbo CORE」対応のCPUでpowernow-k8の「Turbo Boost」制御が可能となる。

2010年8月2日現在Ubuntu Linux kernel-ppa mainlineには2010年7月31日ビルドバージョンがある。

Linux kernel Changelog 2.6.35の解説は下記のページを参照。

http://kernelnewbies.org/Linux_2_6_35

1件のコメント
投稿者: leddown | 投稿日: 2010年8月2日  •  パーマリンク
カテゴリー: linux, PCハードウエア
タグ: , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , ,

leddownの投稿 (2010年8月2日)

https://leddown.wordpress.com/2010/08/02/linux%e3%82%ab%e3%83%bc%e3%83%8d%e3%83%ab2-6-35%e3%81%8c%e3%83%aa%e3%83%aa%e3%83%bc%e3%82%b9%e3%81%95%e3%82%8c%e3%82%8b%e3%80%82%e3%83%8d%e3%83%83%e3%83%88%e3%83%af%e3%83%bc%e3%82%af%e8%b2%a0%e8%8d%b7/

Westerndigital製ハードディスク WD20EARS-00S8B1(500GBプラッタ)の代替保留セクタ数が26に

現在Ubuntu Linux 10.04 Lucid LynxでRAID6アレイで利用中のWesterndigital製WD20EARS-00S8B1(500GBプラッタ)だが、購入したうちの1台が1ヶ月半で代替保留セクタ数が26を数えた。syslogに出力された値は下記の内容。

26 Currently unreadable (pending) sectors

最初は当然0だったが、13→26と非連続で増加している。これは初期不良品にあったのだろうかと思案中。

追加 2010年7月21日〜23日

代替保留セクタが増加しているハードディスクWD20EARSで回復不能なセクタをsyslogに出力していた。

2 Offline uncorrectable sectors

ハードディスク表面に傷がついている可能性大。だが購入したハードディスクの代理店はCFDなので、SMART値変化・劣化は交換保証外だからなぁ。

…と現在23時10分。代替保留セクタが593セクタとでた。もうダメだろう。

更に22日で代替不能セクタが543セクタに増加。来月まで持ちますように…。

と23時7分で代替保留セクタ数が596セクタ。おいおいあと10日持つのか?

23日現在、代替保留セクタが596セクタである。syslogがtimeoutエラーを吐き出しているのでSATAケーブルの問題と確信する。抜けやすくなったSATAケーブルのメスコネクタを無理矢理復活させる方法で挿し直すとピタリとエラーが止まる。550円もしたSATAケーブルが80円のSATAケーブルよりエラー率が高いという寂しい結果となった。

コメントする
投稿者: leddown | 投稿日: 2010年7月20日  •  パーマリンク
カテゴリー: linux, PCハードウエア
タグ: , , , , , , , , , , , , , , ,

leddownの投稿 (2010年7月20日)

https://leddown.wordpress.com/2010/07/20/westerndigital%e8%a3%bd%e3%83%8f%e3%83%bc%e3%83%89%e3%83%87%e3%82%a3%e3%82%b9%e3%82%af-wd20ears-00s8b1500gb%e3%83%97%e3%83%a9%e3%83%83%e3%82%bf%e3%81%ae%e4%bb%a3%e6%9b%bf%e4%bf%9d%e7%95%99%e3%82%bb/

エコキュートで停電

うちはアパート２世帯住宅+太陽光発電+エコキュート(電気温水器)な環境だが、先日深夜23時50分頃突然停電した。

そのとき私はRAIDのオンライン拡張中作業中で、蛍光灯などすべての電気が切れた瞬間5秒ほど思考が固まってしまった。

手探りでLEDライトを工具箱から取り出し家族の安否を確認しつつ電気消費量の高い家電機器を利用しているか、隣家などでも停電かどうか調べた。

  • 街灯は明るく、隣家の窓は明るいのでうちだけ停電している。
  • エアコンは利用しておらず、扇風機とテレビ、PCのみ利用。

状況を認識したあと配電盤を確認する。うちの電灯線契約は30Aだが、個別のブレーカーではなく大本のブレーカースイッチがオフになっていた。

RAIDのことを気にしつつブレーカースイッチをオンにすると部屋の明かりが戻ってきた。元に戻ったは良いが原因がわからないと最悪ショートによる火災発生につながるのでいくつかチェックすると一つ思い当たることがあった。

  • 電気温水器の水量が残り20%だった。

そこで以下の流れを考えてみた。

  1. 電灯線契約と電力会社への売電契約を行なったことにより時間別料金である。
  2. 深夜23時から翌日7時まで通常料金の約半額の電気料金である。
  3. その安い電気料金を利用してエコキュート（電気温水器）はタイマーでお湯を温める。
  4. その日はお湯を大量に使ったためお湯を温める熱量が増え電気量消費が増大した。
  5. それで電灯線容量がオーバーしたためブレーカースイッチが切れた。

エアコンよりも消費電力が高いとはエコキュートはほんとにエコなのかw

ちなみにRAIDのオンライン拡張は無事再開し完了した。

コメントする
投稿者: leddown | 投稿日: 2010年7月11日  •  パーマリンク
カテゴリー: 雑記
タグ: , , , , , , , ,

leddownの投稿 (2010年7月11日)

https://leddown.wordpress.com/2010/07/11/%e3%82%a8%e3%82%b3%e3%82%ad%e3%83%a5%e3%83%bc%e3%83%88%e3%81%a7%e5%81%9c%e9%9b%bb/

Ubuntu Linux 10.04 Lucid Lynxのカーネルでタイムアウトでハングアップしたとログが表示される

Ubuntu Linux 10.04 Lucid Lynxのsyslogに大量にカーネルログが吐き出されていた。

以下の通り。

Jul  9 14:06:07 server kernel: [13200.403026] INFO: task jbd2/dm-0-8:1311 blocked for more than 120 seconds.
Jul  9 14:06:07 server kernel: [13200.403032] “echo 0 > /proc/sys/kernel/hung_task_timeout_secs” disables this message.
Jul  9 14:06:07 server kernel: [13200.403036] jbd2/dm-2-8   D ffff8800805a9880     0  1311      2 0x00000000
Jul  9 14:06:07 server kernel: [13200.403042]  ffff880186b65d30 0000000000000046 ffff88005d173430 ffff880188f64f50
Jul  9 14:06:07 server kernel: [13200.403048]  ffff880186b64000 ffff880186b65fd8 0000000000015bc0 ffff880186b65fd8
Jul  9 14:06:07 server kernel: [13200.403054]  ffff880196c15bc0 ffff880196c15f80 ffff880186b65fd8 0000000000015bc0
Jul  9 14:06:07 server kernel: [13200.403059] Call Trace:
Jul  9 14:06:07 server kernel: [13200.403071]  [<ffffffff8122aa75>] jbd2_journal_commit_transaction+0x1c5/0x12c0
Jul  9 14:06:07 server kernel: [13200.403078]  [<ffffffff815696e9>] ? sub_preempt_count+0x9/0xa0
Jul  9 14:06:07 server kernel: [13200.403082]  [<ffffffff81566561>] ? _spin_unlock_irq+0x21/0x50
Jul  9 14:06:07 server kernel: [13200.403088]  [<ffffffff810580a0>] ? finish_task_switch+0x50/0xd0
Jul  9 14:06:07 server kernel: [13200.403092]  [<ffffffff815696e9>] ? sub_preempt_count+0x9/0xa0
Jul  9 14:06:07 server kernel: [13200.403095]  [<ffffffff8156651c>] ? _spin_unlock_irqrestore+0x2c/0x50
Jul  9 14:06:07 server kernel: [13200.403100]  [<ffffffff81089190>] ? autoremove_wake_function+0x0/0x40
Jul  9 14:06:07 server kernel: [13200.403106]  [<ffffffff81232747>] kjournald2+0xb7/0x210
Jul  9 14:06:07 server kernel: [13200.403110]  [<ffffffff81089190>] ? autoremove_wake_function+0x0/0x40
Jul  9 14:06:07 server kernel: [13200.403114]  [<ffffffff81232690>] ? kjournald2+0x0/0x210
Jul  9 14:06:07 server kernel: [13200.403118]  [<ffffffff81088da6>] kthread+0x96/0xa0
Jul  9 14:06:07 server kernel: [13200.403123]  [<ffffffff810142da>] child_rip+0xa/0x20
Jul  9 14:06:07 server kernel: [13200.403128]  [<ffffffff81088d10>] ? kthread+0x0/0xa0
Jul  9 14:06:07 server kernel: [13200.403132]  [<ffffffff810142d0>] ? child_rip+0x0/0x20

要はRAIDブロックデバイスが120秒間返答なしでタイムアウトでハングしたということらしい。

ハードディスクを確認したところ故障の兆候はなく、単純にファイルコピーの容量が大きくて時間がかかっているときに吐き出されているようだ。そこで下記のURLを参考にsyslog表示を止めた。

http://bugs.debian.org/cgi-bin/bugreport.cgi?bug=517586

方法はsyslog中にも出力されているが、下記の通り。

$ sudo -s

$ echo 0 > /proc/sys/kernel/hung_task_timeout_sec

これでsyslogにカーネルのタイムアウトハングアップのメッセージは表示されなくなる。

コメントする
投稿者: leddown | 投稿日: 2010年7月9日  •  パーマリンク
カテゴリー: linux
タグ: , , , , , , , ,

leddownの投稿 (2010年7月9日)

https://leddown.wordpress.com/2010/07/09/ubuntu-linux-10-04-lucid-lynx%e3%81%ae%e3%82%ab%e3%83%bc%e3%83%8d%e3%83%ab%e3%81%a7%e3%82%bf%e3%82%a4%e3%83%a0%e3%82%a2%e3%82%a6%e3%83%88%e3%81%a7%e3%83%8f%e3%83%b3%e3%82%b0%e3%82%a2%e3%83%83%e3%83%97/

PCルームwの室温が３４℃を記録

私の部屋は北向き3畳の小さな部屋だが、換気状況が悪いため気温が上がりやすい。

6月28日20時47分現在の室温は34℃、湿度68%である。

別の部屋のエアコンで冷えた空気を循環させている状態の温度。

PCの各部位の温度は下記の通り。

  • CPU 59℃ (Phenom X4 9750 リテールクーラー)
  • M/B 42℃ (Asus M2A-VM 690Gチップのヒートシンクに向けて10センチファンで冷却)
  • HDD 36℃〜41℃ 平均38℃

ハードディスクは40℃を超えているのは1台のみで冷却に関してはまあまあである。

AMD 690Gチップは40℃を超えるとフリーズしやすくなるため不安ではある。

しかし人にとっては大変暑い。熱中症に気をつけよう。

コメントする
投稿者: leddown | 投稿日: 2010年6月28日  •  パーマリンク
カテゴリー: linux, PCハードウエア
タグ: , , , , , , , , , ,

leddownの投稿 (2010年6月28日)

https://leddown.wordpress.com/2010/06/28/pc%e3%83%ab%e3%83%bc%e3%83%a0w%e3%81%ae%e5%ae%a4%e6%b8%a9%e3%81%8c%ef%bc%93%ef%bc%94%e2%84%83%e3%82%92%e8%a8%98%e9%8c%b2/

WesternDigital製HDD WD20EARSの667GBプラッタのベンチマーク

先日購入したWesternDigital製のハードディスク WD20EARS-00MVWB0 667GプラッタバージョンをUbuntu Linux 10.04 Lucid Lynx に接続した。接続環境は下記の通り。

CPU : Phenom X4 9750

M/B : Asus M2A-VM ( AMD 690G, SB600 )

OS : Ubuntu Linux 10.04 LTS Lucid Lynx ( kernel 2.6.31-21 )

ベンチマークはGNOME標準のPalimpsest ディスク・ユーティリティ 2.30.1を利用。

WD20EARS-00MVWB0ベンチマーク

平均読み込み速度が94.0MB/sなのでなかなかの速度である。

なおこのハードディスクを既に構築されているRAID６アレイ(合計１０台)に追加したところ、reshape完了は4.8日後とのこと。

のんびり待つことにする。

コメントする
投稿者: leddown | 投稿日: 2010年6月28日  •  パーマリンク
カテゴリー: linux, PCハードウエア
タグ: , , , , , , , , , , , , , , ,

leddownの投稿 (2010年6月28日)

https://leddown.wordpress.com/2010/06/28/westerndigital%e8%a3%bdhdd-wd20ears%e3%81%ae667gb%e3%83%97%e3%83%a9%e3%83%83%e3%82%bf%e3%81%ae%e3%83%99%e3%83%b3%e3%83%81%e3%83%9e%e3%83%bc%e3%82%af/

« 過去の投稿