競馬データ分析（ゴールドジェネレーター）掲示板
・ゴールドジェネレーターの詳細はこちらをご覧下さい。また、ゴールドジェネレーターは、says-project様という善意ある個人の方が作成したフリーソフト（無料ソフト）です。
・現在、「ヘルプ機能」はご利用いただけません。
・ＪＲＤＢはこのソフトに対して、データだけを提供しております。ゴールドジェネレーター以外のお問い合わせは、JRDB会員サポート窓口までお願いします。
★分析依頼は、できるだけわかりやすい文章で丁寧に書いてください。
ＯＳ・ブラウザ名・ホスト名が投稿に表示されますが、荒らし・いたずら防止の措置ですのでご了承ください。
  新規投稿 ┃ツリー表示 ┃スレッド表示 ┃一覧表示 ┃トピック表示 ┃番号順表示 ┃検索 ┃設定 ┃JRDBホームページ  
904 / 1533 ﾂﾘｰ ←次へ　｜　前へ→
BABデータの文字コードについて 加藤 08/4/16(水) 3:51
Re:BABデータの文字コードについて 加藤 08/4/16(水) 14:06
Re:BABデータの文字コードについて JRDBシステム班 08/4/18(金) 11:42
Re:BABデータの文字コードについて JRDBシステム班 08/4/19(土) 15:19
Re:BABデータの文字コードについて 加藤 08/4/22(火) 1:16
BABデータの文字コードについて+SRAの空ファイル 加藤 08/4/22(火) 20:34
Re:BABデータの文字コードについて+SRAの空ファイル JRDBシステム班 08/4/25(金) 11:28
BABデータの文字コードについて
 加藤  - 08/4/16(水) 3:51 -
引用なし
パスワード
   お世話になっています、会員の加藤です。

BABデータを今まで使っていなかったんですが、今回利用しようとデータベースに取り込もうとすると、かなりの数のファイルがはじかれてしまいます。

私はFileMaker Pro Advanceで、一旦Desktop上のフォルダに入れたファイルのファイル名を変数に取り込み、動的に変数内のファイル名を変化させることで全てのファイルのインポートを自動化させているのですが、エラーが出て取り込めないファイルがあります。
Filemakerが出すエラーメッセージは「このファイルのファイルタイプを変換することができません」というものです。取り込む際の文字コードはshiftJISにしてあります。

FileMaker Pro Advanceには、スクリプトやスクリプト内で使われている変数の中身の値を、1ステップずつ確認しながらスクリプトの動きをチェック出来るスクリプトデバッガが装備されているんですが、スクリプトデバッガで確認しても変数の設定にもプログラムのバグも見つけることができませんでした。

UKCやKYGに使われているようなMacでは読み込めない「（株）（有）」などの機種依存文字も、テキストエディタで開いてみた感じでは見当たらないのですが、何か特殊な空白文字などを使っているのでしょうか？

全てが取り込めない訳ではありません、取り込める物と取り込めない物があり、その原因が分からないので今かなり困っています。
何か解りましたら、宜しくお願いします。
<Mozilla/5.0 (Macintosh; U; PPC Mac OS X Mach-O; ja-JP-mac; rv:1.8.1.13) Gecko/...＠i60-47-26-145.s02.a013.ap.plala.or.jp>
Re:BABデータの文字コードについて
 加藤  - 08/4/16(水) 14:06 -
引用なし
パスワード
   JRDBスタッフの皆さん、お世話になっています、会員の加藤です。

以下、これまでの経緯と事後報告です。

現在、今まで使用していたFileMakerをver.6からver.8へVersionUpする為に、データベースを作り直しているのですが、先に書いたとおり一部のファイルを正常に読み込めないでいます。
先のレスではBABだけでしたが、全てのデータをインポートし直したところ、BABの他にもSRA、UKC、KYGのそれぞれ一部のファイルが正常に取り込むことが出来ないことが解りました。


検証したことの説明


データファイルをFileMakerに取り込む際のプログラムの説明

プログラム＿1
1.Desktop上のフォルダ内のファイル名のみをインポート用テーブルの「FileName」フィールドに1レコード1ファイル名で挿入。
2.変数にレコード上のファイル名を代入。
3.その変数をファイルパスとしてファイルをインポート。このとき文字文字コードをShift-JISに指定。
4.ファイル名が入ったレコードを1つずつ移動させ、変数の値を動的に変化させるループ処理で、インポートを自動化。

プログラム＿2
1.Desktop上のフォルダ内のファイルの内容をインポート用テーブルの「FileName」フィールドに1レコード1ファイルで挿入。
2.1レコード内に入ったファイルから1行分づつ抜き出し、別フィールドのレコードへコピー。
3.ループ処理をさせ、自動化。

プログラム＿1とプログラム＿2の大きな違いは取り込む際に、1はMac用のShift-JISに変換している、2はそのまま取り込んでいるところです。
(1のように直接レコードに分割していれる場合、文字コードを指定しないといけない仕様になっている為、無変換または文字コードの無指定はできない)

プログラム＿1で取り込めなかったデータを、プログラム＿2で試したところ取り込むことが出来ました。

家に5台分のMac+FileMakerが有るんですが、全てのマシンで同じ結果になっているので、マシン固有問題ではなさそうです。
やはり、何か文字コードで不具合が起こっているようです。

しかし、UKCやKYGのように、明らかに機種依存文字だと解るような部分がBABでは見つけられないので、もしかしたら空白部分に特殊文字が混ざり込んでいるのではと、、、想像ですが。


1.テキストエディタで開いて見ても、正常に取り込めるファイルと取り込めないファイルの違いを、UKCやKYGのように事前に確認出来ない。
2.プログラム＿2の方で取り込むことは出来ると分かったのですが、プログラム＿1と比べると処理速度に20倍以上の差がある。
UKC全ファイルの取り込みだけでも、一番スペックの高いマシンで20時間近く時間が掛かっているので、かなり苦痛に感じます。


もし何か分かりましたら、情報をお願いします。
<Mozilla/5.0 (Macintosh; U; PPC Mac OS X Mach-O; ja-JP-mac; rv:1.8.1.13) Gecko/...＠i222-151-40-35.s02.a013.ap.plala.or.jp>
Re:BABデータの文字コードについて
 JRDBシステム班  - 08/4/18(金) 11:42 -
引用なし
パスワード
   加藤さんへ

いつも　ＪＲＤＢご利用ありがとうございます。

>
>1.テキストエディタで開いて見ても、正常に取り込めるファイルと取り込めないファイルの違いを、UKCやKYGのように事前に確認出来ない。
>2.プログラム＿2の方で取り込むことは出来ると分かったのですが、プログラム＿1と比べると処理速度に20倍以上の差がある。
>UKC全ファイルの取り込みだけでも、一番スペックの高いマシンで20時間近く時間が掛かっているので、かなり苦痛に感じます。
>
>
>もし何か分かりましたら、情報をお願いします。

馬主名（ＫＹＧ）、生産者名（ＵＫＣ）に（有）や（株）の機種依存文字が存在するのは確認しています。

ＢＡＢでは、レース名の漢字に紛れこんでいるかもしれません。この辺り、調査してみます。
もし、レース名で発見された場合は、置き換え可能か検討します。
また、スペース部分も問題が無いかチェックしたいと思います。

本来、機種依存文字は、使用するべきでないのですが、1文字で表現できる便利さで（有）を使用してしまいました。
現状では、「機種依存文字は（有）や（株）のみにしてダウンロードしてから変換指定してもらう」といった形でお
願いしたいと考えています。

それでは、よろしくお願いいたします。
<Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0; .NET CLR 1.0.3705; .NET CLR...＠fntoska009014.oska.fnt.ftth2.ppp.infoweb.ne.jp>
Re:BABデータの文字コードについて
 JRDBシステム班  - 08/4/19(土) 15:19 -
引用なし
パスワード
   加藤さんへ

BABデータを調査しましたが、機種依存文字は使用していませんでした。
レース名等の全角フィールドに、半角が混じっているデータあり、これが関係しているかもしれません。
エラーとなるデータのファイル名を教えて下さい。調査いたします。

それでは、よろしくお願いいたします。
<Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0; .NET CLR 1.0.3705; .NET CLR...＠fntoska009014.oska.fnt.ftth2.ppp.infoweb.ne.jp>
Re:BABデータの文字コードについて
 加藤  - 08/4/22(火) 1:16 -
引用なし
パスワード
   JRDBシステム班さんへ

加藤です、お手数かけましてすみません。


>エラーとなるデータのファイル名を教えて下さい。調査いたします。

「BAB000130」です、他にも有るのですが量が多いので。ダウンロードし直したファイルを使ってもダメでした。


>馬主名（ＫＹＧ）、生産者名（ＵＫＣ）に（有）や（株）の機種依存文字が存在するのは確認しています。
>本来、機種依存文字は、使用するべきでないのですが、1文字で表現できる便利さで（有）を使用してしまいました。
>現状では、「機種依存文字は（有）や（株）のみにしてダウンロードしてから変換指定してもらう」といった形でお
>願いしたいと考えています。

こちらに関しては、以前から不具合が起こる原因がはっきり分かっていたので、こちらのプログラムで対処していますから大丈夫です。
今回は、原因が全く見えない状態だったので質問させて頂きました。


色々調べてみて分かったのですが、FileMakerがver.7から内部処理でユニコードを使う仕様に変わったようで、これが原因かもしれません。
以前もMac版のExcelがver.98からver.2001でのVersionUpでユニコードに変わったため、全角の依存文字が半角文字に誤変換される不具合が出ていましたので。
今回の問題もFileMakerがユニコードに変わった為、今まで引っ掛かっていなかった何がうまく処理されなくなったのかもしれません。
どうもユニコードとは相性が悪いですね。


現段階では文字コードをいじらず、ファイルをそのままコピーして1レコードづつ抜き出しコピーする、といった形で取り込めていますので、時間はかかりますが、原因が分かるまでこの方法でとりあえず対処したいと思います。
データベースのテーブルもいつでも切り離せるように分離して、システムに不具合が起きないかどうか暫く様子を見たいと思います。


>レース名等の全角フィールドに、半角が混じっているデータあり、これが関係しているかもしれません。

何にせよ、やはり原因が分からないままデータを使うのは不安が残りますので、何か分かりましたら宜しくお願いします。


お手数お掛けしてばかりですが宜しくお願いします。
<Mozilla/5.0 (Macintosh; U; PPC Mac OS X Mach-O; ja-JP-mac; rv:1.8.1.14) Gecko/...＠i218-44-116-22.s02.a013.ap.plala.or.jp>
BABデータの文字コードについて+SRAの空ファイル
 加藤  - 08/4/22(火) 20:34 -
引用なし
パスワード
   JRDBシステム班さんへ

お世話になっています、加藤です。


悩み続けたBABファイルの件ですが、何故か解決しました。
ファイルを一旦、BSD UNIX系の文字変換コマンドに通してやったら何故かすんなり読み込まれるようになりました。
UNIXとMacの橋渡しをしてやるプログラムを作ればいいだけの状態になったので、これで処理時間があまり掛からずに処理出来ます。
根本的な原因は分からず終いですが、これで処理も楽になります。いろいろと調査をして頂きありがとうございました。


と、一つ問題がなんとかクリア出来たのですが、新たな問題が。


SRAファイルもいくつか読み込まれないファイルがあったので、ダウンロードし直してみたのですが、アップされているファイルの中にテキストエディタで開いて見ても中身のないファイルが有ります。何度かダウンロードし直してみたのですが結果は同じです。
同梱されているSECファイルの方は正常な状態なので、私の環境だけなのか判断がつきません。またまたお手数をお掛けしますが確認を宜しくお願いします。

対象ファイルは、05/07/09から05/12/18までの単体でアップされているSRAファイルです。
また、1年をまとめてパックしてある05年度のSECファイルパックの方はかなりの数のSRAファイルが抜けているのですが、これは正常なのでしょうか？

それともう一つ、KAAファイルの方にも中身が空のファイルがありました、こちらの方も何度ダウンロードし直しても同じ結果なので確認をお願いします。

対象ファイルは、「KAA010122」です。


度々ご迷惑をお掛けしますが宜しくお願いします。
<Mozilla/5.0 (Macintosh; U; PPC Mac OS X Mach-O; ja-JP-mac; rv:1.8.1.14) Gecko/...＠i218-47-146-161.s02.a013.ap.plala.or.jp>
Re:BABデータの文字コードについて+SRAの空ファイル
 JRDBシステム班  - 08/4/25(金) 11:28 -
引用なし
パスワード
   加藤さんへ

いつもＪＲＤＢご利用ありがとうございます。
また、ご報告ありがとうございます。

>SRAファイルもいくつか読み込まれないファイルがあったので、ダウンロードし直してみたのですが、アップされているファイルの中にテキストエディタで開いて見ても中身のないファイルが有ります。何度かダウンロードし直してみたのですが結果は同じです。
>同梱されているSECファイルの方は正常な状態なので、私の環境だけなのか判断がつきません。またまたお手数をお掛けしますが確認を宜しくお願いします。
>
ＳＲＡデータの件確認しました。
今年に入ってからの再作成で、データの中身が消えてしまったようです。
復旧し、再作成しますのでしばらくお待ちください。

>対象ファイルは、05/07/09から05/12/18までの単体でアップされているSRAファイルです。
>また、1年をまとめてパックしてある05年度のSECファイルパックの方はかなりの数のSRAファイルが抜けているのですが、これは正常なのでしょうか？
>
>それともう一つ、KAAファイルの方にも中身が空のファイルがありました、こちらの方も何度ダウンロードし直しても同じ結果なので確認をお願いします。
>
>対象ファイルは、「KAA010122」です。

「KAA010122」データの件は対応いたしました。
※この日は、続行競馬（土曜日予定のレースを月曜日に途中から施行）でシステム不具合がありました。

ご報告ありがとうございます。再作成」の方、しばらくお待ちください。
<Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0; .NET CLR 1.0.3705; .NET CLR...＠fntoska009014.oska.fnt.ftth2.ppp.infoweb.ne.jp>
  新規投稿 ┃ツリー表示 ┃スレッド表示 ┃一覧表示 ┃トピック表示 ┃番号順表示 ┃検索 ┃設定 ┃JRDBホームページ  
904 / 1533 ﾂﾘｰ ←次へ　｜　前へ→
ページ：  ┃  記事番号：   
288,187
(SS)C-BOARD v3.8 is Free