ブログ名

【第17回】簡易体積算出アルゴリズム 入出力に関する検討3

今回の概要 作業内容 結果 精度向上のための考察 今回の概要 精度が低下した理由について 精度向上のための考察 作業内容 精度が落ちる理由について いままではデータをシャッフルして学習していましたが、今回の場合はシャッフルしないほうが汎化性能を高め…

【第16回】簡易体積算出アルゴリズム 入出力に関する検討2(結果)

今回の概要 入力に画像サイズの情報の付与した結果について アンサンブル学習の準備 次回の予定 今回の概要 入力に画像サイズの情報を付与した結果について ニューラルネットの評価 アンサンブル学習の準備 入力に画像サイズの情報の付与した結果について 探…

【第15回】自然言語処理の基礎調査

Word2Vec CBoW skip-gram Doc2Vec まとめ 参考文献 Word2Vec 自然言語処理では単語を扱いやすくするため、単語をベクトルで表現することが多いです。 最も代表的な手法として、ニューラルネットワークを用いた手法であるWords2Vecが知られています。 Word2Ve…

【第15回】簡易体積算出アルゴリズム 入出力に関する検討2

今回の概要 出力値を体積に変更 回帰値→one-hot vecに変更 入力に画像サイズの情報の付与 アンサンブル学習の準備 次回の予定 今回の概要 出力値を体積に変更した結果について 回帰値→one-hot vecに変更した結果について 入力に画像サイズの情報の付与(プロ…

【第14回】5W1H抽出AI How要素/What要素の精度改善

今回改善した点について How要素 What要素 実行例 今後について 今回改善した点について 全体を通し、CaboChaを用いて判別する場合はチャンク毎に繋げて出力するように改善しました。 How要素 How要素は文末から探索し、係り受け先がない要素から助詞までの…

【第1回】Interstage Information Integratorの概要

~記事の投稿予定~ はじめに Interstage Information Integratorとは 機能の概要説明 1. データ収集機能 <ファイル収集> - ファイル受信 - ファイル入力 2. データ変換・編集機能 <ファイル形式変換> <文字コード変換> <項目編集> <レコード編集>…

【第14回】簡易体積算出アルゴリズム 入出力に関する検討1

今回の概要 作業内容 出力値を体積に変更 回帰値→one-hot vecに変更 次回の予定 今回の概要 出力値を体積に変更(VGG19_train1.py) 回帰値をone-hot vecに変更(VGG_train2.py) 作業内容 前回の考察を基に改善の戦略を立てましたので、それを順次実行してい…

【第13回】5W1H抽出AI KNPを用いた手法の検討

KNPを用いた手法 ソースコード 実行例 次回の予定 KNPを用いた手法 KNPは地名や人名を正確に分類できるためWhen/Where抽出する時に役立ちますが、 係り受け解析は文節ではなくチャンクごとに分類するCaboChaの方が正確であることが多いです。 そのため、When…

【第13回】簡易体積算出アルゴリズム 評価と今後の展望

テスト用画像による出力結果の検証 現在のモデルに対する考察 精度と損失について モデルについて 改善策と今後の展望 テスト用画像による出力結果の検証 前回は200epochで実行していたため、1000epochsを上限としてソースコードを再実行しました。 3回実行…

【第12回】5W1H抽出AI KNPを用いた精度向上

KNPのセットアップ 5w1h抽出への応用 実行例 次回の予定 KNPのセットアップ 前回の記事の通り、KNPを使用するとより精度が向上すると考えられるため、以下の記事を参考にKNPをセットアップしました。 qiita.com 以下のマニュアルを参考に実際に動作させて、c…

【第12回】簡易体積算出アルゴリズム チューニング(後半)

パラメータチューニング テスト用画像の収集 評価用モデルの作成 パラメータチューニング 前回は全結合層の3層のパラメータ探索を行いました。 今回はその結果を用いて交差検証を行った結果、41.25% (+/- 35.04%)と今まで行ってきたモデルより精度が低い結…

【第11回】5W1H抽出AI KNPとcabochaの比較

精度向上に向けて KNPとは Cabochaの方が優れていること KNPとCabochaを組み合わせた手法の検討 精度向上に向けて 前回までで、助詞がある場合は高い精度で抜き出すことができるようになりました。 更なる精度向上のための手法について調査を行ったところ、K…

【第11回】簡易体積算出アルゴリズム チューニング(前半)

簡易体積算出の調整 Khold部を再検討 パラメータチューニング ベイズ最適化を用いたパラメータチューニング パラメータチューニングの改善 全結合層を1層でパラメータチューニング実行 交差検証 階層の検討 モデルの詳細分析 次回の予定 簡易体積算出の調整 …

【第10回】5W1H抽出AI 係り受け解析を用いた手法

係り受け解析を用いた手法の検討 ソースコード ステップ1 ステップ2 次回の予定 係り受け解析を用いた手法の検討 前回、係り受け解析による手法は文ごとに区切られていないと効果がないことが分かりまししたが、 Siri等の音声サービスを使用する場合は基本文…

【第10回】簡易体積算出アルゴリズム テスト学習

今後の予定 Khold部を再検討 パラメータチューニング 評価 テスト学習 モデル構築と学習・評価プログラムの作成が完了したため、ハイパーパラメータを適当に決めてベースラインを決定します。 パラメータは以下のようにしました。 loss function = mean_squa…

【第9回】5W1H抽出AI 係り受け解析による精度向上の検討

現在の課題 係り受け解析 検討方針 CaboChaAnalyzerのセットアップ 精度向上 次回の予定 現在の課題 現在の課題は、連用形の場合を考慮できないこと(「〜する人」などの場合「〜する」をHowとしてしまう)です。 つまり、修飾語を区別できていません。 この問…

【第9回】簡易体積算出のAugmentationによるデータ拡張と学習プログラム機能追加

Augmentationによるデータ拡張 Augmentationによるデータ拡張のソースコード 学習プログラム機能の追加 Trashの削除 次回の予定 Augmentationによるデータ拡張 学習・検証用データが100枚程度だと不足するため、データ拡張(Augmentation)を行います。 色合い…

【第8回】5W1H抽出AI Whatの抽出・その他の要素の抽出精度向上に向けて

Whatの抽出 その他要素の抽出精度の向上に向けて WhereやWhenの抽出が簡単なものは先に抽出 抽出した時に意味が通る様に前の要素まで抽出 How要素抽出要素の追加 コードの実行結果 今回分かった課題 Whatの抽出 まず、Whatとなるパターンは以下の二つの場合…

【第8回】簡易体積算出のモデル作成

作業内容 次回の予定 作業内容 モデル作成 前回の記事(https://www.itd-blog.jp/entry/volume-calculation-algorithm-7)をもとにモデルを作成しました。 以下にResNet50と追加した全結合層を示します。 ※ResNet152はAWSのメモリが足りなかったため、ResNet50…

【第7回】5W1H抽出AI Whenの抽出

出力形式の変更 Whenの抽出 Whenとなる要素の分類 入出力の結果 次回の予定 出力形式の変更 前回までの出力の形式を変更し、入力の文に直接要素名を出力する様にしました。 これにより、誤認識などがわかりやすくなりました。 Whenの抽出 Whenとなる要素を二…

【第7回】簡易体積算出アルゴリズム データセット作成とモデル案について

データセット作成 データセットの整形・分析 製品の傾向の確認 モデル構想 次回の予定 データセット作成 機械学習用のデータセットを作成します。 収集する対象は冷蔵庫や電子レンジ等の大型家電の設置画像と、その製品名と寸法です。 以下にデータセット化…

【第6回】5W1H抽出AI Howの抽出2

Howの抽出精度向上 前回の課題 課題2と3の解決策 前回との結果の比較 前回の結果 今回の結果 ソースコード: 次回の予定 Howの抽出精度向上 前回の課題 前回は下記4点の課題がありました。 「~ね」がある場合は実際にHowになりうる場合もありますが、ただ除…

【第6回】簡易体積算出アルゴリズムの再考

簡易体積算出アルゴリズムの再考 構想 簡易体積算出アルゴリズムの再考 前回までの簡易体積算出プログラムは簡易性と先進性において欠点があったため、方針を再考したいと思います。 条件として、スマホ等のカメラ撮影のみで完結し、チェスボードやブロック…

【第5回】5W1H抽出AI Howの抽出1

Howの抽出 実行結果 考察 次回の予定 Howの抽出 「どのように」を表すHowのパターンは、大きく分けて以下の二種類のパターンが考えられます。 走る、行く のような動詞 です、ます のような助動詞 この二つのパターンに共通するのは基本形、終止形であること…

【第5回】簡易体積算出アルゴリズム 幾何学的算出での実装3

チェスボードの座標の間隔による座標統合について 奥行きの算出 次回の予定 チェスボードの座標の間隔による座標統合について まず、物体の各辺を知るためには、チェスボードの頂点間の分布を確認する必要があります。 そこで、チェスボード全ての点間距離を…

【第4回】5W1H抽出AI テストデータの生成

YouTube自動生成字幕をテストデータとする方法の検討 テスト結果 次回の予定 YouTube自動生成字幕をテストデータとする方法の検討 YouTubeには動画を音声認識してキャプションを生成する機能があります。 この機能はGoogle音声検索で導入されている技術とほ…

【第4回】簡易体積算出アルゴリズム 幾何学的算出での実装2

マウスクリックからの座標取得 次回の予定 マウスクリックからの座標取得 前回でチェスボードの認識と座標情報の取得ができましたので、次はマウスによる物体の頂点のマーキングと抽出です。 以下に、頂点を7点マーキングして各頂点の座標を出力するプログラ…

【第3回】5W1H抽出AI 抽出器の検討2

前回作成したプログラムの課題 課題の解決策 抽出器の改良 おわりに 前回作成したプログラムの課題 [前回の記事(https://www.itd-blog.jp/entry/5W1H-AI-2)の実行結果3では、2つの誤検知が発生していました。 一つ目は固有名詞である"北多摩病院"を一語とし…

【第3回】簡易体積算出アルゴリズム 幾何学的算出での実装1

実装にあたっての戦略 実践 今回から、チェスボードを基準とした簡易体積算出アルゴリズムを実装していきます。 実装にあたっての戦略 前回は幾何学的算出の実現可能性について検討しました。 実装にあたり、流れを整理しましょう。 まず、チェスボードの印…

【第2回】5W1H抽出AI 抽出器の検討1

新しい手法 実行結果1 実行結果2 実行結果3 おわりに 新しい手法 前回のCBSPを参考に、5W1Wを抽出する方法を考えました。 ステップ1 テキストをMeCabを用いて形態素解析 ステップ2 固有名詞を抜き出し、特徴的なパターン(oo病院、xx時など)と一部一致したら…