Problem Solving with Data

For those just getting started with advanced scientific computing techniques, here are four steps to efficiently turn data into decisions with business value.

Author: Ryan Swindeman, Scientific Software Developer

In the 4 minute video below, Enthought scientist Ryan Swindeman puts data into context as foundational to any digital transformation initiative, setting out four fundamental steps for data to science problems.

1. Data Preparation (or Data Conditioning): This is the essential, first step in a digital project. Data must be clean and accessible. Access to data must be quick, and reliable. The data must be cataloged or categorized, so that there is consistency in how it is reached and integrated into projects. Data preparation must be in service of addressing a business need or objective, to solve a specific problem, and not be a case of ‘we need to organize our data’.

2. Data Visualization: Visualizing data is important as a starting point to understanding a problem. This involves looking at the data in its native domain, identifying trends, and from there possibly transforming it to a different domain, cross-plotting to look for relationships, or running statistics as a way to discover features. Visualization is also a reliable way to increase efficiency in problem-solving. The understanding gained through visualization is essential for deep learning – if you do not understand the underlying trends or relationships in the data, you will not understand the outcomes produced by any AI/ML/Deep Learning.

3. Modeling and Optimization: This step uses the underlying dynamics or physics of the problem, and the applications are endless. (In geophysics, this is often called forward modeling and inversion.) Most critically, modeling and optimization allows scientists to prove (or disprove) hypotheses very quickly, enabling teams to test, iterate and change strategy, often resulting in problems being solved quickly.

4. AI/ML/Deep Learning: These advanced computing techniques are related, and differ in important ways. Unlike modeling and optimization, or inversion (which is a physics-based approach), AI/ML/Deep Learning is a data-driven approach. These techniques are beneficial if forward modeling and optimization are not possible because of a lack of understanding of the underlying physics, or if the physics leads to too many approximations. The problem-solving and analytical power of AI/ML/Deep Learning becomes obvious in pattern recognition or texture analysis.

These four steps provide a robust sequence for solving problems using data, whether a small set or large, fundamental to digital transformation projects.

 

About the Author

Ryan Swindeman, Scientific Software Developer, holds a M.S. in geophysics from the University of Texas at Austin and a B.S. in physics from the University of Illinois at Urbana-Champaign, with graduate research in computational seismology.

Share this article:

Related Content

産業用の材料と化学研究開発におけるLLMの活用

大規模言語モデル(LLM)は、すべての材料および化学研究開発組織の技術ソリューションセットに含むべき魅力的なツールであり、変革をもたらす可能性を秘めています。

Read More

デジタルトランスフォーメーション vs. デジタルエンハンスメント: 研究開発における技術イニシアティブのフレームワーク

生成AIの登場により、研究開発の方法が革新され、前例のない速さで新しい科学的発見が生まれる時代が到来しました。研究開発におけるデジタル技術の導入は、競争力を向上させることが証明されており、企業が従来のシステムやプロセスに固執することはリスクとなります。デジタルトランスフォーメーションは、科学主導の企業にとってもはや避けられない取り組みです。

Read More

R&D イノベーションサミット2024「研究開発におけるAIの大規模活用に向けて – デジタル環境で勝ち残る研究開発組織への変革」開催レポート

去る2024年5月30日に、近年注目のAIの大規模活用をテーマに、エンソート主催のプライベートイベントがミッドタウン日比谷6FのBASE Qで開催されました。

Read More

科学研究開発における小規模データの最大活用

多くの伝統的なイノベーション主導の組織では、科学データは特定の短期的な研究質問に答えるために生成され、その後は知的財産を保護するためにアーカイブされます。しかし、将来的にデータを再利用して他の関連する質問に活用することにはあまり注意が払われません。

Read More

デジタルトランスフォーメーションの実践

デジタルトランスフォーメーションは、組織のデジタル成熟度を促進し、ビジネス価値を継続的に提供するプロセスです。真にビジネスを変革するためには、イノベーションを通じて新しい可能性を発見し、企業が「デジタルDNA」を育む必要があります。

Read More

科学研究開発リーダーが知っておくべき AI 概念トップ 10

近年のAIのダイナミックな環境で、R&Dリーダーや科学者が、企業の将来を見据えたデータ戦略をより効果的に開発し、画期的な発見に向けて先導していくためには、重要なAIの概念を理解することが不可欠です。

Read More

科学における大規模言語モデルの重要性

OpenAIのChatGPTやGoogleのBardなど、大規模言語モデル(LLM)は自然言語で人と対話する能力において著しい進歩を遂げました。 ユーザーが言葉で要望を入力すれば、LLMは「理解」し、適切な回答を返してくれます。

Read More

ITは科学の成功にいかに寄与するか

科学と工学の分野においてAIと機械学習の重要性が高まるなか、企業が革新的であるためには、研究開発部門とIT部門のリーダーシップが上手く連携を取ることが重要になっています。予算やポリシー、ベンダー選択が不適切だと、重要な研究プログラムが不必要に阻害されることがあります。また反対に、「なんでもあり」という姿勢が貴重なリソースを浪費したり、組織を新たなセキュリティ上の脅威にさらしたりすることもあります。

Read More

科学データを活用して発見とイノベーションを加速する

デジタルトランスフォーメーションがもたらす変革の中心にはデータがあります。研究開発におけるデジタルトランスフォーメーションでは科学データを取り扱いますが、科学データには他の業務データと異なる特徴があり、取り扱い方に注意を払う必要があります。

Read More

Top 5 Takeaways from the American Chemical Society (ACS) 2023 Fall Meeting: R&D Data, Generative AI and More

By Mike Heiber, Ph.D., Di…

Read More