From e64fbbdc9b434e7a51eb1b0c918b03ceeca84139 Mon Sep 17 00:00:00 2001 From: Alex Black Date: Fri, 1 May 2020 17:32:29 +1000 Subject: [PATCH] Re-enable datavec-geo and datavec-hadoop as module in pom.xml; update imports (#425) * Re-enable datavec-geo and datavec-hadoop as module in pom.xml; update imports Signed-off-by: Alex Black * Fix parent pom and cyclical dependency Signed-off-by: Alex Black --- datavec/datavec-data/datavec-data-nlp/pom.xml | 7 +++++++ datavec/datavec-data/datavec-geo/pom.xml | 2 +- .../api/transform/reduce/geo/CoordinatesReduction.java | 2 +- .../datavec/api/transform/transform/geo/GeoIPFetcher.java | 4 ++-- .../datavec/api/transform/AssertTestsExtendBaseClass.java | 5 +++-- datavec/datavec-data/datavec-hadoop/pom.xml | 2 +- .../datavec/hadoop/records/reader/mapfile/IndexToKey.java | 2 +- .../hadoop/records/reader/mapfile/MapFileReader.java | 2 +- .../records/reader/mapfile/MapFileRecordReader.java | 2 +- .../reader/mapfile/MapFileSequenceRecordReader.java | 2 +- .../records/reader/mapfile/index/LongIndexToKey.java | 3 +-- .../org/datavec/hadoop/AssertTestsExtendBaseClass.java | 5 +++-- .../hadoop/records/reader/TestMapFileRecordReader.java | 2 +- .../reader/TestMapFileRecordReaderMultipleParts.java | 4 ++-- .../TestMapFileRecordReaderMultiplePartsSomeEmpty.java | 4 ++-- datavec/datavec-data/pom.xml | 8 ++------ 16 files changed, 30 insertions(+), 26 deletions(-) diff --git a/datavec/datavec-data/datavec-data-nlp/pom.xml b/datavec/datavec-data/datavec-data-nlp/pom.xml index c72b56103..fb30b93e7 100644 --- a/datavec/datavec-data/datavec-data-nlp/pom.xml +++ b/datavec/datavec-data/datavec-data-nlp/pom.xml @@ -67,6 +67,13 @@ ${nd4j.version} test + + + org.datavec + datavec-local + ${project.version} + test + diff --git a/datavec/datavec-data/datavec-geo/pom.xml b/datavec/datavec-data/datavec-geo/pom.xml index 1d44bcfe7..f88bc84d1 100644 --- a/datavec/datavec-data/datavec-geo/pom.xml +++ b/datavec/datavec-data/datavec-geo/pom.xml @@ -18,7 +18,7 @@ - datavec-parent + datavec-data org.datavec 1.0.0-SNAPSHOT diff --git a/datavec/datavec-data/datavec-geo/src/main/java/org/datavec/api/transform/reduce/geo/CoordinatesReduction.java b/datavec/datavec-data/datavec-geo/src/main/java/org/datavec/api/transform/reduce/geo/CoordinatesReduction.java index 5b9c2a2d2..d5e9e3439 100644 --- a/datavec/datavec-data/datavec-geo/src/main/java/org/datavec/api/transform/reduce/geo/CoordinatesReduction.java +++ b/datavec/datavec-data/datavec-geo/src/main/java/org/datavec/api/transform/reduce/geo/CoordinatesReduction.java @@ -27,7 +27,7 @@ import org.datavec.api.transform.schema.Schema; import org.datavec.api.writable.DoubleWritable; import org.datavec.api.writable.Text; import org.datavec.api.writable.Writable; -import org.nd4j.linalg.function.Supplier; +import org.nd4j.common.function.Supplier; import java.util.ArrayList; import java.util.Collections; diff --git a/datavec/datavec-data/datavec-geo/src/main/java/org/datavec/api/transform/transform/geo/GeoIPFetcher.java b/datavec/datavec-data/datavec-geo/src/main/java/org/datavec/api/transform/transform/geo/GeoIPFetcher.java index 17c85d9f4..7868b0044 100644 --- a/datavec/datavec-data/datavec-geo/src/main/java/org/datavec/api/transform/transform/geo/GeoIPFetcher.java +++ b/datavec/datavec-data/datavec-geo/src/main/java/org/datavec/api/transform/transform/geo/GeoIPFetcher.java @@ -17,8 +17,8 @@ package org.datavec.api.transform.transform.geo; import org.apache.commons.io.FileUtils; -import org.nd4j.base.Preconditions; -import org.nd4j.util.ArchiveUtils; +import org.nd4j.common.base.Preconditions; +import org.nd4j.common.util.ArchiveUtils; import org.slf4j.Logger; import org.slf4j.LoggerFactory; diff --git a/datavec/datavec-data/datavec-geo/src/test/java/org/datavec/api/transform/AssertTestsExtendBaseClass.java b/datavec/datavec-data/datavec-geo/src/test/java/org/datavec/api/transform/AssertTestsExtendBaseClass.java index 7d4a6836c..3a01a1c4b 100644 --- a/datavec/datavec-data/datavec-geo/src/test/java/org/datavec/api/transform/AssertTestsExtendBaseClass.java +++ b/datavec/datavec-data/datavec-geo/src/test/java/org/datavec/api/transform/AssertTestsExtendBaseClass.java @@ -16,9 +16,10 @@ package org.datavec.api.transform; import lombok.extern.slf4j.Slf4j; +import org.nd4j.common.tests.AbstractAssertTestsClass; +import org.nd4j.common.tests.BaseND4JTest; + import java.util.*; -import org.nd4j.AbstractAssertTestsClass; -import org.nd4j.BaseND4JTest; /** * This class checks that all test classes (i.e., anything with one or more methods annotated with @Test) diff --git a/datavec/datavec-data/datavec-hadoop/pom.xml b/datavec/datavec-data/datavec-hadoop/pom.xml index a6c72b968..fb7eee69c 100644 --- a/datavec/datavec-data/datavec-hadoop/pom.xml +++ b/datavec/datavec-data/datavec-hadoop/pom.xml @@ -18,7 +18,7 @@ - datavec-parent + datavec-data org.datavec 1.0.0-SNAPSHOT diff --git a/datavec/datavec-data/datavec-hadoop/src/main/java/org/datavec/hadoop/records/reader/mapfile/IndexToKey.java b/datavec/datavec-data/datavec-hadoop/src/main/java/org/datavec/hadoop/records/reader/mapfile/IndexToKey.java index 61554c734..56a751953 100644 --- a/datavec/datavec-data/datavec-hadoop/src/main/java/org/datavec/hadoop/records/reader/mapfile/IndexToKey.java +++ b/datavec/datavec-data/datavec-hadoop/src/main/java/org/datavec/hadoop/records/reader/mapfile/IndexToKey.java @@ -19,7 +19,7 @@ package org.datavec.hadoop.records.reader.mapfile; import org.apache.hadoop.io.MapFile; import org.apache.hadoop.io.Writable; import org.apache.hadoop.io.WritableComparable; -import org.nd4j.linalg.primitives.Pair; +import org.nd4j.common.primitives.Pair; import java.io.IOException; import java.util.List; diff --git a/datavec/datavec-data/datavec-hadoop/src/main/java/org/datavec/hadoop/records/reader/mapfile/MapFileReader.java b/datavec/datavec-data/datavec-hadoop/src/main/java/org/datavec/hadoop/records/reader/mapfile/MapFileReader.java index 5de322731..f5b28847e 100644 --- a/datavec/datavec-data/datavec-hadoop/src/main/java/org/datavec/hadoop/records/reader/mapfile/MapFileReader.java +++ b/datavec/datavec-data/datavec-hadoop/src/main/java/org/datavec/hadoop/records/reader/mapfile/MapFileReader.java @@ -23,9 +23,9 @@ import org.apache.hadoop.io.SequenceFile; import org.apache.hadoop.io.Writable; import org.apache.hadoop.io.WritableComparable; import org.apache.hadoop.util.ReflectionUtils; -import org.nd4j.linalg.primitives.Pair; import org.datavec.hadoop.records.reader.mapfile.index.LongIndexToKey; import org.datavec.hadoop.records.reader.mapfile.record.RecordWritable; +import org.nd4j.common.primitives.Pair; import java.io.Closeable; import java.io.IOException; diff --git a/datavec/datavec-data/datavec-hadoop/src/main/java/org/datavec/hadoop/records/reader/mapfile/MapFileRecordReader.java b/datavec/datavec-data/datavec-hadoop/src/main/java/org/datavec/hadoop/records/reader/mapfile/MapFileRecordReader.java index eca29b3b9..df649f8e4 100644 --- a/datavec/datavec-data/datavec-hadoop/src/main/java/org/datavec/hadoop/records/reader/mapfile/MapFileRecordReader.java +++ b/datavec/datavec-data/datavec-hadoop/src/main/java/org/datavec/hadoop/records/reader/mapfile/MapFileRecordReader.java @@ -26,7 +26,7 @@ import org.datavec.api.split.InputSplit; import org.datavec.api.writable.Writable; import org.datavec.hadoop.records.reader.mapfile.index.LongIndexToKey; import org.datavec.hadoop.records.reader.mapfile.record.RecordWritable; -import org.nd4j.linalg.util.MathUtils; +import org.nd4j.common.util.MathUtils; import java.io.DataInputStream; import java.io.File; diff --git a/datavec/datavec-data/datavec-hadoop/src/main/java/org/datavec/hadoop/records/reader/mapfile/MapFileSequenceRecordReader.java b/datavec/datavec-data/datavec-hadoop/src/main/java/org/datavec/hadoop/records/reader/mapfile/MapFileSequenceRecordReader.java index 237f9fd38..3a0513132 100644 --- a/datavec/datavec-data/datavec-hadoop/src/main/java/org/datavec/hadoop/records/reader/mapfile/MapFileSequenceRecordReader.java +++ b/datavec/datavec-data/datavec-hadoop/src/main/java/org/datavec/hadoop/records/reader/mapfile/MapFileSequenceRecordReader.java @@ -28,7 +28,7 @@ import org.datavec.api.split.InputSplit; import org.datavec.api.writable.Writable; import org.datavec.hadoop.records.reader.mapfile.index.LongIndexToKey; import org.datavec.hadoop.records.reader.mapfile.record.SequenceRecordWritable; -import org.nd4j.linalg.util.MathUtils; +import org.nd4j.common.util.MathUtils; import java.io.DataInputStream; import java.io.File; diff --git a/datavec/datavec-data/datavec-hadoop/src/main/java/org/datavec/hadoop/records/reader/mapfile/index/LongIndexToKey.java b/datavec/datavec-data/datavec-hadoop/src/main/java/org/datavec/hadoop/records/reader/mapfile/index/LongIndexToKey.java index 1976f06df..6e9225a4a 100644 --- a/datavec/datavec-data/datavec-hadoop/src/main/java/org/datavec/hadoop/records/reader/mapfile/index/LongIndexToKey.java +++ b/datavec/datavec-data/datavec-hadoop/src/main/java/org/datavec/hadoop/records/reader/mapfile/index/LongIndexToKey.java @@ -18,11 +18,10 @@ package org.datavec.hadoop.records.reader.mapfile.index; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.MapFile; -import org.apache.hadoop.io.SequenceFile; import org.apache.hadoop.io.Writable; import org.apache.hadoop.util.ReflectionUtils; -import org.nd4j.linalg.primitives.Pair; import org.datavec.hadoop.records.reader.mapfile.IndexToKey; +import org.nd4j.common.primitives.Pair; import java.io.IOException; import java.util.ArrayList; diff --git a/datavec/datavec-data/datavec-hadoop/src/test/java/org/datavec/hadoop/AssertTestsExtendBaseClass.java b/datavec/datavec-data/datavec-hadoop/src/test/java/org/datavec/hadoop/AssertTestsExtendBaseClass.java index 2aaf25041..7464b95b6 100644 --- a/datavec/datavec-data/datavec-hadoop/src/test/java/org/datavec/hadoop/AssertTestsExtendBaseClass.java +++ b/datavec/datavec-data/datavec-hadoop/src/test/java/org/datavec/hadoop/AssertTestsExtendBaseClass.java @@ -16,9 +16,10 @@ package org.datavec.hadoop; import lombok.extern.slf4j.Slf4j; +import org.nd4j.common.tests.AbstractAssertTestsClass; +import org.nd4j.common.tests.BaseND4JTest; + import java.util.*; -import org.nd4j.AbstractAssertTestsClass; -import org.nd4j.BaseND4JTest; /** * This class checks that all test classes (i.e., anything with one or more methods annotated with @Test) * extends BaseND4jTest - either directly or indirectly. diff --git a/datavec/datavec-data/datavec-hadoop/src/test/java/org/datavec/hadoop/records/reader/TestMapFileRecordReader.java b/datavec/datavec-data/datavec-hadoop/src/test/java/org/datavec/hadoop/records/reader/TestMapFileRecordReader.java index 58f7a57db..2402150fe 100644 --- a/datavec/datavec-data/datavec-hadoop/src/test/java/org/datavec/hadoop/records/reader/TestMapFileRecordReader.java +++ b/datavec/datavec-data/datavec-hadoop/src/test/java/org/datavec/hadoop/records/reader/TestMapFileRecordReader.java @@ -16,6 +16,7 @@ package org.datavec.hadoop.records.reader; +import org.nd4j.common.util.MathUtils; import org.nd4j.shade.guava.io.Files; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; @@ -36,7 +37,6 @@ import org.junit.AfterClass; import org.junit.BeforeClass; import org.junit.Test; import org.nd4j.linalg.factory.Nd4j; -import org.nd4j.linalg.util.MathUtils; import java.io.File; import java.io.IOException; diff --git a/datavec/datavec-data/datavec-hadoop/src/test/java/org/datavec/hadoop/records/reader/TestMapFileRecordReaderMultipleParts.java b/datavec/datavec-data/datavec-hadoop/src/test/java/org/datavec/hadoop/records/reader/TestMapFileRecordReaderMultipleParts.java index 1cbe47176..ad42a0dfb 100644 --- a/datavec/datavec-data/datavec-hadoop/src/test/java/org/datavec/hadoop/records/reader/TestMapFileRecordReaderMultipleParts.java +++ b/datavec/datavec-data/datavec-hadoop/src/test/java/org/datavec/hadoop/records/reader/TestMapFileRecordReaderMultipleParts.java @@ -16,6 +16,8 @@ package org.datavec.hadoop.records.reader; +import org.nd4j.common.primitives.Pair; +import org.nd4j.common.util.MathUtils; import org.nd4j.shade.guava.io.Files; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; @@ -36,8 +38,6 @@ import org.datavec.hadoop.records.reader.mapfile.record.SequenceRecordWritable; import org.junit.AfterClass; import org.junit.BeforeClass; import org.junit.Test; -import org.nd4j.linalg.primitives.Pair; -import org.nd4j.linalg.util.MathUtils; import java.io.File; import java.io.IOException; diff --git a/datavec/datavec-data/datavec-hadoop/src/test/java/org/datavec/hadoop/records/reader/TestMapFileRecordReaderMultiplePartsSomeEmpty.java b/datavec/datavec-data/datavec-hadoop/src/test/java/org/datavec/hadoop/records/reader/TestMapFileRecordReaderMultiplePartsSomeEmpty.java index faf41cbb4..c56cc054a 100644 --- a/datavec/datavec-data/datavec-hadoop/src/test/java/org/datavec/hadoop/records/reader/TestMapFileRecordReaderMultiplePartsSomeEmpty.java +++ b/datavec/datavec-data/datavec-hadoop/src/test/java/org/datavec/hadoop/records/reader/TestMapFileRecordReaderMultiplePartsSomeEmpty.java @@ -16,6 +16,8 @@ package org.datavec.hadoop.records.reader; +import org.nd4j.common.primitives.Pair; +import org.nd4j.common.util.MathUtils; import org.nd4j.shade.guava.io.Files; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; @@ -36,8 +38,6 @@ import org.datavec.hadoop.records.reader.mapfile.record.SequenceRecordWritable; import org.junit.AfterClass; import org.junit.BeforeClass; import org.junit.Test; -import org.nd4j.linalg.primitives.Pair; -import org.nd4j.linalg.util.MathUtils; import java.io.File; import java.io.IOException; diff --git a/datavec/datavec-data/pom.xml b/datavec/datavec-data/pom.xml index ef1558aab..e40d96149 100644 --- a/datavec/datavec-data/pom.xml +++ b/datavec/datavec-data/pom.xml @@ -33,6 +33,8 @@ datavec-data-codec datavec-data-image datavec-data-nlp + datavec-geo + datavec-hadoop @@ -45,12 +47,6 @@ nd4j-api ${nd4j.version} - - org.datavec - datavec-local - ${project.version} - test -