Writing researches takes an enormous amount of time and efforts.. The purpose of this section of my homepage is that, I believe, by introducing some of my works in my hompage for public, I would feel motivated to proceed my works and to share some of my data. I would truly appreciate if you could share your opinions and ideas regarding my works and even give me some suggestions and advices. Thank you in advance.

Introduction

Reseach question

1. Can students improve thier TOEIC scores within 4 days of instruction on the test taking strategies and practicing the test questions?

Method

Participants

The participants are 30 students who took TOEIC Intensice Course during summer section at Ibaraki University. For the rest including the text and the lesson plans, please see the lesson plans in this homepage.

Procedure

Students were required to take the same form of TOEIC exam twice as a pre-test and post-test. The text form is taken from TOEIC　公式ガイド（TOEIC運営会,　1998）.

Analysis

SPSS 9.00 is used for analysing these data to compare the mean difference between the pre-test and post-test. Pair samples statistic analysis is used for this case.

Results

Post / Pretest

1: 300.00 115.00
2: 350.00 280.00
3: 385.00 175.00
4: 405.00 315.00
5: 605.00 520.00
6: 430.00 355.00
7: 570.00 445.00
8: 495.00 315.00
9: 240.00 340.00
10: 555.00 430.00
11: 425.00 410.00
12: 445.00 380.00
13: 495.00 350.00
14: 410.00 410.00
15: 465.00 330.00
16: 435.00 320.00
17: 375.00 360.00
18: 440.00 350.00
19: 430.00 300.00
20: 325.00 265.00
21: 400.00 320.00
22: 310.00 270.00
23: 420.00 305.00
24: 310.00 255.00
25: 475.00 355.00
26: 555.00 455.00
27: 255.00 245.00
28: 290.00 145.00
29: 455.00 505.00

Paired Samples Test

Paired Difference

T value: 6.77
df: 29 .000
Sig. (2-tailed): .000
Mean: 87.8333
Std. Deviation: 71.0595
Std. Error Mean: 12.9736

95% Confidence Interval of the Difference
Lower : 61.2993
Upper : 114.3674

Result

The average difference between the post-test and pre-test values is 87.83 points. The standard deviation of the difference is 29.00 points. The 95% confidence interval for the average difference is from 61.30 to 114.38. Since the confidence interval does not include the value of 0, I can reject the null hyothesis that the average difference between the two tests in the population is 0. Or, an equivalent way of testing the hypothesis is that the significance level is small in this case, p<.000 meaing that the null hypothesis is rejected. Another way of looking at this result is to check the critical value of t. The critical value of t turns out to be 2.045. Since the observed value was 6.77, and its absolute value does exceed the critical value of 2.045, I can say that p<.05. In other words, the probability is less than the traditional 5 percent level, so I can say that there is less than a 5 percent probability that the observed diffierence in means was to to chance factors. Conversely, I can say that I am 95 percent sure that the observed difference was due to factors other than chance. Therefore, it is statistically proven that the same group of students has made the drastical improvement in their test-scores.

Discussion

TOEIC is a profeciency test to measure the test-takers' over-all English prociency level. Even though practice effects might affect the students' performance on the post-test by practicing the same form of test twice and taking many questions during the course, the test score should not drastically change. In other words, if the students' test scores change within the short amount of time, it is no longer the test for over-all profeciency. It is rather the matter of the test taking stategies and the practice effects.

This research is still in progress and needs more participants. To be qualified as a quantitive reasearch it is said that more than 100 participants are desirabe to maintain the quality of the reseach as well as the reliability of the data. Furthermore, to minimize the practice effects of testing the same tests as a pre and post-test should be avoided to maximize the reliability of this research.

References:

SPSS 9.00

Norusis, M. (2000). SPSS 10.0: Guide to Data Analysis. New Jersey; Prentifce-Hall.

Likert-Scale Subjective Needs Analysis Survey

Introduction

Statement of purpose

1. Prior to teaching English Communication II, III, by conducting needs survey, I as a teacher can deepened the understanding of the students' needs so that I can design a course that likely satisfies their learning needs.

Methods

Participants

56 students taking English Communication II, III are the participants in the survey.

Material

Likert-scale subjective needs analysis battery (see below) is used as a survey to assess the students' learning needs.

procedure

I instructed the purpose of this survey and conducted this survey at the end of 1st semester in the year of 2001.

Analysis

The descriptive statistics is used to calculate the result using SPSS 9.00. Then, Cronback Alpha is calculated to measure the internal-consistency reliability of the battery.

Survey　Result

Descriptive Statistics
　　　　　　　　N 　　　Minimum Maximum 　Mean 　Std. Deviation
TESTS 　　　54 　　　　　1 　　　　　5 　　　3.81　　　 0.99
COMMUNIC 55 　　　　　2 　　　　　5 　　　4.38　　　 0.73
PROMOTIO 56 　　　　　1 　　　　　5 　　　3.98　　　 0.94
ABROAD 　　55 　　　　　3　　　　　 5 　　　4.33 　　　0.77
FOREIGNC 　56 　　　　　1 　　　　　5 　　　3.55 　　　1.11
LICENSE 　　55 　　　　　1 　　　　　5 　　　3.4 　　　　0.93
READING 　　56 　　　　　1 　　　　　5 　　　3.25　　　 1.07
LISTENIN 　　56　　　　　 2　　　　　 5　　　 4.18　　　 0.81
WRITING 　　56 　　　　　1 　　　　　5 　　　　2.79 　　0.99
SPEAKING 　56 　　　　　1 　　　　　5 　　　4.23　　　 0.97
SPECIALR 　55 　　　　　1 　　　　　5 　　　2.45　　　 1.18
NEWSPAPE 56 　　　　　1　　　　　 5 　　　　3 　　　　1.24
NOVELS 　　56 　　　　　1 　　　　　5 　　　3.36 　　　1.23　
EXTENSIR 　56 　　　　　1 　　　　　5 　　　3.2 　　　　1.02
INTENSR 　　56 　　　　　1　　　　　 5 　　　2.52 　　　1.04
TEOIC 　　　　56 　　　　　1　　　　　 5 　　　3.09 　　　1.24
DRAMAMOV 56 　　　　　1 　　　　　5 　　　4.23　　　 0.97
LIS.TAPE 　　56 　　　　　1　　　　　 5 　　　3.23　　　 1.18
LIS.MUSI 　　56 　　　　　1 　　　　　5 　　　4.30　　　 1.13
LIS.SPEE 　　56 　　　　　1 　　　　　5 　　　2.66　　　 1.16
LETTER 　　　56 　　　　　1　　　　　 5 　　　3.43 　　　1.17
DIARY 　　　　56 　　　　　1　　　　　 5　　　 2.911 　　　1.24
REPORT 　　56 　　　　　1 　　　　　　5 　　　2.39　　　 1.14
RESUME 　　56 　　　　　1 　　　　　　5 　　　2.61　　　 1.17
PRESEN 　　56 　　　　　1 　　　　　　5 　　　2.86 　　　1.017
DEBATE 　　56 　　　　　1 　　　　　　5 　　　3.25 　　　1.21
DISCUSS 　　56 　　　　　1　　　　　　 5 　　　3.25 　　1.22
PAIRTALK 　56 　　　　　1 　　　　　　5 　　　3.25 　　　1.24
FREETALK 　56 　　　　　1 　　　　　　5 　　　3.30 　　　1.31
TEXTS 　　　56 　　　　　　1　　　　　　 5 　　2.94　 　　1.15
AUTHTEXT 　56 　　　　　2 　　　　　　5 　　4.34 　　　　0.96
TESTTEXT 　56 　　　　　1 　　　　　　5 　　2.82　　　　 1.10
RIGIDSYL 　　56 　　　　　1 　　　　　5 　　　2.70 　　　　0.85
FLEXSYLL 　56 　　　　　2 　　　　　5 　　　　4.02 　　　0.98
ATTENDAN 　56 　　　　　1 　　　　　5 　　　4.07　　　　 1.10
PAPERTES 　56 　　　　　1 　　　　　5 　　　2.52 　　　　0.97
PERFTEST 　54 　　　　　1 　　　　　　5 　　3.07　　　　 1.13
Valid N (listwise) 49

R E L I A B I L I T Y A N A L Y S I S - S C A L E (A L P H A）

Reliability Coefficients

N of Cases = 49.0 　　　　N of Items = 37

Alpha = .8658

Discussion

Not to my surprise, the descriptive statistics shows that the students want to learn the communication skills, mainly speaking and listening, that is the main purpose of English Communication II & III and the students show strong resistance in studying intensive reading. Also, by looking at the means of PAPERTES and PERFTEST, not too many students show postive attitude towards neither of test-takings: 2.52 and 3.07 respectively. Surprisingly the students prefer using authenctic text (AUTHTEST) such as drama/movie (DRAMAMOV) and music (LISMUSIC): the means of 4.34, 4.23, and 4.30, respectively. The most surprisingly the students favor a course with no particular plan of lessons (FLEXSYLL), and on the contrary, a rigid management of the course with set plans is not prefered (RIGIDSYL): the mean of 4.02 and 2.70 respectively.

As the internal-consistancy reliability of this survey, .87, shows, the battery is proven to maintain the high consistancy.

Also, getting more numbers of participants is likely to lead more reliable data.

Validating this survey battery is necessary to prove that it is measuring the learners' needs. Therefore, factor analysis is the next step to validate it. Also, clarifying or adding more survey questions is necessary to maximize the loadings of the factor analysis to argue for the convergent validy by making questions logically related (Brown, 2001).

Likert-scale subjective needs analysis battery

１．あなたにとって、なぜ英語能力、技能が必要だと思いますか？また、将来必要になると思いますか？１は全く必要ではない、５は絶対に必要とし、一つまるを付けてください。
a. TOEIC/英検高得点 １（全く重要ではない）　２　３　４　５（絶対重要）
b. 母国語話者とコミュニケーション １　２　３　４　５
c. 進級/昇進　 １　２　３　４　５
d. 海外旅行/留学/勤務 １　２　３　４　５
e. 外資系の会社勤務　 １　２　３　４　５
f. 特殊免許取得　 １　２　３　４　５
h. その他＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿

２． 後期ECIIIではどの技能を学びたいですか？　１は全く興味がない、５は大変興味があるとし、一つまるをつけてください。
a. リーディング　 １（全く興味がない）　２　３　４　５（大変興味がある）
b. リスニング　 １　２　３　４　５
c. ライティング　 １　２　３　４　５
d. スピィーキング　 １　２　３　４　５

３．では、実際授業内ではどのような練習をしたいですか？　１は全く興味がない、５は大変興味があるとし、一つまるをつけてください。
a. 専門文献書を読む　 １（全く興味がない）　２　３　４　５（大変興味がある）
b. 英字新聞を読む　 １　２　３　４　５
c. 英語で小説などを読む　 １　２　３　４　５
d. 好きな教材を多読　 １　２　３　４　５
e. 文法解説、読解、精読　 １　２　３　４　５
f. TOEIC/TOEFLの問題を解く １　２　３　４　５
g. ドラマ/映画をみる　 １　２　３　４　５
h. テープ教材をきく　 １　２　３　４　５
i. 洋楽観賞　 １　２　３　４　５
j. 過去の学生さんのスピーチをみる １　２　３　４　５
k. 手紙/メールを書く １　２　３　４　５
l. 日記を書く １　２　３　４　５
m. レポートを書く １　２　３　４　５
n. 履歴書を書く １　２　３　４　５
o. プレゼンテーション １　２　３　４　５
p. ディベート １　２　３　４　５
q. ディスカッション １　２　３　４　５
r. ペアトーク １　２　３　４　５
s. フリートーキング １　２　３　４　５
t. その他＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿

４．授業運営一般についてあなたの意見をお聞かせ下さい。　１は不賛成、５は賛成とし、一つまるをつけてください。
a. １または２つ市販のﾃｷｽﾄ使用 １（不賛成）２　３　４　５（賛成）
b. 生教材（新聞、ビデオ、映画など）の使用 １　２　３　４　５
c. ﾃｽﾄ対策教材、またはﾃｽﾄを教材に使用 １　２　３　４　５
d. シラバス通りの運営 １　２　３　４　５
e. 融通が利くシラバス １　２　３　４　５
d. 出席を評価に入れる １　２　３　４　５
e. ペーパーﾃｽﾄ（四択、穴埋めなど）の使用 １　２　３　４　５
e. パフォーﾏﾝスﾃｽﾄ（ﾌﾟﾚゼン、レポート、ドラマ）の使用　１　２　３　４　５
他にこうしてほしい、これをやってほしい、ああしてほしいなどありましたら裏に書いてください。
ご協力ありがとうございます。

Refferences:

J.D. Brown. (1996). Elements in Language Curriculum. Heinle & Heinle.

J.D. Brown. (2001). Using surverys in Language Programs. Cambrige: CUP.

J.D. Brown (2001). What is an eigenvalue? Shiken: JALT Testing&Evaluation SIG Newsletter, Vol. 5, No. 1.