You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2024-09-20 - 06:38
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Characteristics of the highest latencies:
System rackdslot4.osadl.org (updated Fri Sep 20, 2024 00:46:29)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
3068821800,7sleep32287799cyclictest19:25:173
1135921720,8sleep32287799cyclictest21:00:243
1299911700,5ptp4l401ktimersoftd/319:06:213
2077821240,2sleep30-21swapper/321:20:273
2077821240,2sleep30-21swapper/321:20:273
3269221160,7sleep32287799cyclictest22:55:153
22434211189,10sleep20-21swapper/219:08:012
2663221060,3sleep12287599cyclictest21:35:031
564981050,14rtkit-daemon0-21swapper/019:09:440
22874999436,5cyclictest9-21ksoftirqd/023:10:010
22874999435,5cyclictest9-21ksoftirqd/020:30:010
22877999279,8cyclictest41-21ksoftirqd/322:30:113
22874999234,5cyclictest9-21ksoftirqd/023:30:160
22874999033,8cyclictest9-21ksoftirqd/020:45:210
22874998833,5cyclictest9-21ksoftirqd/000:25:110
22874998832,5cyclictest9-21ksoftirqd/023:25:000
221632880,8sleep32287799cyclictest21:25:133
221632880,8sleep32287799cyclictest21:25:133
22874998733,5cyclictest9-21ksoftirqd/000:35:010
22874998733,4cyclictest9-21ksoftirqd/021:40:000
22874998632,5cyclictest9-21ksoftirqd/021:20:140
22874998632,5cyclictest9-21ksoftirqd/021:20:140
22876998434,11cyclictest33-21ksoftirqd/221:30:252
22876998431,5cyclictest33-21ksoftirqd/200:30:282
22874998433,5cyclictest9-21ksoftirqd/020:20:190
22874998430,4cyclictest9-21ksoftirqd/022:15:210
22874998427,7cyclictest9-21ksoftirqd/019:10:200
22874998425,5cyclictest9-21ksoftirqd/000:40:010
22876998334,9cyclictest33-21ksoftirqd/222:25:012
22874998330,5cyclictest9-21ksoftirqd/000:20:280
22874998329,5cyclictest9-21ksoftirqd/019:45:260
22877998269,7cyclictest41-21ksoftirqd/320:30:103
22876998233,10cyclictest33-21ksoftirqd/200:00:232
22874998230,4cyclictest9-21ksoftirqd/020:00:260
22874998229,5cyclictest9-21ksoftirqd/022:10:120
22876998132,10cyclictest33-21ksoftirqd/220:45:162
22876998132,10cyclictest33-21ksoftirqd/220:30:252
22874998129,9cyclictest9-21ksoftirqd/000:00:020
22874998129,5cyclictest9-21ksoftirqd/023:35:160
22874998128,5cyclictest9-21ksoftirqd/020:30:190
22874998127,7cyclictest9-21ksoftirqd/019:55:010
22874998127,5cyclictest9-21ksoftirqd/020:55:220
22874998126,5cyclictest9-21ksoftirqd/023:15:010
22874998126,4cyclictest9-21ksoftirqd/021:55:000
153152810,2sleep30-21swapper/300:35:173
22876998032,10cyclictest33-21ksoftirqd/222:50:292
22876998032,10cyclictest33-21ksoftirqd/222:50:292
22876998031,10cyclictest33-21ksoftirqd/221:10:112
22874998028,5cyclictest9-21ksoftirqd/020:40:240
22874998028,5cyclictest9-21ksoftirqd/019:15:140
22874998028,4cyclictest9-21ksoftirqd/023:44:590
22874998027,5cyclictest9-21ksoftirqd/019:20:200
22874998026,5cyclictest9-21ksoftirqd/023:55:250
22876997934,11cyclictest33-21ksoftirqd/200:20:252
22876997930,10cyclictest33-21ksoftirqd/221:15:252
22874997928,5cyclictest9-21ksoftirqd/020:50:230
22874997926,5cyclictest9-21ksoftirqd/021:55:290
22876997831,11cyclictest33-21ksoftirqd/220:00:252
22876997829,10cyclictest33-21ksoftirqd/221:50:262
22876997828,10cyclictest33-21ksoftirqd/221:45:232
22874997828,10cyclictest9-21ksoftirqd/000:05:130
22874997827,5cyclictest9-21ksoftirqd/019:35:120
22874997825,4cyclictest9-21ksoftirqd/023:50:150
2229227756,10sleep10-21swapper/119:06:181
22876997634,5cyclictest33-21ksoftirqd/220:40:242
22876997630,5cyclictest33-21ksoftirqd/222:25:272
22876997630,5cyclictest33-21ksoftirqd/200:35:162
22876997626,9cyclictest33-21ksoftirqd/200:10:302
22874997527,5cyclictest9-21ksoftirqd/021:20:000
22877997461,8cyclictest41-21ksoftirqd/321:50:123
22877997439,5cyclictest41-21ksoftirqd/321:50:013
22876997434,8cyclictest33-21ksoftirqd/219:10:262
22876997429,10cyclictest33-21ksoftirqd/222:15:142
22876997336,10cyclictest33-21ksoftirqd/220:15:012
22876997335,4cyclictest33-21ksoftirqd/222:05:292
22876997332,5cyclictest33-21ksoftirqd/223:08:252
22876997231,5cyclictest33-21ksoftirqd/223:30:292
304522690,4sleep09-21ksoftirqd/019:25:140
22877996957,6cyclictest41-21ksoftirqd/320:10:133
2287699695,8cyclictest2989-21cat00:10:002
22877996817,9cyclictest41-21ksoftirqd/322:40:003
2287699686,8cyclictest11619-21gpgv19:55:002
2287699686,8cyclictest11619-21gpgv19:55:002
2287499685,9cyclictest9-21ksoftirqd/019:55:010
22877996715,9cyclictest41-21ksoftirqd/323:35:253
2287699656,8cyclictest23083-21sed20:15:302
2287699655,8cyclictest2967-21fschecks_time19:35:162
2287699653,7cyclictest22483-21grep22:35:002
22874996540,11cyclictest9-21ksoftirqd/022:00:140
22877996452,6cyclictest41-21ksoftirqd/321:15:123
22877996452,6cyclictest41-21ksoftirqd/320:00:113
22877996421,4cyclictest41-21ksoftirqd/319:40:293
2287699645,9cyclictest25879-21if_enp1s019:15:172
2287699645,8cyclictest16892-21cut20:05:112
22874996441,4cyclictest9-21ksoftirqd/020:10:210
22874996434,3cyclictest9-21ksoftirqd/022:25:150
2287699635,7cyclictest28195-21ls21:35:282
2287699634,8cyclictest5771-21grep00:15:142
2287699634,8cyclictest5771-21grep00:15:142
2287699634,8cyclictest321ktimersoftd/222:10:162
22876996331,9cyclictest33-21ksoftirqd/219:55:182
22877996219,5cyclictest41-21ksoftirqd/322:50:003
22876996231,9cyclictest33-21ksoftirqd/219:20:282
22876996230,8cyclictest33-21ksoftirqd/222:45:142
22877996148,7cyclictest41-21ksoftirqd/323:34:523
22877996123,5cyclictest41-21ksoftirqd/322:45:003
22877996120,6cyclictest41-21ksoftirqd/319:20:293
2287699614,9cyclictest20938-21grep21:20:292
2287699614,9cyclictest20938-21grep21:20:292
2287699614,8cyclictest19069-21fschecks_time23:35:162
22876996130,8cyclictest33-21ksoftirqd/222:35:452
2287499616,7cyclictest9-21ksoftirqd/022:24:590
22874996154,4cyclictest9-21ksoftirqd/022:45:100
22874996140,9cyclictest9-21ksoftirqd/021:30:130
2287499611,9cyclictest21794-21ls22:30:280
129991610,2ptp4l401ktimersoftd/320:35:553
22877996050,5cyclictest41-21ksoftirqd/322:25:123
22877996025,4cyclictest41-21ksoftirqd/300:05:153
22877996024,5cyclictest41-21ksoftirqd/322:00:163
22877996023,4cyclictest41-21ksoftirqd/300:30:003
2287699605,8cyclictest321ktimersoftd/223:00:212
2287699603,9cyclictest4649-21irqrtprio21:55:242
2287699603,8cyclictest22826-21missed_timers21:25:222
2287699603,8cyclictest22826-21missed_timers21:25:222
22876996030,9cyclictest33-21ksoftirqd/219:40:142
22876996028,5cyclictest33-21ksoftirqd/221:00:112
2287499607,8cyclictest9-21ksoftirqd/021:25:200
2287499607,8cyclictest9-21ksoftirqd/021:25:200
22874996046,4cyclictest9-21ksoftirqd/023:20:000
2287499603,7cyclictest9-21ksoftirqd/022:40:120
22874996037,4cyclictest9-21ksoftirqd/023:45:110
2287499601,3cyclictest121rcu_preempt00:15:000
75452590,2sleep20-21swapper/222:00:252
22877995947,6cyclictest41-21ksoftirqd/300:10:123
22877995923,5cyclictest41-21ksoftirqd/319:35:203
22877995922,4cyclictest41-21ksoftirqd/320:20:243
2287699594,8cyclictest321ktimersoftd/223:20:192
2287699593,7cyclictest321ktimersoftd/221:40:162
2287699592,7cyclictest321ktimersoftd/223:40:262
2287699592,7cyclictest24519-21cut20:20:202
22874995937,9cyclictest9-21ksoftirqd/021:50:000
22874995937,8cyclictest9-21ksoftirqd/021:10:250
22874995936,9cyclictest9-21ksoftirqd/022:35:150
22874995936,10cyclictest9-21ksoftirqd/021:00:170
129991590,7ptp4l2287799cyclictest23:09:013
22877995826,8cyclictest41-21ksoftirqd/320:25:123
22877995823,4cyclictest41-21ksoftirqd/321:15:003
22877995822,5cyclictest41-21ksoftirqd/323:00:153
22877995822,4cyclictest41-21ksoftirqd/319:34:593
22877995816,5cyclictest41-21ksoftirqd/323:55:003
2287699584,8cyclictest11806-21ls00:25:282
2287699583,8cyclictest519-21irqrtprio22:55:182
2287699583,7cyclictest12583-21grep21:05:132
2287699581,8cyclictest27152-21latency_hist22:45:002
2287499587,8cyclictest9-21ksoftirqd/020:35:170
2287499586,6cyclictest9-21ksoftirqd/020:15:240
2287499586,6cyclictest9-21ksoftirqd/019:50:250
2287499583,9cyclictest9-21ksoftirqd/022:05:160
2287499583,3cyclictest121rcu_preempt00:15:140
2287499583,3cyclictest121rcu_preempt00:15:140
22877995737,5cyclictest41-21ksoftirqd/320:40:223
22877995722,5cyclictest41-21ksoftirqd/320:45:293
22877995721,4cyclictest41-21ksoftirqd/319:15:163
22877995719,5cyclictest41-21ksoftirqd/300:20:003
22877995719,5cyclictest41-21ksoftirqd/300:20:003
22877995719,4cyclictest41-21ksoftirqd/320:51:343
2287799571,4cyclictest121rcu_preempt00:00:063
2287699572,8cyclictest24282-21sed23:45:202
2287699572,7cyclictest321ktimersoftd/223:50:132
22876995726,10cyclictest33-21ksoftirqd/219:30:142
2287699571,8cyclictest28122-21cpuspeed_turbos23:55:122
2287499574,8cyclictest9-21ksoftirqd/020:10:010
22874995737,9cyclictest9-21ksoftirqd/023:00:120
22874995736,10cyclictest9-21ksoftirqd/019:40:200
2287499573,3cyclictest121rcu_preempt21:10:000
22877995623,4cyclictest41-21ksoftirqd/322:15:263
22877995621,4cyclictest41-21ksoftirqd/322:50:133
22877995621,4cyclictest41-21ksoftirqd/322:50:133
22877995620,4cyclictest41-21ksoftirqd/321:40:113
2287699562,6cyclictest321ktimersoftd/223:25:132
2287699560,7cyclictest321ktimersoftd/220:25:152
2287499564,5cyclictest9-21ksoftirqd/021:40:260
22874995642,4cyclictest9-21ksoftirqd/023:25:120
2287499563,8cyclictest9-21ksoftirqd/022:55:240
22877995521,5cyclictest41-21ksoftirqd/322:20:163
22877995520,4cyclictest41-21ksoftirqd/323:55:143
2287499554,3cyclictest121rcu_preempt19:30:130
2287499553,8cyclictest121rcu_preempt22:50:130
2287499553,8cyclictest121rcu_preempt22:50:130
22877995447,4cyclictest41-21ksoftirqd/321:55:283
22877995447,4cyclictest41-21ksoftirqd/300:35:013
22877995420,4cyclictest41-21ksoftirqd/321:30:183
22877995417,5cyclictest41-21ksoftirqd/320:55:133
22877995415,4cyclictest41-21ksoftirqd/320:05:123
2287599545,4cyclictest9018-21sendmail_mailst20:55:261
22875995448,3cyclictest25-21ksoftirqd/122:00:001
22875995446,4cyclictest25-21ksoftirqd/123:39:591
129991540,6ptp4l0-21swapper/319:10:013
129991540,1ptp4l401ktimersoftd/319:58:113
22877995347,4cyclictest41-21ksoftirqd/321:10:003
22877995344,4cyclictest41-21ksoftirqd/319:50:103
22877995344,4cyclictest41-21ksoftirqd/319:50:103
22877995338,5cyclictest41-21ksoftirqd/323:20:003
22877995318,8cyclictest41-21ksoftirqd/322:10:163
22877995318,4cyclictest41-21ksoftirqd/319:45:263
22877995315,4cyclictest41-21ksoftirqd/322:10:013
22877995313,5cyclictest41-21ksoftirqd/323:10:193
2287699534,6cyclictest321ktimersoftd/223:10:152
2287699532,9cyclictest6311-21latency20:50:202
2287699531,8cyclictest7282-21cpuspeed_turbos19:45:142
2287699530,8cyclictest32334-21unixbench_multi20:35:292
2287699530,7cyclictest9416-21cstates23:15:132
22875995348,3cyclictest25-21ksoftirqd/120:25:011
22875995347,3cyclictest25-21ksoftirqd/121:50:001
22875995346,4cyclictest25-21ksoftirqd/120:54:591
22875995346,4cyclictest25-21ksoftirqd/119:40:011
22875995321,4cyclictest25-21ksoftirqd/123:30:201
22877995219,4cyclictest41-21ksoftirqd/320:15:123
22876995121,8cyclictest33-21ksoftirqd/219:25:142
22875995145,3cyclictest25-21ksoftirqd/120:35:001
22875995144,4cyclictest25-21ksoftirqd/122:45:001
22875995126,5cyclictest25-21ksoftirqd/122:30:001
2287599511,4cyclictest131rcu_sched00:09:541
22877995015,4cyclictest41-21ksoftirqd/300:20:013
22877995014,4cyclictest41-21ksoftirqd/323:45:293
22875995045,3cyclictest25-21ksoftirqd/123:45:001
22875995045,3cyclictest25-21ksoftirqd/121:35:001
22875995044,3cyclictest25-21ksoftirqd/123:00:001
2287599501,8cyclictest16608-21chrt00:35:461
22877994942,4cyclictest41-21ksoftirqd/323:40:123
22877994942,4cyclictest41-21ksoftirqd/323:30:013
22877994910,8cyclictest41-21ksoftirqd/321:35:253
22875994943,4cyclictest25-21ksoftirqd/120:20:001
22875994943,4cyclictest25-21ksoftirqd/119:45:001
22875994942,4cyclictest25-21ksoftirqd/123:50:001
22875994942,4cyclictest25-21ksoftirqd/121:30:001
22875994942,4cyclictest25-21ksoftirqd/121:30:001
2287599490,11cyclictest6925-21ps22:00:191
22877994841,4cyclictest41-21ksoftirqd/323:25:013
22875994842,3cyclictest25-21ksoftirqd/120:45:001
22875994842,3cyclictest25-21ksoftirqd/100:15:001
22875994842,3cyclictest25-21ksoftirqd/100:05:001
22875994841,4cyclictest25-21ksoftirqd/119:55:001
22875994841,4cyclictest25-21ksoftirqd/119:55:001
22875994841,4cyclictest25-21ksoftirqd/119:50:001
22875994841,4cyclictest25-21ksoftirqd/119:20:001
22875994841,4cyclictest25-21ksoftirqd/119:15:011
22875994841,4cyclictest25-21ksoftirqd/100:35:011
22875994835,10cyclictest25-21ksoftirqd/123:20:321
2287599481,5cyclictest0-21swapper/123:30:011
2287599477,11cyclictest25-21ksoftirqd/122:20:261
2287599474,4cyclictest25-21ksoftirqd/122:15:161
22875994742,3cyclictest25-21ksoftirqd/120:10:011
22875994741,3cyclictest25-21ksoftirqd/123:20:001
22875994741,3cyclictest25-21ksoftirqd/120:30:011
22875994741,3cyclictest25-21ksoftirqd/119:25:001
2287599471,6cyclictest0-21swapper/119:35:001
2287599471,6cyclictest0-21swapper/100:15:201
2287599471,6cyclictest0-21swapper/100:15:201
2287599465,4cyclictest25-21ksoftirqd/121:15:141
22875994639,4cyclictest25-21ksoftirqd/119:29:591
22875994630,5cyclictest25-21ksoftirqd/122:05:301
22875994623,7cyclictest25-21ksoftirqd/123:55:111
2287599461,6cyclictest0-21swapper/122:35:261
2287599461,6cyclictest0-21swapper/121:40:141
2287599461,6cyclictest0-21swapper/121:00:261
2287599461,5cyclictest0-21swapper/122:55:001
2287599461,5cyclictest0-21swapper/122:54:591
2287599461,4cyclictest12213-21/usr/sbin/munin22:10:251
2287599461,3cyclictest0-21swapper/120:05:011
22876994538,4cyclictest33-21ksoftirqd/220:55:102
22875994540,3cyclictest25-21ksoftirqd/100:24:591
22875994539,3cyclictest25-21ksoftirqd/121:25:001
22875994539,3cyclictest25-21ksoftirqd/121:25:001
22875994538,4cyclictest25-21ksoftirqd/122:45:161
22875994533,9cyclictest25-21ksoftirqd/120:00:001
22875994438,4cyclictest25-21ksoftirqd/123:05:291
22875994438,4cyclictest25-21ksoftirqd/120:45:191
22875994438,3cyclictest25-21ksoftirqd/123:10:141
22875994438,3cyclictest25-21ksoftirqd/122:30:211
22875994437,4cyclictest25-21ksoftirqd/120:40:011
22875994436,5cyclictest25-21ksoftirqd/121:50:061
2287599435,4cyclictest25-21ksoftirqd/121:10:191
22875994338,3cyclictest25-21ksoftirqd/100:25:161
22875994337,3cyclictest25-21ksoftirqd/121:05:101
22875994337,3cyclictest25-21ksoftirqd/120:10:161
2287599431,3cyclictest0-21swapper/123:50:141
22875994221,7cyclictest25-21ksoftirqd/123:05:011
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional