You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2023-06-07 - 18:07

OSADL QA Farm on Real-time of Mainline Linux

About - Hardware - CPUs - Benchmarks - Graphics - Benchmarks - Kernels - Boards/Distros - Latency monitoring - Latency plots - System data - Profiles - Compare - Awards

Default latency plot of shadow in rack #a, slot #8

Rack #0/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #1/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #2/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #3/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #4/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #5/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #6/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #7/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #8/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #9/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #a/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #b/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #c/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #d/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #e/#0 #1 #2 #3 #4 #5 #6 #7 #8 
Special  All - All RT - Optimization - Ethernet - Thumbnails - Next
  

x86 Intel Atom E3940 @1600 MHz, Linux 5.10.41-rt42 (Profile)

Latency plot of shadow in rack #a, slot #8
Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Command line: cyclictest -l100000000 -m -Sp99 -i200 -h400 -q
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the 376 highest latencies:
System rackaslot8s.osadl.org (updated Wed Jun 07, 2023 12:45:10)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
111692176103,29sleep00-21swapper/007:05:090
129632175103,29sleep30-21swapper/307:08:333
128582171121,27sleep20-21swapper/207:07:112
127952160107,29sleep10-21swapper/107:06:211
141162620,2sleep20-21swapper/210:42:452
72362590,3sleep334-21ksoftirqd/311:35:573
72362590,3sleep334-21ksoftirqd/311:35:573
231242590,3sleep0141rcu_preempt07:30:280
231242590,3sleep0141rcu_preempt07:30:270
263532560,1sleep00-21swapper/011:55:000
288922540,1sleep10-21swapper/111:26:001
84602510,1sleep10-21swapper/109:43:481
38952490,2sleep30-21swapper/312:33:253
103942490,1sleep10-21swapper/110:40:001
125592460,1sleep312556-21sh10:40:433
44372450,1sleep30-21swapper/312:04:143
294802440,2sleep30-21swapper/310:28:183
239972440,2sleep30-21swapper/311:21:333
13354994312,15cyclictest20032-21tail10:20:263
196322420,1sleep20-21swapper/207:25:012
133872420,3chrt0-21swapper/010:41:480
1335499389,13cyclictest25219-21ssh12:22:593
1335499386,13cyclictest15033-21date10:15:423
1335499384,9cyclictest0-21swapper/311:10:003
1335499379,8cyclictest22951-21gunzip10:50:323
1335499379,8cyclictest22951-21gunzip10:50:313
1335499378,14cyclictest471-21diskmemload10:38:313
13354993729,6cyclictest29313-21ssh12:26:093
1335499366,15cyclictest0-21swapper/309:21:453
1335499358,8cyclictest21184-21chrt10:49:533
1335499358,13cyclictest13368-21rm12:11:393
1335499356,19cyclictest17740-21ssh11:45:383
13352993523,3cyclictest141rcu_preempt11:54:011
1335499349,11cyclictest7854-21rm12:06:333
13352993425,6cyclictest8417-21munin-node12:20:191
1335499339,8cyclictest30707-21taskset07:49:163
1335499339,8cyclictest30016-21chrt10:01:053
1335499339,10cyclictest15880-21diskstats07:15:203
1335499337,9cyclictest15263-21taskset07:14:563
1335499337,9cyclictest0-21swapper/310:10:393
1335499336,10cyclictest471-21diskmemload11:14:003
1335499335,9cyclictest12162-21irqstats08:20:243
1335499335,7cyclictest0-21swapper/307:35:013
1335499335,7cyclictest0-21swapper/307:35:003
1335499335,10cyclictest1260-21awk11:00:283
1335499334,13cyclictest26915-21ssh09:31:253
1335499334,11cyclictest24058-21rm11:51:543
13354993310,9cyclictest32058-21ssh11:30:103
13354993310,8cyclictest13248-21ssh09:47:263
1335499326,9cyclictest471-21diskmemload11:56:033
1335499326,9cyclictest3715-21ssh09:11:553
1335499324,15cyclictest471-21diskmemload10:55:103
13352993224,6cyclictest471-21diskmemload12:16:091
13352993223,6cyclictest30524-21ssh11:58:041
1335199321,29cyclictest9831-21ssh12:09:140
1335199320,29cyclictest3171-21ssh12:32:250
1335499318,9cyclictest29967-21ssh11:27:313
1335499317,15cyclictest0-21swapper/309:28:313
1335499316,8cyclictest471-21diskmemload10:33:313
1335499315,8cyclictest1413-21apt-get10:05:163
1335499315,10cyclictest16015-21/usr/sbin/munin09:50:543
1335399310,28cyclictest7655-21ssh12:06:162
1335299310,28cyclictest28906-21dpkg07:45:191
1335499307,8cyclictest471-21diskmemload09:39:083
1335499306,9cyclictest471-21diskmemload09:42:383
1335499306,10cyclictest21314-21cat11:20:003
13354993013,14cyclictest22881-21ntpq09:55:293
1335499300,27cyclictest23984-21sshd08:45:543
1335299301,4cyclictest29503-21ssh12:26:251
1335299300,5cyclictest6484-21awk08:05:301
1335199301,27cyclictest8179-21ssh12:36:570
1335499298,8cyclictest11032-21chrt08:17:383
1335499294,9cyclictest471-21diskmemload12:16:333
1335399291,26cyclictest3345-21ssh12:32:382
1335399290,26cyclictest32719-21chrt07:52:372
1335299297,13cyclictest0-21swapper/109:14:541
13352992924,3cyclictest471-21diskmemload11:46:151
13352992924,3cyclictest24136-21apt-get07:35:191
1335299291,25cyclictest10669-21ssh12:10:041
13351992925,2cyclictest0-21swapper/012:19:340
1335199291,3cyclictest29836-21ssh11:57:120
1335199291,26cyclictest0-21swapper/009:02:520
109702290,1sleep00-21swapper/011:10:220
1335499285,14cyclictest0-21swapper/311:43:073
13354992823,3cyclictest0-21swapper/308:08:453
13353992823,3cyclictest18222-21seq11:46:182
13353992822,4cyclictest30367-21ssh12:27:342
13353992822,4cyclictest18435-21rm12:16:132
1335399281,24cyclictest7778-21/usr/sbin/munin08:10:252
1335399281,24cyclictest6570-21users08:05:312
1335399280,26cyclictest13958-21diskmemload12:12:282
1335399280,26cyclictest0-21swapper/212:38:492
1335399280,25cyclictest24082-21ssh12:21:242
13352992820,5cyclictest471-21diskmemload12:30:041
1335299281,2cyclictest0-21swapper/108:28:521
1335299281,2cyclictest0-21swapper/108:28:511
1335299281,26cyclictest0-21swapper/111:43:371
1335299281,25cyclictest0-21swapper/112:05:441
1335299281,25cyclictest0-21swapper/109:02:521
1335299281,25cyclictest0-21swapper/108:59:231
1335299281,25cyclictest0-21swapper/108:50:431
1335299281,25cyclictest0-21swapper/108:44:531
1335299281,25cyclictest0-21swapper/108:38:121
1335299281,25cyclictest0-21swapper/108:31:301
1335299281,25cyclictest0-21swapper/108:12:531
1335299281,25cyclictest0-21swapper/108:00:541
1335199281,25cyclictest0-21swapper/011:45:060
1335199281,25cyclictest0-21swapper/009:05:370
1335199281,25cyclictest0-21swapper/008:53:590
1335199281,25cyclictest0-21swapper/008:48:120
1335199281,25cyclictest0-21swapper/008:25:310
1335199281,25cyclictest0-21swapper/008:25:300
1335199281,25cyclictest0-21swapper/008:23:160
1335199281,25cyclictest0-21swapper/008:10:220
1335199281,25cyclictest0-21swapper/008:08:340
1335199281,25cyclictest0-21swapper/007:57:290
186932270,3chrt0-21swapper/210:19:472
1335499276,8cyclictest31476-21fw_packets09:05:173
1335499275,9cyclictest21274-21awk07:25:333
1335499275,9cyclictest0-21swapper/307:35:233
1335499274,9cyclictest471-21diskmemload12:38:283
1335499274,8cyclictest0-21swapper/309:15:293
13354992725,1cyclictest0-21swapper/307:42:083
1335499271,24cyclictest0-21swapper/308:41:123
1335499271,24cyclictest0-21swapper/308:35:563
1335499271,24cyclictest0-21swapper/308:26:093
1335499271,24cyclictest0-21swapper/308:26:083
13353992722,3cyclictest26928-21diskstats07:40:262
13353992722,3cyclictest22775-21diskstats08:45:192
13353992715,9cyclictest25886-21sh11:24:112
1335399271,24cyclictest0-21swapper/211:59:472
1335399271,24cyclictest0-21swapper/211:38:452
1335399271,24cyclictest0-21swapper/211:38:442
1335399271,24cyclictest0-21swapper/209:08:582
1335399271,24cyclictest0-21swapper/209:02:022
1335399271,24cyclictest0-21swapper/208:56:552
1335399271,24cyclictest0-21swapper/208:41:222
1335399271,24cyclictest0-21swapper/208:36:542
1335399271,24cyclictest0-21swapper/208:31:202
1335399271,24cyclictest0-21swapper/208:25:452
1335399271,24cyclictest0-21swapper/208:25:442
1335399271,24cyclictest0-21swapper/208:01:202
1335399271,24cyclictest0-21swapper/207:56:002
1335399271,24cyclictest0-21swapper/207:37:582
1335399270,25cyclictest0-21swapper/211:44:152
13352992723,3cyclictest0-21swapper/107:30:271
13352992723,3cyclictest0-21swapper/107:30:261
1335299271,2cyclictest0-21swapper/112:36:581
1335299271,2cyclictest0-21swapper/112:01:231
1335299271,25cyclictest0-21swapper/108:15:031
1335299271,24cyclictest0-21swapper/108:20:261
1335299271,24cyclictest0-21swapper/107:55:431
1335299271,19cyclictest0-21swapper/109:09:491
1335299271,19cyclictest0-21swapper/108:45:491
13351992724,2cyclictest0-21swapper/009:11:490
13351992719,6cyclictest4910-21ssh12:04:520
1335199271,2cyclictest0-21swapper/007:46:510
1335199271,25cyclictest0-21swapper/012:12:280
1335199271,24cyclictest0-21swapper/012:25:010
1335199271,24cyclictest0-21swapper/008:56:510
1335199271,24cyclictest0-21swapper/008:40:400
1335199271,24cyclictest0-21swapper/008:30:530
1335199271,24cyclictest0-21swapper/008:15:540
1335199271,24cyclictest0-21swapper/008:00:210
1335199271,24cyclictest0-21swapper/007:50:340
1335199271,1cyclictest0-21swapper/012:20:040
208912260,10sleep122-21ksoftirqd/111:19:421
13354992621,3cyclictest0-21swapper/307:55:263
1335499261,23cyclictest0-21swapper/308:50:103
1335499261,23cyclictest0-21swapper/308:11:133
13353992617,7cyclictest7982-21ssh11:06:412
1335399261,2cyclictest0-21swapper/211:53:502
1335399261,2cyclictest0-21swapper/208:22:402
1335399261,24cyclictest0-21swapper/208:15:042
1335399261,23cyclictest0-21swapper/211:30:072
1335399261,23cyclictest0-21swapper/209:12:152
1335399261,23cyclictest0-21swapper/208:51:232
1335399261,23cyclictest0-21swapper/207:46:112
1335399261,1cyclictest0-21swapper/212:02:272
1335399261,13cyclictest28-21ksoftirqd/210:05:212
13352992624,1cyclictest0-21swapper/107:40:511
13352992624,1cyclictest0-21swapper/107:20:291
1335299261,24cyclictest0-21swapper/107:50:141
1335299261,1cyclictest0-21swapper/111:36:331
1335299261,1cyclictest0-21swapper/111:36:321
13351992623,2cyclictest0-21swapper/007:40:210
1335199261,24cyclictest0-21swapper/011:41:100
1335199261,24cyclictest0-21swapper/011:34:290
1335199260,25cyclictest0-21swapper/007:36:370
1335199260,24cyclictest0-21swapper/008:35:550
313772250,2sleep00-21swapper/010:30:160
13354992523,1cyclictest0-21swapper/308:55:023
13354992523,1cyclictest0-21swapper/308:33:423
1335499251,23cyclictest0-21swapper/307:50:093
1335499251,22cyclictest0-21swapper/309:00:073
1335499251,22cyclictest0-21swapper/308:00:063
1335399259,4cyclictest28-21ksoftirqd/209:20:282
1335399256,9cyclictest141rcu_preempt11:18:062
1335399250,23cyclictest0-21swapper/207:30:272
1335399250,23cyclictest0-21swapper/207:30:262
1335299257,4cyclictest22-21ksoftirqd/110:07:441
13352992523,1cyclictest0-21swapper/111:30:071
1335299251,9cyclictest22-21ksoftirqd/109:35:001
13351992517,6cyclictest10142-21expr09:45:190
1335199251,23cyclictest0-21swapper/011:28:170
1335399249,3cyclictest141rcu_preempt10:25:212
13353992421,2cyclictest0-21swapper/211:25:012
13352992413,6cyclictest55250irq/141-enp3s0-10:10:191
304972230,2sleep20-21swapper/210:57:512
1335399236,15cyclictest28-21ksoftirqd/209:33:402
13353992310,3cyclictest28-21ksoftirqd/211:03:182
13353992310,3cyclictest28-21ksoftirqd/210:20:212
13353992310,3cyclictest28-21ksoftirqd/210:10:252
13353992310,2cyclictest141rcu_preempt09:57:352
1335299236,3cyclictest22-21ksoftirqd/110:32:351
1335299235,16cyclictest22-21ksoftirqd/111:04:511
1335299232,14cyclictest10770-21ssh10:40:181
13352992317,5cyclictest22-21ksoftirqd/110:00:001
1335299231,3cyclictest141rcu_preempt09:51:041
13351992321,1cyclictest0-21swapper/011:38:290
13351992321,1cyclictest0-21swapper/011:38:280
13351992313,8cyclictest28401-21fw_packets10:00:240
258332220,2sleep10-21swapper/111:24:061
13354992213,6cyclictest19115-21sed07:20:373
1335399229,4cyclictest28-21ksoftirqd/210:34:132
1335399229,3cyclictest28-21ksoftirqd/211:11:412
1335399229,3cyclictest28-21ksoftirqd/210:54:352
1335399229,3cyclictest28-21ksoftirqd/210:54:342
1335399229,3cyclictest28-21ksoftirqd/210:01:192
1335399229,3cyclictest28-21ksoftirqd/209:51:112
1335399229,3cyclictest28-21ksoftirqd/209:40:202
1335399229,3cyclictest28-21ksoftirqd/209:17:572
1335399227,3cyclictest141rcu_preempt10:35:322
13353992210,3cyclictest141rcu_preempt09:25:342
1335299229,4cyclictest22-21ksoftirqd/109:21:101
1335299228,12cyclictest22-21ksoftirqd/110:56:441
1335299225,2cyclictest141rcu_preempt10:00:291
13352992211,8cyclictest13550-21apt-get10:15:281
1335199221,9cyclictest246382sh10:52:140
1335199221,9cyclictest246382sh10:52:140
1335399219,9cyclictest28-21ksoftirqd/209:45:262
1335399219,3cyclictest28-21ksoftirqd/207:15:222
1335399214,8cyclictest164361ssh10:45:272
13353992113,6cyclictest14556-21sensors_temp07:10:322
13353992110,9cyclictest28-21ksoftirqd/209:35:242
1335299219,3cyclictest22-21ksoftirqd/110:50:261
1335299219,3cyclictest22-21ksoftirqd/110:50:251
1335299219,3cyclictest22-21ksoftirqd/107:10:271
1335299218,3cyclictest22-21ksoftirqd/109:15:201
1335299217,6cyclictest22-21ksoftirqd/109:45:491
1335299213,10cyclictest22-21ksoftirqd/109:27:351
1335299212,11cyclictest22-21ksoftirqd/111:12:261
85522200,2sleep00-21swapper/009:43:570
1335299209,3cyclictest22-21ksoftirqd/110:25:211
1335299209,2cyclictest22-21ksoftirqd/110:45:251
1335299209,2cyclictest22-21ksoftirqd/109:35:271
1335299207,4cyclictest0-21swapper/111:09:301
1335299201,3cyclictest141rcu_preempt10:20:141
1335199204,11cyclictest471-21diskmemload09:15:180
1335199202,13cyclictest21836-21apt-get09:55:170
13351992018,1cyclictest0-21swapper/011:24:550
13351992018,1cyclictest0-21swapper/007:25:330
13351992013,4cyclictest7377-21/usr/sbin/munin10:10:240
13351992012,6cyclictest719-21fw_packets11:00:240
182022190,2chrt0-21swapper/011:15:550
1335399197,3cyclictest28-21ksoftirqd/207:25:212
1335299198,2cyclictest22-21ksoftirqd/107:15:181
1335199192,12cyclictest17712-21apt-get07:20:210
1335199191,6cyclictest14128-21ssh09:20:330
13351991913,4cyclictest28868-21sh10:27:350
13351991912,4cyclictest1379-21/usr/sbin/munin10:05:300
13351991911,6cyclictest28455-21sensors_temp10:55:300
13351991911,4cyclictest30441-21cpu09:35:200
13352991810,6cyclictest21145-21cat07:25:321
1335199182,12cyclictest16362-21ssh10:45:260
1335199181,8cyclictest8992-21rm11:08:040
13351991813,3cyclictest29065-21sh09:34:010
13351991813,3cyclictest16669-21sh10:17:220
13351991812,4cyclictest23411-21sh10:23:150
13351991811,5cyclictest17480-21cat07:20:000
13351991810,6cyclictest5146-21awk10:35:160
1335199171,7cyclictest18236-21ssh09:25:020
13351991710,5cyclictest17127-21ls09:50:530
13351991710,5cyclictest14699-21cat07:10:350
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional