You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2023-03-20 - 16:41

OSADL QA Farm on Real-time of Mainline Linux

About - Hardware - CPUs - Benchmarks - Graphics - Benchmarks - Kernels - Boards/Distros - Latency monitoring - Latency plots - System data - Profiles - Compare - Awards

Default latency plot of shadow in rack #e, slot #5

Rack #0/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #1/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #2/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #3/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #4/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #5/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #6/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #7/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #8/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #9/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #a/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #b/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #c/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #d/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #e/#0 #1 #2 #3 #4 #5 #6 #7 #8 
Special  All - All RT - Optimization - Ethernet - Thumbnails
  

x86 Intel Core i3-8145UE @2200 MHz, Linux 5.10.27-rt36 (Profile)

Latency plot of shadow in rack #e, slot #5
Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Command line: cyclictest -l100000000 -m -Sp99 -i200 -h400 -q
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the alll highest latencies:
System rackeslot5s.osadl.org (updated Mon Mar 20, 2023 12:44:23)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
3234299260,25cyclictest28460-21ssh11:52:053
3234299254,1cyclictest34-21ksoftirqd/312:01:063
32342992523,1cyclictest27465-21sh11:20:013
3234299250,24cyclictest25629-21diskmemload11:42:233
3234299250,24cyclictest25629-21diskmemload10:56:383
3234299250,24cyclictest0-21swapper/309:43:503
3234299250,24cyclictest0-21swapper/309:29:423
32337992520,4cyclictest0-21swapper/212:37:162
32337992519,3cyclictest10943-21ssh09:26:212
3233799250,24cyclictest0-21swapper/211:08:282
3233799250,24cyclictest0-21swapper/210:46:232
3233399250,24cyclictest25629-21diskmemload11:53:211
3233399250,24cyclictest0-21swapper/111:43:411
32328992521,3cyclictest0-21swapper/011:54:160
3232899250,24cyclictest25629-21diskmemload11:18:230
3232899250,24cyclictest25629-21diskmemload09:23:210
3232899250,1cyclictest0-21swapper/009:44:120
3234299240,24cyclictest0-21swapper/310:17:123
3234299240,23cyclictest8783-21turbostat.cron08:35:003
3234299240,23cyclictest0-21swapper/310:41:403
3234299240,23cyclictest0-21swapper/309:32:163
3234299240,1cyclictest31879-21apt-get08:15:323
32337992423,0cyclictest25629-21diskmemload11:25:402
32337992422,1cyclictest0-21swapper/211:56:142
32337992422,1cyclictest0-21swapper/209:35:482
3233799240,23cyclictest25629-21diskmemload12:28:222
3233799240,23cyclictest25629-21diskmemload10:22:102
3233799240,23cyclictest25629-21diskmemload09:40:172
3233799240,23cyclictest20141-21ssh10:07:592
3233799240,23cyclictest0-21swapper/212:23:212
3233799240,23cyclictest0-21swapper/211:17:542
3233799240,1cyclictest0-21swapper/209:55:492
3233799240,0cyclictest25629-21diskmemload11:46:432
32333992422,1cyclictest16143-21ssh12:12:051
32333992421,2cyclictest6778-21rm12:03:081
3233399240,24cyclictest0-21swapper/110:08:491
3233399240,24cyclictest0-21swapper/109:58:301
3233399240,23cyclictest13176-21wc09:30:001
3233399240,23cyclictest13154-21rm11:36:391
3233399240,23cyclictest0-21swapper/108:40:321
32328992423,0cyclictest0-21swapper/009:53:150
32328992422,1cyclictest0-21swapper/007:20:010
3232899240,2cyclictest4526-21sh11:28:580
3232899240,24cyclictest0-21swapper/010:01:580
3232899240,23cyclictest9795-21diskmemload09:25:400
3232899240,23cyclictest9446-21ssh09:56:530
3232899240,23cyclictest751-21ssh10:52:160
3232899240,23cyclictest62150irq/126-eno109:33:550
3232899240,23cyclictest25629-21diskmemload10:36:580
3232899240,23cyclictest25629-21diskmemload10:33:110
3232899240,23cyclictest0-21swapper/009:35:380
3232899240,1cyclictest0-21swapper/010:09:050
3232899240,0cyclictest0-21swapper/012:32:130
32342992323,0cyclictest25629-21diskmemload12:26:503
32342992323,0cyclictest25629-21diskmemload10:20:523
32342992323,0cyclictest25629-21diskmemload09:37:153
32342992323,0cyclictest0-21swapper/312:16:143
32342992323,0cyclictest0-21swapper/311:09:243
32342992323,0cyclictest0-21swapper/309:54:413
32342992323,0cyclictest0-21swapper/309:11:483
32342992321,1cyclictest0-21swapper/312:23:513
32342992321,1cyclictest0-21swapper/309:23:033
32342992320,2cyclictest9473-21sh07:30:003
32342992320,2cyclictest31792-21sh11:23:473
3234299230,2cyclictest23242-21cron09:05:013
3234299230,23cyclictest25629-21diskmemload12:05:113
3234299230,23cyclictest0-21swapper/311:48:233
3234299230,23cyclictest0-21swapper/310:31:473
3234299230,23cyclictest0-21swapper/309:45:023
3234299230,22cyclictest26274-21sed10:45:443
3234299230,22cyclictest25629-21diskmemload12:36:343
3234299230,22cyclictest10563-21sh11:35:153
3234299230,1cyclictest0-21swapper/310:50:143
3234299230,0cyclictest0-21swapper/312:13:083
3234299230,0cyclictest0-21swapper/310:26:063
32337992323,0cyclictest0-21swapper/212:06:572
32337992323,0cyclictest0-21swapper/212:03:212
32337992323,0cyclictest0-21swapper/211:50:072
32337992323,0cyclictest0-21swapper/211:42:262
32337992322,1cyclictest0-21swapper/211:24:022
32337992321,1cyclictest0-21swapper/210:40:362
3233799230,23cyclictest25629-21diskmemload12:30:032
3233799230,23cyclictest0-21swapper/210:25:572
3233799230,23cyclictest0-21swapper/209:50:302
3233799230,23cyclictest0-21swapper/209:46:442
3233799230,22cyclictest44-21kcompactd009:16:482
3233799230,22cyclictest0-21swapper/210:50:382
3233799230,22cyclictest0-21swapper/210:15:012
3233799230,22cyclictest0-21swapper/208:25:352
3233799230,1cyclictest26378-21apt-get10:15:022
3233799230,0cyclictest25629-21diskmemload11:00:352
3233799230,0cyclictest0-21swapper/209:12:152
32333992323,0cyclictest25629-21diskmemload11:27:411
32333992323,0cyclictest0-21swapper/112:33:091
32333992323,0cyclictest0-21swapper/109:41:531
32333992323,0cyclictest0-21swapper/109:37:341
32333992323,0cyclictest0-21swapper/108:25:351
32333992322,1cyclictest20817-21apt-get11:45:341
32333992321,1cyclictest23756-21ssh10:43:511
32333992321,1cyclictest0-21swapper/110:15:391
32333992320,2cyclictest12201-21ssh10:31:221
3233399230,23cyclictest0-21swapper/112:20:011
3233399230,23cyclictest0-21swapper/110:50:571
3233399230,23cyclictest0-21swapper/109:50:251
3233399230,23cyclictest0-21swapper/109:30:081
3233399230,23cyclictest0-21swapper/109:14:441
3233399230,22cyclictest3144-21/usr/sbin/munin10:55:381
3233399230,22cyclictest2395-21sh09:18:561
3233399230,22cyclictest22989-21ssh11:15:311
3233399230,22cyclictest20679-21ssh12:16:191
3233399230,22cyclictest0-21swapper/111:55:371
3233399230,22cyclictest0-21swapper/111:30:231
3233399230,22cyclictest0-21swapper/110:26:251
3233399230,1cyclictest3435-21ssh09:20:111
3233399230,1cyclictest0-21swapper/109:00:011
3233399230,0cyclictest0-21swapper/112:27:031
3233399230,0cyclictest0-21swapper/111:08:451
3233399230,0cyclictest0-21swapper/110:21:111
32328992323,0cyclictest25629-21diskmemload11:45:430
32328992323,0cyclictest0-21swapper/012:39:330
32328992323,0cyclictest0-21swapper/012:06:140
32328992323,0cyclictest0-21swapper/012:00:520
32328992323,0cyclictest0-21swapper/011:40:110
32328992323,0cyclictest0-21swapper/011:32:450
32328992323,0cyclictest0-21swapper/009:48:510
32328992322,1cyclictest21061-21ssh12:16:570
32328992321,1cyclictest7289-21sh10:26:310
32328992321,1cyclictest29185-21ls08:10:010
32328992320,2cyclictest24171-21ssh10:11:210
3232899230,23cyclictest0-21swapper/012:12:100
3232899230,23cyclictest0-21swapper/011:01:110
3232899230,23cyclictest0-21swapper/009:15:100
3232899230,22cyclictest5002-21apt-get07:20:360
3232899230,22cyclictest31598-21awk08:15:010
3232899230,22cyclictest309-21systemd-journal08:30:000
3232899230,22cyclictest25012-21ssh10:45:330
3232899230,22cyclictest20816-21ssh10:40:400
3232899230,22cyclictest10735-21sshd11:35:320
3232899230,22cyclictest0-21swapper/011:10:240
3232899230,22cyclictest0-21swapper/007:45:320
3232899230,1cyclictest28109-21sh09:10:520
3232899230,1cyclictest25629-21diskmemload10:15:010
3232899230,0cyclictest25629-21diskmemload12:26:270
32342992222,0cyclictest0-21swapper/310:10:013
32342992222,0cyclictest0-21swapper/310:00:273
32342992222,0cyclictest0-21swapper/309:55:393
32342992221,1cyclictest10248-21ssh11:01:213
3234299220,21cyclictest21938-21awk07:55:013
3234299220,21cyclictest17788-21ssh11:10:113
3234299220,21cyclictest0-21swapper/311:30:553
3234299220,21cyclictest0-21swapper/309:15:243
3234299220,1cyclictest1561-21/usr/sbin/munin12:30:493
3234299220,0cyclictest0-21swapper/310:36:433
32337992222,0cyclictest0-21swapper/209:23:452
32337992222,0cyclictest0-21swapper/207:35:332
32337992221,1cyclictest25629-21diskmemload10:56:562
32337992220,1cyclictest0-21swapper/210:35:382
32337992219,2cyclictest1605-21basename08:20:002
32337992219,2cyclictest15172-21sendmail_mailst09:30:422
3233799220,22cyclictest25629-21diskmemload11:12:252
3233799220,22cyclictest0-21swapper/212:16:052
3233799220,21cyclictest25629-21diskmemload11:30:052
3233799220,21cyclictest22227-21apt-get07:55:322
3233799220,21cyclictest22227-21apt-get07:55:322
3233799220,21cyclictest0-21swapper/211:35:472
3233799220,21cyclictest0-21swapper/210:00:342
3233799220,21cyclictest0-21swapper/208:55:322
3233799220,0cyclictest0-21swapper/212:10:242
32333992222,0cyclictest25629-21diskmemload11:10:281
32333992220,1cyclictest14971-21dpkg07:40:021
32333992220,1cyclictest0-21swapper/108:10:321
3233399220,22cyclictest0-21swapper/111:21:121
3233399220,21cyclictest25629-21diskmemload10:45:071
3233399220,21cyclictest0-21swapper/112:35:461
3233399220,21cyclictest0-21swapper/108:40:001
3233399220,0cyclictest8544-21apt-get12:05:381
3233399220,0cyclictest0-21swapper/111:00:071
32328992222,0cyclictest0-21swapper/011:57:500
32328992222,0cyclictest0-21swapper/011:07:050
3232899220,21cyclictest25629-21diskmemload10:20:490
3232899220,1cyclictest597-21dbus-daemon07:55:010
3232899220,0cyclictest0-21swapper/012:20:180
3232899220,0cyclictest0-21swapper/011:20:120
32342992120,1cyclictest13896-21apt-get08:45:323
3234299210,21cyclictest0-21swapper/311:25:163
3234299210,20cyclictest0-21swapper/307:45:323
3234299210,0cyclictest0-21swapper/307:20:353
32337992120,0cyclictest0-21swapper/208:20:332
3233799210,20cyclictest0-21swapper/209:05:332
3233799210,20cyclictest0-21swapper/207:15:322
3233799210,0cyclictest0-21swapper/208:40:322
3233799210,0cyclictest0-21swapper/208:30:332
3233399210,21cyclictest0-21swapper/107:35:331
3233399210,20cyclictest0-21swapper/108:00:351
3233399210,20cyclictest0-21swapper/107:20:351
3233399210,0cyclictest0-21swapper/107:50:331
32328992120,0cyclictest0-21swapper/007:55:320
32328992120,0cyclictest0-21swapper/007:55:320
32328992119,1cyclictest25654-21munin-run09:10:000
32328992119,1cyclictest11881-21cron07:35:000
32342992020,0cyclictest0-21swapper/307:40:023
32342992019,1cyclictest11500-21apt-get08:40:323
32342992019,0cyclictest0-21swapper/307:10:313
3234299200,1cyclictest14390-21apt-get07:40:003
3234299200,0cyclictest0-21swapper/309:05:323
3234299200,0cyclictest0-21swapper/307:15:323
32337992020,0cyclictest0-21swapper/208:45:322
32337992020,0cyclictest0-21swapper/208:00:352
3233799200,20cyclictest0-21swapper/207:20:362
32333992020,0cyclictest0-21swapper/107:55:321
32333992020,0cyclictest0-21swapper/107:55:321
32333992018,1cyclictest3986-21cron08:25:001
32333992018,1cyclictest18394-21ls08:55:011
32328992020,0cyclictest0-21swapper/008:35:320
32328992020,0cyclictest0-21swapper/008:30:330
32328992019,0cyclictest0-21swapper/008:45:320
3232899200,0cyclictest0-21swapper/008:50:370
32342991919,0cyclictest0-21swapper/308:50:373
32337991918,0cyclictest27047-21apt-get08:05:392
32337991917,1cyclictest16293-21apt-get08:50:372
32333991919,0cyclictest7394-21apt-get07:25:331
32333991919,0cyclictest0-21swapper/109:00:321
32333991919,0cyclictest0-21swapper/108:30:331
32333991919,0cyclictest0-21swapper/107:30:321
32333991916,2cyclictest618-21gdbus08:50:011
32328991919,0cyclictest24645-21apt-get08:00:350
32328991919,0cyclictest0-21swapper/007:25:330
32342991818,0cyclictest9786-21apt-get07:30:323
32342991818,0cyclictest0-21swapper/308:25:353
32337991818,0cyclictest0-21swapper/208:10:322
32333991818,0cyclictest0-21swapper/108:15:321
32333991818,0cyclictest0-21swapper/107:15:321
32333991817,0cyclictest0-21swapper/109:05:331
32333991817,0cyclictest0-21swapper/108:05:391
32328991818,0cyclictest23259-21perf09:05:010
32328991818,0cyclictest0-21swapper/008:40:320
32328991818,0cyclictest0-21swapper/007:35:330
32328991818,0cyclictest0-21swapper/007:10:310
32328991817,1cyclictest0-21swapper/007:40:340
32342991717,0cyclictest0-21swapper/308:10:323
32342991715,1cyclictest24336-21perf08:00:013
32342991715,1cyclictest24336-21perf08:00:013
3233799170,2cyclictest23241-21latency_hist09:05:012
32328991717,0cyclictest0-21swapper/008:58:520
32342991615,1cyclictest1896-21apt-get08:20:333
32342991515,0cyclictest0-21swapper/308:55:323
32337991515,0cyclictest17438-21apt-get07:45:322
32337991515,0cyclictest0-21swapper/207:50:332
32337991513,1cyclictest0-21swapper/207:35:002
32337991513,1cyclictest0-21swapper/207:10:342
32333991515,0cyclictest0-21swapper/107:45:321
32333991515,0cyclictest0-21swapper/107:10:321
32342991414,0cyclictest0-21swapper/308:05:013
3234299140,14cyclictest0-21swapper/308:35:103
3234299140,14cyclictest0-21swapper/308:00:103
32337991414,0cyclictest0-21swapper/207:25:202
3233799140,14cyclictest0-21swapper/208:35:262
3233799140,14cyclictest0-21swapper/207:40:062
32328991414,0cyclictest0-21swapper/008:15:040
3232899140,14cyclictest0-21swapper/008:20:210
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional