You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2023-12-05 - 16:34
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Characteristics of the highest latencies:
System rack1slot1.osadl.org (updated Tue Dec 05, 2023 12:45:14)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
322922215147,22sleep00-21swapper/007:06:410
322172215148,23sleep20-21swapper/207:05:412
304312209173,23sleep30-21swapper/307:05:033
304442196159,24sleep10-21swapper/107:05:121
121442700,0sleep00-21swapper/009:34:300
190732160,1sleep325484-21diskmemload10:25:203
310652150,0sleep10-21swapper/109:15:341
216272150,1sleep319986-21/usr/sbin/munin07:50:293
32646991412,1cyclictest28-21ksoftirqd/210:35:012
297962140,0sleep30-21swapper/312:01:243
67742130,0sleep10-21swapper/108:30:191
3264699130,12cyclictest25484-21diskmemload11:15:222
32653991211,1cyclictest35-21ksoftirqd/307:20:003
3264699120,12cyclictest0-21swapper/209:35:072
3264699119,1cyclictest24688-21expr09:50:202
3264099110,8cyclictest0-21swapper/108:55:181
3263899113,4cyclictest17421-21latency_hist07:45:000
3263899112,6cyclictest9-21ksoftirqd/007:45:200
32638991110,1cyclictest9-21ksoftirqd/012:10:010
296482110,0sleep20-21swapper/208:10:192
3265399109,1cyclictest35-21ksoftirqd/311:30:213
3265399109,1cyclictest35-21ksoftirqd/308:34:593
3265399109,1cyclictest35-21ksoftirqd/307:34:593
32653991010,0cyclictest35-21ksoftirqd/312:15:003
32653991010,0cyclictest35-21ksoftirqd/310:22:543
32653991010,0cyclictest35-21ksoftirqd/310:15:013
3264699109,1cyclictest28-21ksoftirqd/212:15:222
3264699109,1cyclictest28-21ksoftirqd/211:05:202
3264699109,1cyclictest28-21ksoftirqd/210:05:002
3264699109,1cyclictest28-21ksoftirqd/209:45:212
3264699109,1cyclictest28-21ksoftirqd/207:35:002
3264699108,1cyclictest28-21ksoftirqd/211:39:302
3264699103,3cyclictest61250irq/122-eno112:00:222
3264699100,4cyclictest0-21swapper/210:25:202
3263899109,1cyclictest9-21ksoftirqd/010:05:210
3263899103,4cyclictest21939-21cat12:35:000
3263899100,4cyclictest11132-21latency_hist08:39:590
9815290,1sleep10-21swapper/111:35:401
326539999,0cyclictest35-21ksoftirqd/311:05:243
326539999,0cyclictest35-21ksoftirqd/309:50:003
326539998,1cyclictest35-21ksoftirqd/311:20:203
326539998,1cyclictest35-21ksoftirqd/310:15:303
326539998,1cyclictest35-21ksoftirqd/308:55:003
326539998,1cyclictest35-21ksoftirqd/308:55:003
326469999,0cyclictest28-21ksoftirqd/209:30:232
326469998,1cyclictest28-21ksoftirqd/210:55:192
326469998,1cyclictest28-21ksoftirqd/207:25:172
326469992,5cyclictest21209-21apt-get11:10:162
326469990,5cyclictest15325-21kworker/2:007:15:022
326389998,1cyclictest9-21ksoftirqd/011:00:000
326389998,1cyclictest9-21ksoftirqd/010:25:200
326389998,1cyclictest9-21ksoftirqd/008:35:000
326389997,1cyclictest9-21ksoftirqd/010:45:000
326389997,1cyclictest9-21ksoftirqd/008:20:000
326389997,1cyclictest9-21ksoftirqd/008:00:000
326389995,2cyclictest530-21systemd-logind09:00:010
326539988,0cyclictest35-21ksoftirqd/310:00:303
326539987,1cyclictest35-21ksoftirqd/312:35:003
326539987,1cyclictest35-21ksoftirqd/312:19:593
326539987,1cyclictest35-21ksoftirqd/311:45:013
326539987,1cyclictest35-21ksoftirqd/309:10:003
326539986,1cyclictest770-21snmpd08:35:123
326539986,1cyclictest770-21snmpd08:25:583
326469987,1cyclictest28-21ksoftirqd/211:50:202
326469987,1cyclictest28-21ksoftirqd/210:15:402
326469987,1cyclictest0-21swapper/207:20:222
326469986,1cyclictest61250irq/122-eno111:50:012
326469986,1cyclictest61250irq/122-eno110:50:182
326469986,1cyclictest61250irq/122-eno110:45:312
326469986,1cyclictest61250irq/122-eno110:05:212
326469986,1cyclictest15044-21perf07:40:002
326469980,8cyclictest1949-21apt-get08:20:182
326469980,6cyclictest14658-21uname08:45:272
326469980,2cyclictest0-21swapper/211:55:182
326409987,1cyclictest305282sleep109:57:081
326409981,1cyclictest0-21swapper/111:49:231
326409980,5cyclictest0-21swapper/112:06:001
326409980,5cyclictest0-21swapper/110:59:181
326389987,1cyclictest9-21ksoftirqd/012:18:550
326389987,1cyclictest9-21ksoftirqd/011:45:000
326389987,1cyclictest9-21ksoftirqd/010:40:000
326389987,1cyclictest9-21ksoftirqd/009:55:010
326389987,1cyclictest9-21ksoftirqd/008:25:000
326389987,1cyclictest9-21ksoftirqd/008:15:000
326389987,1cyclictest9-21ksoftirqd/007:35:220
326389987,1cyclictest770-21snmpd08:08:560
326389986,1cyclictest20551-21tail09:45:190
326389985,2cyclictest19724-21/usr/sbin/munin11:50:200
326389984,3cyclictest25484-21diskmemload11:39:250
326389984,2cyclictest25484-21diskmemload10:10:250
326389981,6cyclictest11870-21ssh12:20:240
326389980,7cyclictest7303-21ssh11:34:110
326389980,7cyclictest31502-21ssh09:15:360
326389980,7cyclictest30371-21ssh12:02:560
326389980,7cyclictest28950-21ssh09:14:050
326389980,7cyclictest24346-21ssh11:14:020
326389980,7cyclictest17042-21ssh12:27:300
326389980,4cyclictest19230-21sed11:50:010
326389980,1cyclictest8406-21ssh10:52:470
13106280,0sleep025484-21diskmemload10:15:490
7726270,0sleep20-21swapper/208:30:252
326539977,0cyclictest35-21ksoftirqd/310:35:203
326539977,0cyclictest35-21ksoftirqd/309:25:223
326539977,0cyclictest35-21ksoftirqd/309:10:193
326539976,1cyclictest770-21snmpd11:36:443
326539976,1cyclictest770-21snmpd09:52:193
326539976,1cyclictest770-21snmpd09:30:123
326539976,1cyclictest35-21ksoftirqd/309:35:213
326539976,1cyclictest35-21ksoftirqd/308:45:003
326539976,1cyclictest35-21ksoftirqd/308:25:003
326539975,1cyclictest770-21snmpd12:23:473
326539975,1cyclictest770-21snmpd11:46:023
326539975,1cyclictest770-21snmpd08:08:353
326539975,1cyclictest35-21ksoftirqd/312:05:203
326539974,2cyclictest6747-21latency10:50:203
326539971,5cyclictest21126-1kworker/u9:211:11:343
326539971,4cyclictest0-21swapper/311:25:203
326539970,4cyclictest21514-21users11:50:303
326539970,4cyclictest0-21swapper/308:10:183
326469976,1cyclictest61250irq/122-eno112:32:322
326469976,1cyclictest61250irq/122-eno112:20:162
326469976,1cyclictest61250irq/122-eno110:35:202
326469976,1cyclictest61250irq/122-eno109:40:232
326469976,1cyclictest61250irq/122-eno109:20:182
326469976,1cyclictest61250irq/122-eno109:18:452
326469976,1cyclictest61250irq/122-eno108:40:172
326469976,1cyclictest61250irq/122-eno108:05:222
326469976,1cyclictest28-21ksoftirqd/212:11:182
326469976,0cyclictest61250irq/122-eno112:37:222
326469975,1cyclictest770-21snmpd11:21:472
326469975,1cyclictest770-21snmpd08:00:442
326469975,1cyclictest6890-21ssh11:33:062
326469975,1cyclictest61250irq/122-eno112:25:252
326469975,1cyclictest61250irq/122-eno111:40:212
326469975,1cyclictest61250irq/122-eno109:25:302
326469975,1cyclictest61250irq/122-eno107:55:242
326469975,1cyclictest29313-21ntpq09:55:272
326469975,1cyclictest28-21ksoftirqd/209:10:202
326469975,1cyclictest28-21ksoftirqd/207:43:212
326469973,2cyclictest25484-21diskmemload10:40:262
326469971,3cyclictest15822-21ssh10:20:232
326469970,6cyclictest7850-21df10:10:202
326469970,1cyclictest0-21swapper/207:49:072
326409972,2cyclictest0-21swapper/109:31:101
326409970,6cyclictest0-21swapper/110:07:261
326409970,6cyclictest0-21swapper/110:04:281
326409970,6cyclictest0-21swapper/107:50:211
326409970,5cyclictest0-21swapper/109:45:191
326409970,4cyclictest0-21swapper/112:00:011
326409970,4cyclictest0-21swapper/111:55:441
326409970,4cyclictest0-21swapper/111:00:481
326409970,4cyclictest0-21swapper/110:34:171
326409970,4cyclictest0-21swapper/110:27:181
326409970,4cyclictest0-21swapper/110:14:421
326409970,4cyclictest0-21swapper/109:12:361
326409970,4cyclictest0-21swapper/108:00:011
326409970,3cyclictest0-21swapper/112:16:281
326409970,3cyclictest0-21swapper/110:37:001
326409970,3cyclictest0-21swapper/107:20:271
326409970,1cyclictest0-21swapper/112:23:581
326409970,1cyclictest0-21swapper/109:41:321
326409970,1cyclictest0-21swapper/108:42:301
326389977,0cyclictest9-21ksoftirqd/011:20:280
326389977,0cyclictest9-21ksoftirqd/008:40:000
326389976,1cyclictest9-21ksoftirqd/010:20:230
326389976,1cyclictest9-21ksoftirqd/009:35:070
326389976,1cyclictest770-21snmpd07:28:480
326389976,1cyclictest32594-21ssh11:25:040
326389975,1cyclictest9-21ksoftirqd/008:45:240
326389970,6cyclictest4638-21ntp_states07:15:270
326389970,6cyclictest3344-21expr12:10:220
326389970,6cyclictest31923-21ssh10:00:070
326389970,6cyclictest28130-21ssh09:55:210
326389970,6cyclictest25484-21diskmemload11:55:390
326389970,6cyclictest24300-21ls10:30:310
326389970,6cyclictest22390-21aten_r1power_vo12:35:220
326389970,6cyclictest17403-21ssh11:05:170
326389970,6cyclictest0-21swapper/011:00:270
326389970,4cyclictest24872-21aten2.4-expect08:00:220
326389970,1cyclictest21789-21gltestperf09:00:220
326389970,1cyclictest21789-21gltestperf09:00:210
326389970,1cyclictest0-21swapper/011:15:290
326389970,1cyclictest0-21swapper/009:25:220
326389970,1cyclictest0-21swapper/007:30:360
326539966,0cyclictest35-21ksoftirqd/308:45:243
326539966,0cyclictest35-21ksoftirqd/307:40:003
326539965,1cyclictest770-21snmpd10:40:043
326539965,1cyclictest4908-21ssh10:48:373
326539965,1cyclictest35-21ksoftirqd/307:25:003
326539965,1cyclictest27077-21ssh11:59:593
326539965,1cyclictest24944-21ssh11:15:013
326539965,1cyclictest24563-21ssh12:36:553
326539965,1cyclictest16657-21ssh12:26:293
326539965,1cyclictest15810-21ssh11:01:343
326539964,1cyclictest770-21snmpd07:35:373
326539964,1cyclictest770-21snmpd07:11:553
326539964,1cyclictest35-21ksoftirqd/307:25:223
326539961,4cyclictest0-21swapper/309:56:113
326539960,5cyclictest0-21swapper/309:21:073
326539960,3cyclictest0-21swapper/310:33:113
326539960,2cyclictest0-21swapper/309:40:023
326539960,1cyclictest0-21swapper/310:05:033
326539960,1cyclictest0-21swapper/309:16:463
326469966,0cyclictest61250irq/122-eno112:05:212
326469966,0cyclictest61250irq/122-eno111:26:082
326469966,0cyclictest61250irq/122-eno109:00:172
326469966,0cyclictest61250irq/122-eno109:00:162
326469965,1cyclictest770-21snmpd08:50:382
326469964,1cyclictest770-21snmpd09:06:312
326469964,1cyclictest61250irq/122-eno111:00:302
326469964,1cyclictest61250irq/122-eno107:11:302
326469963,2cyclictest548-21in:imuxsock07:55:002
326469961,5cyclictest0-21swapper/208:25:162
326469960,6cyclictest0-21swapper/208:18:472
326409961,5cyclictest0-21swapper/108:46:081
326409960,6cyclictest0-21swapper/110:24:451
326409960,6cyclictest0-21swapper/108:29:531
326409960,6cyclictest0-21swapper/107:25:551
326409960,5cyclictest0-21swapper/111:07:151
326409960,5cyclictest0-21swapper/108:37:211
326409960,4cyclictest0-21swapper/112:26:191
326409960,4cyclictest0-21swapper/111:41:131
326409960,4cyclictest0-21swapper/111:30:421
326409960,4cyclictest0-21swapper/111:21:331
326409960,4cyclictest0-21swapper/111:12:161
326409960,4cyclictest0-21swapper/109:36:021
326409960,3cyclictest0-21swapper/110:16:411
326409960,2cyclictest0-21swapper/112:39:321
326409960,2cyclictest0-21swapper/110:41:171
326409960,2cyclictest0-21swapper/109:54:061
326409960,1cyclictest0-21swapper/108:06:261
326409960,1cyclictest0-21swapper/107:30:271
326409960,0cyclictest0-21swapper/109:00:171
326409960,0cyclictest0-21swapper/109:00:171
326389965,1cyclictest9-21ksoftirqd/007:55:010
326389965,1cyclictest9-21ksoftirqd/007:10:190
326389965,1cyclictest770-21snmpd09:06:010
326389965,1cyclictest1062-21ssh09:20:120
326389964,1cyclictest9-21ksoftirqd/008:29:590
326389960,6cyclictest0-21swapper/008:50:200
326389960,5cyclictest18590-21ssh09:41:070
326389960,1cyclictest1861-21ssh10:45:020
326389960,0cyclictest0-21swapper/007:22:410
326539955,0cyclictest0-21swapper/308:15:343
326539954,1cyclictest770-21snmpd07:48:573
326539950,2cyclictest0-21swapper/310:55:193
326539950,0cyclictest0-21swapper/307:56:463
326469954,1cyclictest28-21ksoftirqd/208:55:222
326469950,1cyclictest0-21swapper/208:35:192
326409954,1cyclictest0-21swapper/107:38:571
326409952,3cyclictest0-21swapper/107:46:521
326409951,2cyclictest0-21swapper/111:50:191
326409951,2cyclictest0-21swapper/109:05:171
326409950,5cyclictest0-21swapper/111:25:291
326409950,5cyclictest0-21swapper/108:54:581
326409950,4cyclictest0-21swapper/112:10:251
326409950,4cyclictest0-21swapper/109:25:131
326409950,3cyclictest0-21swapper/108:15:211
326409950,2cyclictest0-21swapper/111:16:171
326409950,2cyclictest0-21swapper/110:51:081
326409950,2cyclictest0-21swapper/110:45:051
326409950,2cyclictest0-21swapper/109:21:291
326409950,2cyclictest0-21swapper/108:00:201
326409950,0cyclictest0-21swapper/112:30:311
326539944,0cyclictest25884-21ntpq08:00:293
326539942,1cyclictest22292-21grep09:00:263
326539942,1cyclictest22292-21grep09:00:253
326409941,1cyclictest0-21swapper/107:10:201
326409940,2cyclictest0-21swapper/108:10:291
326409940,1cyclictest0-21swapper/108:20:201
326409940,0cyclictest0-21swapper/107:40:321
326409940,0cyclictest0-21swapper/107:15:291
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional